ข่าว Azure Container Apps เพิ่มตัวเลือก GPU รองรับ AI, sandbox สำหรับรันโค้ดจาก LLM

[News]

Azure Container Apps บริการรันคอนเทนเนอร์แบบ serverless จ่ายตามเวลาที่ใช้งานจริง เพิ่มตัวเลือกชิปกราฟิกสำหรับการรัน AI เฉพาะทาง โดยมีชิป NVIDIA T4 และ A100 ให้เลือกใช้งาน

แม้จะเปิดใช้งานแล้ว แต่ลูกค้าทั่วไปที่ไม่ได้ทำข้อตกลง Microsoft Enterprise Agreement จะต้องติดต่อไมโครซอฟท์ขอโควต้า serverless GPU ก่อนใช้งาน โดยตอนนี้มีให้ใช้งานสองศูนย์ข้อมูล คือ West US 3 และ Australia East

สำหรับผู้พัฒนาแอปพลิเคชั่น LLM รอบนี้ไมโครซอฟท์เปิดตัว Azure Container Apps Dynamic Sessions บริการคอนเทนเนอร์ที่จำกัดการทำงานอยู่ใน sandbox เพื่อรับโค้ดจาก LLM เข้าไปรัน โดยคอนเทนเนอร์ที่รันจะถูกจำกัดอยู่ใน Hyper-V แยกจากโลกภายนอก บริการนี้เปิดตัวมาตั้งแต่เดือนพฤษภาคมแล้ว แต่รอบนี้เข้าสู่สถานะ GA สำหรับ Python Interpreter และยังเพิ่มพรีวิวสำหรับ Node.js เข้ามาด้วย

ฟีเจอร์ย่อยๆ ที่มีการประกาศในงาน Ignite เช่น Private Endpoints จำกัดให้เข้าถึงได้จาก Azure Virtual Network เท่านั้น, Planned Maintenance สำหรับการวางช่วงเวลาที่พร้อมให้อัพเดต, Path-Based Routing แยกแอปตาม path ของ URL ได้โดยไม่ต้องตั้ง reverse proxy เอง

ที่มา - App on Azure Blog

Topics:
Microsoft Azure
Container
LLM

Continue reading...