ข่าว Hugging Face เปิดซอฟต์แวร์ HUGS ใช้รันโมเดลบนเครื่องเซิร์ฟเวอร์หลากหลาย ให้คนอื่นเช่าใช้งาน

[News]

คนในแวดวง AI คงรู้จักบริษัท Hugging Face ในฐานะศูนย์รวมคลังโมเดลขนาดใหญ่ (มีโมเดลเกิน 1 ล้านตัวแล้ว) วิธีการหารายได้ของ Hugging Face ที่ผ่านมาคือการให้เช่าเซิร์ฟเวอร์สำหรับเทรน-ปรับแต่ง-รันโมเดลเหล่านี้ได้ทันที

คราวนี้ Hugging Face ขยายโมเดลธุรกิจของตัวเอง โดยนำซอฟต์แวร์ที่ใช้รันโมเดลข้างต้น เปิดให้ลูกค้าเช่าใช้งานซอฟต์แวร์นี้บนระบบไอทีของตัวเองได้ด้วย ใช้ชื่อว่า Hugging Face Generative AI Services หรือตัวย่อ HUGS

HUGS เป็นซอฟต์แวร์ microservice ที่ใช้รันโมเดล AI บนฮาร์ดแวร์เซิร์ฟเวอร์ที่หลากหลาย ทั้งบนจีพียูหลายค่ายและบนตัวเร่งความเร็ว AI เฉพาะทาง แถมยังปรับแต่งประสิทธิภาพของโมเดลบนฮาร์ดแวร์เหล่านี้มาให้เรียบร้อย (เพราะ Hugging Face ต้องให้บริการรันโมเดลจำนวนมากอยู่แล้ว) ช่วยประหยัดแรงของลูกค้าฝั่งองค์กรที่ต้องการรันโมเดลเองไปได้มาก

ตัวอย่างโมเดลที่รันบน HUGS เน้นไปที่โมเดลแบบเปิด เช่น Llama 3.1, Mixtral, Gemma 2, Qwen 2.5 เป็นต้น

Hugging Face บอกว่า HUGS เหมาะสำหรับองค์กรที่ต้องการใช้งานโมเดล AI ในระบบเซิร์ฟเวอร์ของตัวเอง (ไม่ว่าจะอยู่บนคลาวด์หรือไม่) และไม่มีกำลังคน-ความเชี่ยวชาญมากพอในการปรับแต่งประสิทธิภาพของการรัน ตัวซอฟต์แวร์ยังรันอยู่บนซอฟต์แวร์ที่เป็นมาตรฐานอย่าง Kubernetes และเรียกใช้ API ที่เข้ากันได้กับ OpenAI API เพิ่มความสะดวกในการย้ายงานโมเดลมารันบน HUGS

ตอนนี้ HUGS เปิดให้ใช้งานแล้วบนคลาวด์รายใหญ่ๆ อย่าง AWS, Google Cloud, Microsoft Azure, DigitalOcean ส่วนการใช้งานกับเครื่องในองค์กรสามารถติดต่อไปยังฝ่ายขายของ Hugging Face ได้โดยตรง วิธีคิด

คู่แข่งที่ใกล้เคียงที่สุดของ HUGS น่าจะเป็น NVIDIA NIM ที่เป็นซอฟต์แวร์คั่นกลางระหว่างตัวโมเดลกับฮาร์ดแวร์ที่ใช้ประมวลผล เพียงแต่ NIM รันได้บนแพลตฟอร์ม NVIDIA CUDA เท่านั้น ในขณะที่ HUGS รองรับจีพียู AMD ด้วย และประกาศว่าจะรองรับตัวเร่งประสิทธิภาพ AI อื่นๆ เช่น AWS Inferentia และ Google TPU ในอนาคต

ที่มา - HUGS

Topics:
Hugging Face
Artificial Intelligence
Cloud Computing
LLM

Continue reading...