กรุณาปิด โปรแกรมบล๊อกโฆษณา เพราะเราอยู่ได้ด้วยโฆษณาที่ท่านเห็น
Please close the adblock program. Because we can live with the ads you see


ข่าว Hugging Face เปิดซอฟต์แวร์ HUGS ใช้รันโมเดลบนเครื่องเซิร์ฟเวอร์หลากหลาย ให้คนอื่นเช่าใช้งาน

News 

Moderator
สมาชิกทีมงาน
Moderator
Verify member
เข้าร่วม
1 มิถุนายน 2011
ข้อความ
9,392
คะแนนปฏิกิริยา
0
คะแนน
0
คนในแวดวง AI คงรู้จักบริษัท Hugging Face ในฐานะศูนย์รวมคลังโมเดลขนาดใหญ่ (มีโมเดลเกิน 1 ล้านตัวแล้ว) วิธีการหารายได้ของ Hugging Face ที่ผ่านมาคือการให้เช่าเซิร์ฟเวอร์สำหรับเทรน-ปรับแต่ง-รันโมเดลเหล่านี้ได้ทันที

คราวนี้ Hugging Face ขยายโมเดลธุรกิจของตัวเอง โดยนำซอฟต์แวร์ที่ใช้รันโมเดลข้างต้น เปิดให้ลูกค้าเช่าใช้งานซอฟต์แวร์นี้บนระบบไอทีของตัวเองได้ด้วย ใช้ชื่อว่า Hugging Face Generative AI Services หรือตัวย่อ HUGS

HUGS เป็นซอฟต์แวร์ microservice ที่ใช้รันโมเดล AI บนฮาร์ดแวร์เซิร์ฟเวอร์ที่หลากหลาย ทั้งบนจีพียูหลายค่ายและบนตัวเร่งความเร็ว AI เฉพาะทาง แถมยังปรับแต่งประสิทธิภาพของโมเดลบนฮาร์ดแวร์เหล่านี้มาให้เรียบร้อย (เพราะ Hugging Face ต้องให้บริการรันโมเดลจำนวนมากอยู่แล้ว) ช่วยประหยัดแรงของลูกค้าฝั่งองค์กรที่ต้องการรันโมเดลเองไปได้มาก

ตัวอย่างโมเดลที่รันบน HUGS เน้นไปที่โมเดลแบบเปิด เช่น Llama 3.1, Mixtral, Gemma 2, Qwen 2.5 เป็นต้น

Hugging Face บอกว่า HUGS เหมาะสำหรับองค์กรที่ต้องการใช้งานโมเดล AI ในระบบเซิร์ฟเวอร์ของตัวเอง (ไม่ว่าจะอยู่บนคลาวด์หรือไม่) และไม่มีกำลังคน-ความเชี่ยวชาญมากพอในการปรับแต่งประสิทธิภาพของการรัน ตัวซอฟต์แวร์ยังรันอยู่บนซอฟต์แวร์ที่เป็นมาตรฐานอย่าง Kubernetes และเรียกใช้ API ที่เข้ากันได้กับ OpenAI API เพิ่มความสะดวกในการย้ายงานโมเดลมารันบน HUGS

ตอนนี้ HUGS เปิดให้ใช้งานแล้วบนคลาวด์รายใหญ่ๆ อย่าง AWS, Google Cloud, Microsoft Azure, DigitalOcean ส่วนการใช้งานกับเครื่องในองค์กรสามารถติดต่อไปยังฝ่ายขายของ Hugging Face ได้โดยตรง วิธีคิด

คู่แข่งที่ใกล้เคียงที่สุดของ HUGS น่าจะเป็น NVIDIA NIM ที่เป็นซอฟต์แวร์คั่นกลางระหว่างตัวโมเดลกับฮาร์ดแวร์ที่ใช้ประมวลผล เพียงแต่ NIM รันได้บนแพลตฟอร์ม NVIDIA CUDA เท่านั้น ในขณะที่ HUGS รองรับจีพียู AMD ด้วย และประกาศว่าจะรองรับตัวเร่งประสิทธิภาพ AI อื่นๆ เช่น AWS Inferentia และ Google TPU ในอนาคต

ที่มา - HUGS

No Description


Topics:
Hugging Face
Artificial Intelligence
Cloud Computing
LLM

Continue reading...
 

กรุณาปิด โปรแกรมบล๊อกโฆษณา เพราะเราอยู่ได้ด้วยโฆษณาที่ท่านเห็น
Please close the adblock program. Because we can live with the ads you see
กลับ
ยอดนิยม