ข่าว Meta เปิดตัวโมเดล Llama 3.2 รุ่น 1B & 3B Quantized ลดขนาดให้เล็กพิเศษ รันในมือถือได้

[News]

Meta ปล่อยโมเดล Llama 3.2 รุ่นเล็ก ขนาดพารามิเตอร์ 1B และ 3B แบบลดขนาดโมเดลลงจากปกติ (quantized) ตั้งใจทำมาให้เล็กจนรันในอุปกรณ์พกพาได้ และเพิ่มความเร็วในการตอบคำถาม

ก่อนหน้านี้ Meta มี Llama 3.2 ขนาดพารามิเตอร์ 1B/3B อยู่แล้ว รอบนี้เป็นเวอร์ชันลดขนาดโมเดลลงได้อีก 56% (โมเดลรุ่น 1B ลดเหลือประมาณ 1MB จากขนาดเดิม 2.3MB) โดยยังคงคุณภาพและความปลอดภัยในระดับใกล้เคียงโมเดลต้นฉบับ ขนาดโมเดลที่ลดลงทำให้ลดหน่วยความจำที่ต้องใช้ลงได้ 41% และเพิ่มความเร็วได้ 2-4 เท่า

Meta จับมือกับผู้ผลิตชิปมือถือรายใหญ่ทั้ง MediaTek และ Qualcomm ให้รองรับโมเดลรุ่นนี้บนซีพียู Arm แล้ว และกำลังพัฒนาให้รองรับการใช้งานบน NPU ต่อไป

เทคนิคการลดขนาดโมเดลของ Meta มีให้เลือกสองวิธีคือ Quantization-Aware Training with LoRA adaptors (QLoRA) เน้นความแม่นยำของผลลัพธ์ และ SpinQuant เน้นที่ขนาดของโมเดล ผู้ใช้งานเลือกได้ว่าต้องการแบบไหน อ่านรายละเอียดเรื่องเทคนิคลดขนาดได้จากที่มา

ตอนนี้ Llama มีโมเดลให้เลือกทั้งหมด 3 กลุ่มคือ

• Llama 3.2: 1B & 3B ไซส์เล็ก เบา มีแต่โมเดลข้อความอย่างเดียว มีเวอร์ชัน Quantized ตามข่าวนี้
• Llama 3.2: 11B & 90B ไซส์กลาง เป็นโมเดล multimodal รองรับทั้งข้อความและภาพ
• Llama 3.1: 405B, 70B & 8B โมเดลภาษาขนาดใหญ่รุ่นท็อป แต่ยังมีเฉพาะเวอร์ชัน 3.1 ยังไม่ออก 3.2

ที่มา - Meta AI

Topics:
Llama
Meta
LLM

Continue reading...