กูเกิลปล่อยโมเดลปัญญาประดิษฐ์ Gemma 3 รุ่นย่อแบบ Quantization Aware Training (QAT) เป็นโมเดลที่ถูกฝึกระหว่างการย่อโมเดลเหลือ Q4_O เล็กพอที่จะรัน Gemma 3 27B ในการ์ดจอแรม 14.1GB
โมเดล QAT อาศัยโมเดลเต็มแบบ BF16 เป็นต้นแบบแล้วฝึกโมเดลที่กำลังย่อให้จำลองตัวเองว่าถูกย่อไปแล้ว แต่ให้หาทางสร้างคำตอบให้ใกล้เคียงโมเดลเต็มให้ได้ การฝึกนี้ทำซ้ำประมาณ 5,000 รอบ กระบวนการนี้ทำให้เมื่อได้โมเดลสุดท้ายและย่อฟอร์แมตพารามิเตอร์ออกมาแล้วคุณภาพตกลงไปจากโมเดลต้นแบบไม่มาก
Gemma 3 QAT รองรับทั้ง Ollama, LM Studio, MLX, Gemma.cpp, และ llama.cpp โมเดลมี 4 รุ่นเท่ากับ Gemma 3 ตัวเต็ม ทำให้รุ่นเล็กที่สุดขนาดเพียง 0.5GB รันในโทรศัพท์มือถือได้
ที่มา - Google
Topics:
Gemini
Google
LLM
Continue reading...
โมเดล QAT อาศัยโมเดลเต็มแบบ BF16 เป็นต้นแบบแล้วฝึกโมเดลที่กำลังย่อให้จำลองตัวเองว่าถูกย่อไปแล้ว แต่ให้หาทางสร้างคำตอบให้ใกล้เคียงโมเดลเต็มให้ได้ การฝึกนี้ทำซ้ำประมาณ 5,000 รอบ กระบวนการนี้ทำให้เมื่อได้โมเดลสุดท้ายและย่อฟอร์แมตพารามิเตอร์ออกมาแล้วคุณภาพตกลงไปจากโมเดลต้นแบบไม่มาก
Gemma 3 QAT รองรับทั้ง Ollama, LM Studio, MLX, Gemma.cpp, และ llama.cpp โมเดลมี 4 รุ่นเท่ากับ Gemma 3 ตัวเต็ม ทำให้รุ่นเล็กที่สุดขนาดเพียง 0.5GB รันในโทรศัพท์มือถือได้
ที่มา - Google
Topics:
Gemini
LLM
Continue reading...