วันนี้แอปเปิลเปิดตัว Mac Studio โดยรุ่นสูงสุดใส่ชิปใหม่ M3 Ultra ประสิทธิภาพสูง แต่จุดเล็กๆ จุดหนึ่งในการเปิดตัวครั้งนี้คือแอปเปิลเลือกโชว์ความเร็วในการรันปัญญาประดิษฐ์แบบ LLM เป็นแนวทางการใช้งานแรกของ M3 Ultra โดยระบุว่าสามารถรัน LLM ได้เร็วกว่า M1 Ultra ถึง 16.9 เท่าตัว แถมยังอัดแรมได้ถึง 512GB (ใหญ่กว่า M2 Ultra ที่คอนฟิกได้ 192GB) ทำให้รันโมเดลระดับแสนล้านพารามิเตอร์ได้
ความได้เปรียบของชิป Apple Silicon เป็นชิปที่ใช้หน่วยความจำร่วมกันระหว่างซีพียูและกราฟิก และเมื่อใส่แรมขนาดใหญ่มากๆ ก็สามารถรันโมเดล LLM ขนาดใหญ่ได้ ที่ผ่านมานักพัฒนาจำนวนมากนิยม Apple Silicon ด้วยความได้เปรียบนี้
โหลดงานประเภท LLM นั้นมีคอขวดสำคัญอยู่ที่แบนวิดท์หน่วยความจำ เพราะตัวงานเป็นเหมือนการรันไบนารีขนาดใหญ่ ต้องสลับโค้ดเข้าออกหน่วยประมวลผล ชิปตระกูล Ultra ของแอปเปิลมีแบนวิดท์สูงอย่างชัดเจนทำให้ได้เปรียบมาก ก่อนหน้านี้ M2 Ultra พร้อมแรม 192GB สามารถรัน Llama 3 70B FP16 ได้ความเร็วถึง 145.82 token/s การโชว์ผลทดสอบครั้งนี้แอปเปิลไม่ยอมบอกว่ารันทดสอบด้วยโมเดลอะไร แต่บอกเพียงว่าใช้ LM Studio 0.3.9 และรันโมเดลที่มีขนาด 174.63GB (ไม่ยอมบอกพารามิเตอร์ หรือชื่อโมเดล ทำซ้ำเองได้ยาก) ซึ่งใหญ่เกินเครื่อง M1 Ultra แรม 128GB ที่มาทดสอบร่วมกัน (
จะได้ดันให้ความเร็วเพิ่มขึ้นเยอะๆ) อย่างไรก็ดี เมื่อเทียบกับ M2 Ultra แรม 192GB ก็ยังได้ควาามเร็วสูงกว่าเกินเท่าตัว ซึ่งน่าแปลกใจเพราะแบนวิดท์หน่วยความจำของ M3 Ultra (819GB/s) นั้นใกล้เคียงกับ M2 Ultra (800GB/s)
ความได้เปรียบของ M3 Ultra อีกอย่าง คือมันมากับ Thunderbolt 5 แบนวิดท์ 120Gb/s สูงขึ้นกว่า Thunderbolt 4 ใน M2 Ultra ถึงสามเท่าตัว เปิดทางให้คอนฟิกคลัสเตอร์ขนาดใหญ่ขึ้นได้ด้วย
ตลาดคอมพิวเตอร์สำหรับรันโมเดล LLM โดยเฉพาะเริ่มได้รับความนิยมมากขึ้นเรื่อยๆ โดยเฉพาะการใช้ช่วยเขียนโปรแกรมที่ต้องการ LLM ประสิทธิภาพสูง ช่วงหลัง NVIDIA เองก็ต้องออก Project DIGITS ที่ให้แรมถึง 128GB ในราคา "เพียง" 3,000 ดอลลาร์ หรือ Framework ที่ออกพีซีใช้ชิป AMD Ryzen AI Max+ 395 แรม 128GB ในราคา 1,999 ดอลลาร์ สำหรับ Mac Studio M3 Ultra แรม 512GB นี้ราคา 332,400 บาท นับว่าถูกมากในกลุ่มคอมพิวเตอร์รันโมเดลขนาดใหญ่มากๆ ได้
ที่มา - Apple
Topics:
Apple M3
Apple Silicon
LLM
Continue reading...
ความได้เปรียบของชิป Apple Silicon เป็นชิปที่ใช้หน่วยความจำร่วมกันระหว่างซีพียูและกราฟิก และเมื่อใส่แรมขนาดใหญ่มากๆ ก็สามารถรันโมเดล LLM ขนาดใหญ่ได้ ที่ผ่านมานักพัฒนาจำนวนมากนิยม Apple Silicon ด้วยความได้เปรียบนี้
โหลดงานประเภท LLM นั้นมีคอขวดสำคัญอยู่ที่แบนวิดท์หน่วยความจำ เพราะตัวงานเป็นเหมือนการรันไบนารีขนาดใหญ่ ต้องสลับโค้ดเข้าออกหน่วยประมวลผล ชิปตระกูล Ultra ของแอปเปิลมีแบนวิดท์สูงอย่างชัดเจนทำให้ได้เปรียบมาก ก่อนหน้านี้ M2 Ultra พร้อมแรม 192GB สามารถรัน Llama 3 70B FP16 ได้ความเร็วถึง 145.82 token/s การโชว์ผลทดสอบครั้งนี้แอปเปิลไม่ยอมบอกว่ารันทดสอบด้วยโมเดลอะไร แต่บอกเพียงว่าใช้ LM Studio 0.3.9 และรันโมเดลที่มีขนาด 174.63GB (ไม่ยอมบอกพารามิเตอร์ หรือชื่อโมเดล ทำซ้ำเองได้ยาก) ซึ่งใหญ่เกินเครื่อง M1 Ultra แรม 128GB ที่มาทดสอบร่วมกัน (
จะได้ดันให้ความเร็วเพิ่มขึ้นเยอะๆ) อย่างไรก็ดี เมื่อเทียบกับ M2 Ultra แรม 192GB ก็ยังได้ควาามเร็วสูงกว่าเกินเท่าตัว ซึ่งน่าแปลกใจเพราะแบนวิดท์หน่วยความจำของ M3 Ultra (819GB/s) นั้นใกล้เคียงกับ M2 Ultra (800GB/s)ความได้เปรียบของ M3 Ultra อีกอย่าง คือมันมากับ Thunderbolt 5 แบนวิดท์ 120Gb/s สูงขึ้นกว่า Thunderbolt 4 ใน M2 Ultra ถึงสามเท่าตัว เปิดทางให้คอนฟิกคลัสเตอร์ขนาดใหญ่ขึ้นได้ด้วย
ตลาดคอมพิวเตอร์สำหรับรันโมเดล LLM โดยเฉพาะเริ่มได้รับความนิยมมากขึ้นเรื่อยๆ โดยเฉพาะการใช้ช่วยเขียนโปรแกรมที่ต้องการ LLM ประสิทธิภาพสูง ช่วงหลัง NVIDIA เองก็ต้องออก Project DIGITS ที่ให้แรมถึง 128GB ในราคา "เพียง" 3,000 ดอลลาร์ หรือ Framework ที่ออกพีซีใช้ชิป AMD Ryzen AI Max+ 395 แรม 128GB ในราคา 1,999 ดอลลาร์ สำหรับ Mac Studio M3 Ultra แรม 512GB นี้ราคา 332,400 บาท นับว่าถูกมากในกลุ่มคอมพิวเตอร์รันโมเดลขนาดใหญ่มากๆ ได้
ที่มา - Apple
Topics:
Apple M3
Apple Silicon
LLM
Continue reading...