ข่าว Cloudflare ปรับบริการ Workers AI เข้าเป็น GA เริ่มคิดเงินบางส่วน, นำโมเดลที่ fine-tune เองมาใช้งานได้

[News]

Cloudflare ปรับบริการ Workers AI สำหรับการรันโมเดลปัญญาประดิษฐ์เข้าสู่สถานะให้บริการทั่วไป (generally available - GA) โดยจะเริ่มคิดเงินกับ 10 โมเดลที่เข้าสู่สถานะ GA เช่นกัน แต่ไม่คิดเงินสำหรับโมเดลที่ยังอยู่ในสถานะเบต้า

ความแตกต่างของ Workers AI จากบริการอื่นๆ คือ Cloudflare มีศูนย์ข้อมูลพร้อมชิปกราฟิกติดตั้งอยู่ทั่วโลก รวมภึงกรุงเทพมหานครด้วย การปรับสถานะ GA ครั้งนี้ทางบริษัทกระจายโหลดข้ามเมืองให้โดยอัตโนมัติในกรณีที่ชิปกราฟิกบางเมืองเต็ม ทำให้โดยรวมสามารถเปิดโควต้าให้นักพัฒนาใช้งานได้อิสระขึ้น

แนวทางการคิดราคาของ Cloudflare นั้นคิดเป็นหน่วยกลางเรียกว่า Neurons เป็นการคิดการใช้งานชิปกราฟิกจริง โดยให้โควต้าฟรีวันละ 10,000 Neurons ในโควค้านี้สามารถถามคำถาม LLM ได้ 100-200 คำถาม, แปลภาษาได้ 500 ข้อความ, แปลงเสียงเป็นข้อความได้ 500 วินาที, จัดหมวดหมู่ข้อความได้ 10,000 ครั้ง สามารถดูปริมาณ Neurons ที่ใช้งานได้ในเว็บคำนวณ

ฟีเจอร์สำคัญอีกอย่างคือการใช้งาน LoRA adapter เพื่อแปลงโมเดลเป็นโมเดลที่ fine-tune มาแล้่ว รองรับ Gemma 2B/7B, LLaMA 2 7B, และ Mistral 7B ตัวไฟล์ LoRA ต้องไม่เกิน 100MB, LoRA สูงสุด rank 8, และใช้งานได้ไม่เกิน 30 โมเดลต่อบัญชี ในอนาคตจะรองรับการทำ fine-tune ใน Cloudflare เองโดยตรง

ที่มา - Cloudflare

Topics:
Cloudflare
LLM
Artificial Intelligence

อ่านต่อ...