Project Zero รายงานถึงแนวทางการทดสอบประสิทธิภาพ AI ในกลุ่ม LLM ว่าสามารถนำมาใช้ทดสอบความปลอดภัยซอฟต์แวร์ได้ดีเพียงใด โดยวางเฟรมเวิร์คให้ LLM เข้าถึงเครื่องมีที่จำเป็นสำหรับการเจาะระบบจริงๆ ได้แก่
การวัดประสิทธิภาพ LLM อาศัยค่า Naptime@k ซึ่งแปลว่าความสำเร็จของการเจาะระบบเมื่อมีเครื่องมือตามเฟรมเวิร์ค Naptime และทดสอบแนวทางการเจาะระบบ k รูปแบบ แต่ละรูปแบบทดสอบไม่เกิน 16 ขั้นตอน
การที่ LLM มีเครื่องมือครบชุดช่วยให้เจาะระบบได้เต็มประสิทธิภาพมากขึ้น เช่น การเจาะแบบ buffer overflow ที่ไม่ยากมาก GPT-4 Turbo สามารถเจาะได้ถึง 71% และครบ 100% เมื่อทดลอง Naptime@10 หรือการทดสอบสิบวิธีขึ้นไป ส่วน Gemini 1.5 Pro นั้นตามมา สามารถเจาะได้ 99% เมื่อวัด Naptime@20
สำหรับการเจาะระบบแบบ Memory Corruption นั้น Gemini 1.5 Pro และ GPT-4 Turbo ทำคะแนน Naptime ได้ใกล้เคียงกัน และเมื่อทีมงานทดสอบปรับขั้นตอนที่รองรับเพิ่มเป็น 32 ขั้นก็สามามารถทำคะแนนได้มากขึ้น
ทีมงาน Project Zero ระบุว่าการทดสอบเช่นนี้แสดงให้เห็นว่า LLM สามารถเจาะระบบได้ดีกว่าที่เคยคิดกันมา เมื่อ LLM มีเครื่องมือที่เพียงพอ
ชื่อ Naptime มาจากการออกแบบระบบที่อาจจะช่วยให้นักวิจัยตัวจริงหนีไปงีบได้ระหว่าง LLM ทำงาน ทีมงานระบุว่าอย่าไปบอกผู้จัดการทีม
ที่มา - Project Zero
ผลทดสอบเมื่อใช้ Gemini 1.5 Pro, GPT-4 Turbo, Gemini 1.5 Flash, GPT-3.5 Turbo ทำงานภายใต้เฟรมเวิร์ค Naptime
Topics:
Project Zero
Security
LLM
Continue reading...
- Code Browser: ดูซอร์สโค้ดของโปรแกรมพร้อมความเชื่อมโยงกับโค้ดของฟังก์ชั่นต่างๆ
- Python: โค้ดสำหรับการเขียนสคริปต์ Python ใน sandbox จำกัด
- Debugger: สำหรับการตรวจสอบการทำงานของซอฟต์แวร์ ตัว LLM สามารถเข้ามาสั่ง breakpoint หรือตรวจสอบค่าของตัวแปรต่างๆ ได้เอง
- Reporter: สำหรับการแจ้งจบการทำงานว่าสามารถเจาะรบบได้เสร็จแล้ว หรือยอมแพ้เมื่อเจาะระบบไม่ได้
การวัดประสิทธิภาพ LLM อาศัยค่า Naptime@k ซึ่งแปลว่าความสำเร็จของการเจาะระบบเมื่อมีเครื่องมือตามเฟรมเวิร์ค Naptime และทดสอบแนวทางการเจาะระบบ k รูปแบบ แต่ละรูปแบบทดสอบไม่เกิน 16 ขั้นตอน
การที่ LLM มีเครื่องมือครบชุดช่วยให้เจาะระบบได้เต็มประสิทธิภาพมากขึ้น เช่น การเจาะแบบ buffer overflow ที่ไม่ยากมาก GPT-4 Turbo สามารถเจาะได้ถึง 71% และครบ 100% เมื่อทดลอง Naptime@10 หรือการทดสอบสิบวิธีขึ้นไป ส่วน Gemini 1.5 Pro นั้นตามมา สามารถเจาะได้ 99% เมื่อวัด Naptime@20
สำหรับการเจาะระบบแบบ Memory Corruption นั้น Gemini 1.5 Pro และ GPT-4 Turbo ทำคะแนน Naptime ได้ใกล้เคียงกัน และเมื่อทีมงานทดสอบปรับขั้นตอนที่รองรับเพิ่มเป็น 32 ขั้นก็สามามารถทำคะแนนได้มากขึ้น
ทีมงาน Project Zero ระบุว่าการทดสอบเช่นนี้แสดงให้เห็นว่า LLM สามารถเจาะระบบได้ดีกว่าที่เคยคิดกันมา เมื่อ LLM มีเครื่องมือที่เพียงพอ
ชื่อ Naptime มาจากการออกแบบระบบที่อาจจะช่วยให้นักวิจัยตัวจริงหนีไปงีบได้ระหว่าง LLM ทำงาน ทีมงานระบุว่าอย่าไปบอกผู้จัดการทีม
ที่มา - Project Zero
ผลทดสอบเมื่อใช้ Gemini 1.5 Pro, GPT-4 Turbo, Gemini 1.5 Flash, GPT-3.5 Turbo ทำงานภายใต้เฟรมเวิร์ค Naptime
Topics:
Project Zero
Security
LLM
Continue reading...