OpenAI ออก GPT-4o-Mini ตัวนี้ราคาถูกกว่า GPT-4o มาก
GPT-4o ราคา $5/M input, $15/M output
GPT-4o-mini ราคาเหลือแค่ $0.15/M input, $0.60/M output
คือ input ถูกลง 33 เท่า และ output ถูกลง 25 เท่า
แต่ที่สำคัญกว่าราคาคือ output context window เพิ่มเป็น 16k output (128k input) ซึ่งเหนือกว่าตัวอื่นๆในตลาด เพราะ Claude ที่ดังอยู่ตอนนี้เพิ่งอัพเกรด output context window จาก 4k เป็น 8k ไปเมื่อสัปดาห์ที่ผ่านมา ซึ่งยังแค่ครึ่งเดียวของ GPT-4o-mini
ตัวนี้ position คือออกมาแทน GPT-3.5-turbo ทั้งถูกกว่าดีกว่า
ที่สำคัญที่สุดคือ GPT-4o-mini เป็น model ตัวแรกที่ support heirarchy instruction ซึ่งเป็นวิธีป้องกันการถูก Jailbreak ของ LLM
โมเดลทั่วไปในตลาดตอนนี้ system prompt และ user prompt จะมี priority เท่ากัน ทำให้ผู้ใช้สามารถสั่งให้ LLM ละเลยคำสั่งใน system prompt ได้ ซึ่งทำให้ LLM ทำงานในรูปแบบที่ผู้ให้บริการไม่ต้องการให้ทำ เรียกว่าการ jailbreak
การมี heirarchy instruction คือมีการกำหนดชั้นความสำคัญของ instruction (prompt) ที่แตกต่างกัน ทำให้ LLM จัดการได้ดีขึ้นเมื่อมีความขัดแยังกันของ system prompt และ user promt
ในด้านความเร็วลองเทสด้วย API ได้ราวๆ 150-200 tokens / sec ซึ่งถือได้ว่าเร็วมาก
การให้บริการ LLM ก็จะปลอดภัยขึ้น, เร็วขึ้น และราคาถูกลง ด้วยประการฉะนี้