OpenAI ออก GPT-4o-Mini ตัวนี้ราคาถูกกว่า GPT-4o มาก

GPT-4o ราคา $5/M input, $15/M output
GPT-4o-mini ราคาเหลือแค่ $0.15/M input, $0.60/M output

คือ input ถูกลง 33 เท่า และ output ถูกลง 25 เท่า

แต่ที่สำคัญกว่าราคาคือ output context window เพิ่มเป็น 16k output (128k input) ซึ่งเหนือกว่าตัวอื่นๆในตลาด เพราะ Claude ที่ดังอยู่ตอนนี้เพิ่งอัพเกรด output context window จาก 4k เป็น 8k ไปเมื่อสัปดาห์ที่ผ่านมา ซึ่งยังแค่ครึ่งเดียวของ GPT-4o-mini

ตัวนี้ position คือออกมาแทน GPT-3.5-turbo ทั้งถูกกว่าดีกว่า

ที่สำคัญที่สุดคือ GPT-4o-mini เป็น model ตัวแรกที่ support heirarchy instruction ซึ่งเป็นวิธีป้องกันการถูก Jailbreak ของ LLM

โมเดลทั่วไปในตลาดตอนนี้ system prompt และ user prompt จะมี priority เท่ากัน ทำให้ผู้ใช้สามารถสั่งให้ LLM ละเลยคำสั่งใน system prompt ได้ ซึ่งทำให้ LLM ทำงานในรูปแบบที่ผู้ให้บริการไม่ต้องการให้ทำ เรียกว่าการ jailbreak

การมี heirarchy instruction คือมีการกำหนดชั้นความสำคัญของ instruction (prompt) ที่แตกต่างกัน ทำให้ LLM จัดการได้ดีขึ้นเมื่อมีความขัดแยังกันของ system prompt และ user promt

ในด้านความเร็วลองเทสด้วย API ได้ราวๆ 150-200 tokens / sec ซึ่งถือได้ว่าเร็วมาก

การให้บริการ LLM ก็จะปลอดภัยขึ้น, เร็วขึ้น และราคาถูกลง ด้วยประการฉะนี้