Kriteria memilih model GPT-5.6: selisih harga 5x, selisih performa coding 4,1 poin persentase

GPT-5.6 membagi modelnya menjadi Sol/Terra/Luna, lalu menambahkan mode Max/Ultra.
Karena setiap kali bingung harus memilih yang mana untuk tiap pekerjaan, saya merangkumnya berdasarkan benchmark yang sudah dipublikasikan.

Pertama, kita perlu memisahkan dua sumbu

• Tingkatan model (Grade): Sol / Terra / Luna. Ini menentukan tingkat kecerdasan dan biaya dasar.
• Cara kerja (Mode): penalaran dasar / Max / Ultra. Jumlah komputasi dan struktur pemrosesan berbeda di sini.
• Max memakai satu agen untuk menggali satu masalah secara mendalam, sedangkan Ultra membagi pekerjaan secara paralel ke 4 agen.

Harga API (input/output per 1 juta token)

• Sol $5 / $30
• Terra $2.5 / $15
• Luna $1 / $6
• Selisih hingga 5x. Pembacaan cache mendapat diskon 90%, jadi untuk pekerjaan berulang selisih riilnya makin kecil.

Performa tidak melebar sebesar harganya (Terminal-Bench 2.1)

• Sol Ultra 91,9% / Sol 88,8% / Terra 87,4% / Luna 84,7%
• Selisih antara Sol dan Luna, yang harganya 5x berbeda, adalah 4,1 poin persentase.
• Sol dan Terra berbeda 1,4 poin persentase, tetapi harganya 2x lipat.
• Terra (87,4%) melampaui flagship generasi sebelumnya, GPT-5.5 (85,6%).

Untuk pekerjaan pengetahuan sehari-hari, jaraknya makin sempit (Agents' Last Exam)

• Sol 52,7% / Terra 50,4% / Luna 50,3% / GPT-5.5 46,9%
• Terra dan Luna hanya berbeda 0,1 poin persentase. Untuk ringkasan sederhana atau Q&A, Luna sudah cukup.

Sol tidak selalu peringkat pertama

• SWE-Bench Pro (analisis struktur kode): Sol 64,6% / Claude Mythos 5 80,3% / Fable 5 80,0%
• Sebaliknya, untuk pekerjaan yang memanipulasi environment secara langsung, Sol unggul.
  OSWorld 2.0 (kontrol komputer): Sol 62,6% vs Claude Opus 4.8 54,8%
  BrowseComp (browsing): Sol Ultra 92,2% / Sol 90,4%
• Tampaknya hasilnya berbeda tergantung apakah tugasnya operasi terminal atau analisis struktur kode.

Mode Ultra naiknya tidak sebesar yang dibayangkan

• Coding +3,1 poin persentase, analisis keamanan +3,1 poin persentase, browsing +1,8 poin persentase
• Untuk mendapatkan 2–3 poin persentase ini, token yang dipakai sekitar 3x lipat.
• Sepertinya masuk akal dipakai hanya untuk pekerjaan dengan biaya kegagalan besar atau yang benar-benar membutuhkan presisi.

Ringkasnya

• Luna: repetisi sederhana, pemrosesan massal, prioritas kecepatan
• Terra: sebagian besar pekerjaan umum. Praktis menjadi pilihan default
• Sol: struktur logika kompleks, pekerjaan dengan biaya kegagalan besar
• Max: mendalami satu masalah
• Ultra: memproses beberapa pekerjaan secara paralel

Semua angka mengacu pada tabel benchmark di tulisan peluncuran resmi OpenAI.
https://openai.com/index/gpt-5-6/

Benchmark adalah hasil tunggal, jadi bisa berbeda dari biaya proyek nyata atau pengalaman yang dirasakan.
Terutama ada bagian seperti SWE-Bench Pro yang peringkatnya terbalik, sehingga bisa terbaca berbeda tergantung jenis tugasnya.
Saya penasaran jika ada bagian yang terasa berbeda saat Anda mencobanya sendiri.
Jika ada bagian yang saya salah lihat, beri tahu saya dan akan saya perbaiki.