Bagaimana Databricks Membuat Benchmark AI Coding Sendiri dan Hasilnya

• Benchmark coding yang dipublikasikan punya masalah karena tidak selalu cocok dengan situasi tiap perusahaan dan bisa dicurangi
  • Databricks membuat benchmark berdasarkan tugas dan bahasa yang benar-benar digunakan secara nyata untuk evaluasi
• GLM 5.2 menyelesaikan bahkan tugas yang paling sulit pada level yang setara dengan Opus 4.8, tetapi harganya sekitar 66% dari Opus
• Sonnet 5 memang 1,7 kali lebih murah daripada Opus 4.8, tetapi tidak efisien karena untuk menyelesaikan pekerjaan nyata ia memakai token 1,9 kali lebih banyak
• Bahkan dengan model yang sama, biaya dan waktu eksekusi bisa sangat dihemat tergantung pada harness yang digunakan