Hasil Membuat 4 Aplikasi yang Sama dengan GPT-5.6, Grok 4.5, Claude, dan Muse Spark

 (tryai.dev)
2 poin oleh GN⁺ 4 jam lalu | 1 komentar | Bagikan ke WhatsApp
  • Setelah meminta 12 model membuat labirin raycaster, Rubik’s Cube 3D, kalkulator, dan Conway’s Game of Life, GPT-5.6 Sol dan Claude Fable 5 berbagi posisi terdepan untuk tugas-tugas kompleks
  • Untuk tiap model dan tiap tugas dilakukan 5 percobaan, lalu jumlah keberhasilan, biaya, waktu, dan semua hasilnya dipublikasikan. Namun, ini punya keterbatasan: bukan evaluasi ilmiah, melainkan perbandingan subjektif dengan meninjau langsung hasil generasinya
  • Pada raycaster, GPT-5.6 Sol mencatat 5/5, sementara pada Rubik’s Cube Claude Fable 5 mencatat 5/5. Sebaliknya, Claude Opus 4.8 dan GPT-5.6 Luna hanya 0/5 pada cube, menunjukkan variasi besar menurut model dan tugas
  • Model open-weight tertinggal dari model teratas pada tugas yang kompleks atau baru, tetapi pada Game of Life yang punya banyak contoh kode, Qwen 3.7 Plus dan GLM-5.2 menghasilkan keluaran bagus dengan biaya jauh lebih rendah
  • Grok 4.5 menjadi alternatif murah setingkat Claude Opus 4.8 pada sebagian tugas, dan Muse Spark 1.1 juga secara umum lebih baik daripada model open-weight. Namun, flagship terbaru dan termahal tidak otomatis menang di semua tugas

Metode perbandingan dan 12 model

  • Dengan mempertimbangkan umpan balik terhadap perbandingan sebelumnya, skala diperluas menjadi 12 model, 4 aplikasi, dan 5 percobaan per tugas
  • Berdasarkan masukan bahwa sulit menilai dari satu hasil saja, jumlah keberhasilan dan hasil yang paling disukai dicatat secara terpisah untuk tiap tugas, dan semua percobaan dipublikasikan agar variasi antar-eksekusi bisa diperiksa
  • Ini adalah perbandingan subjektif berdasarkan observasi terhadap hasil yang dihasilkan, bukan penilaian objektif atau ilmiah

Labirin raycaster bergaya Doom

  • Model diminta membuat labirin first-person dengan pergerakan WASD, rotasi, shading dinding berdasarkan kedalaman, lantai dan langit-langit, serta penanganan collision
  • Keberhasilan dinilai hanya dari apakah pengguna benar-benar bisa bergerak dan berputar di dalam labirin, bukan dari tingkat penyelesaian visual
  • GPT-5.6 Sol mencatat 5/5 dengan biaya $1.35 dan 120 detik. Hasilnya dinilai paling baik karena lebih konsisten daripada GPT-5.5 dan memiliki detail game yang lebih kaya
    • GPT-5.6 Luna juga mencatat 5/5, $0.15, dan 23 detik, tetapi kualitas hasilnya dinilai lebih rendah daripada GPT-5.5
    • GPT-5.6 Terra mencatat 3/5, $0.44, dan 39 detik; detailnya bagus, tetapi pada sebagian hasil pengguna tidak bisa berjalan
  • Grok 4.5 mencatat 5/5, $0.27, dan 62 detik, menjadikannya alternatif praktis dari sisi harga, sementara GPT-5.5 mencatat 4/5, $1.44, dan 138 detik
  • Keluarga Claude berkinerja lebih buruk dari ekspektasi
    • Claude Opus 4.8 konsisten dengan 4/5, tetapi hasilnya monoton
    • Claude Fable 5 menghasilkan keluaran yang bagus, tetapi konsistensinya rendah dengan 3/5
  • Di antara model open-weight, Qwen 3.7 Plus dan Kimi K2.6 masing-masing mencatat 2/5, sementara DeepSeek V4 Pro mencatat 3/5
    • GLM-5.2 merender tampilan yang detail, tetapi karakternya tidak pernah bergerak sama sekali sehingga hanya mencapai 0/5
  • Muse Spark 1.1 hanya 2/5, tetapi hasil yang berfungsi dinilai mirip dengan Fable dan Sol serta lebih baik daripada Grok dan Opus, sehingga menunjukkan performa yang tak terduga

Rubik’s Cube 3D

  • Model diminta membuat cube 3D berwarna dengan tombol Scramble dan Solve, serta menampilkan rotasi sebagai animasi di layar
  • Percobaan dihitung berhasil jika animasi scramble dan solve sama-sama berjalan mulus tanpa error atau perubahan warna
  • Claude Fable 5 menjadi satu-satunya yang sukses bersih di kelima percobaan, dengan 5/5, $2.03, dan 92 detik
    • Claude Opus 4.8 hanya mencapai 0/5 karena semua hasil memiliki error kecil atau perubahan warna
  • GPT-5.6 Sol dan Terra masing-masing mencatat 4/5
    • Sol memiliki kualitas hasil yang bagus saat berfungsi, tetapi ada hasil dengan animasi aneh dan hasil yang dirender seluruhnya hitam
    • Terra punya animasi scramble yang aneh, tetapi sedikit lebih baik daripada GPT-5.5
    • Luna pada awalnya sering tampak normal, tetapi langsung rusak begitu scramble dimulai, sehingga mendapat 0/5
  • GPT-5.5 mencatat 4/5, tetapi ada kedipan warna dan rotasi yang kurang mulus, sementara Grok 4.5 mencatat 3/5 dengan hasil yang sederhana namun bagus
  • Qwen 3.7 Plus, Kimi K2.6, dan DeepSeek V4 Pro masing-masing mencatat 1/5, sedangkan GLM-5.2 mencatat 0/5
  • Muse Spark 1.1 mencatat 2/5, satu tingkat di atas model open-weight, tetapi dinilai kurang punya alasan untuk dipilih dibanding Grok jika mempertimbangkan harga
  • Keluarga GPT yang unggul di raycaster ternyata berkinerja lebih buruk dari ekspektasi, sementara Claude menunjukkan pembalikan peringkat antar-tugas berkat performa Fable

Kalkulator

  • Model diminta membuat tombol angka, operator, reset, dan sama dengan, prioritas operator yang benar, serta tampilan seperti kalkulator sungguhan
  • Perhitungan dasar seperti (((5 × 5) − 100) / 10) digunakan untuk memeriksa urutan operasi dan rendering hasil, tetapi ini bukan pengujian fitur yang menyeluruh
  • Claude Opus 4.8 dan Claude Fable 5 sama-sama mencatat 5/5
    • Hasil Fable paling disukai dari sisi gaya
  • Grok 4.5 mencatat 5/5 dengan hasil sederhana dan konsisten, dan GPT-5.6 Luna juga mencatat 5/5 dengan pengalaman yang mirip Grok
  • GPT-5.6 Sol mencatat 5/5, tetapi mencoba menambahkan styling dan tampilan 3D berlebihan, sehingga merusak pengalaman kalkulator yang rapi dan konsisten
    • GPT-5.6 Terra dan GPT-5.5 masing-masing mencatat 4/5, dan GPT-5.5 kadang membuat tombol yang tidak perlu atau tampilan 3D yang terpotong
  • Muse Spark 1.1 mencatat 5/5 dengan level mirip Grok 4.5, tetapi pada sebagian hasil urutan dan tata letak tombol terasa canggung
  • Di antara model open-weight, Qwen 3.7 Plus mencatat 4/5 dengan biaya $0.04 dan 12 detik, tetapi satu hasil tidak bisa menangani angka negatif
    • DeepSeek V4 Pro mencatat 3/5 dengan error urutan angka dan hasil yang tidak ditampilkan
    • GLM-5.2 mencatat 2/5, tetapi kualitas hasil yang berhasil cukup bagus
    • Kimi K2.6 dihitung 0/5 karena tidak bisa menangani angka negatif
  • Model GPT yang sederhana langsung berfungsi tanpa revisi tambahan, dan implementasi yang berfokus pada fungsi dasar memberikan pengalaman lebih baik daripada hasil dengan efek visual kompleks

Conway’s Game of Life

  • Model diminta mengimplementasikan kanvas grid, Play, Pause, Step, Randomize, Clear, toggle sel lewat klik, dan animasi generasi
  • Untuk tugas ini tidak diterapkan penilaian keberhasilan 5 kali secara terpisah; yang dibandingkan hanya biaya, waktu, dan kesan umum
  • Grok 4.5 menghasilkan keluaran yang bagus, dan karena tugasnya sendiri sederhana serta ada banyak contoh kode publik, model open-weight juga berkinerja sangat baik
  • Qwen 3.7 Plus dengan $0.04 dan 11 detik serta GLM-5.2 dengan $0.10 dan 121 detik dinilai cocok untuk tipe tugas ini karena menghasilkan keluaran bagus dengan biaya rendah
  • Karena pada tugas kompleks lain model open-weight terus mengalami kesulitan, hasil Game of Life sulit digeneralisasi sebagai performa umum
  • Biaya dan waktu utama lainnya adalah Grok 4.5 $0.14・38 detik, GPT-5.6 Luna $0.13・18 detik, Terra $0.36・25 detik, Sol $0.99・62 detik, dan Muse Spark 1.1 $0.32・98 detik

Kecepatan dan biaya untuk jawaban singkat

  • Pada prompt singkat, keluarga GPT-5.6 mencatat waktu mulai respons paling cepat
    • Luna: 1.0 detik・97 tok/s・$0.001
    • Terra: 1.5 detik・62 tok/s・$0.001
    • Sol: 1.8 detik・45 tok/s・$0.003
  • Qwen 3.7 Plus sangat murah dan cepat dengan 2.1 detik・204 tok/s・$0.001, sementara Grok 4.5 mencatat 3.0 detik・112 tok/s・$0.003, dan Muse Spark 1.1 mencatat 3.1 detik・125 tok/s・$0.002
  • Claude Opus 4.8 mencatat 2.5 detik・44 tok/s・$0.004, tetapi Claude Fable 5 lebih lambat dan lebih mahal dengan 6.6 detik・30 tok/s・$0.01
  • DeepSeek V4 Pro mencatat 9.3 detik・37 tok/s・$0.001, dan GLM-5.2 mencatat 7.0 detik・58 tok/s・$0.001, sehingga awal responsnya lambat
  • Sebagian model open-weight mengeluarkan seluruh jawaban sekaligus dan mencapai batas 400 token, jadi tok/s yang ditampilkan adalah nilai batas, bukan kecepatan decoding sebenarnya

Tugas bonus SVG

  • Model diminta membuat SVG sekaligus tanpa library; dari 5 hasil, SVG yang valid diprioritaskan, lalu hasil paling detail dipilih
  • Untuk adegan kuda yang membawa astronaut, Claude Fable 5 menghasilkan keluaran bagus dari sisi kualitas dan humor
    • Keluarga GPT berkinerja lebih buruk dari ekspektasi karena tidak mampu merender kuda dan astronaut dengan rapi
    • Grok 4.5 juga menghasilkan keluaran yang bagus
  • Pada adegan yang lebih sulit, yaitu Elon Musk dan Jeff Bezos melihat booster Blue Origin turun menuju landing pad di laut, Claude Fable 5 kembali paling unggul
    • Ia menyusun detail hingga bagian mengilap di dahi Bezos dan asap di sekitar landing pad, lalu merendernya dengan rapi
    • Keluarga GPT menghasilkan keluaran bergaya kartun, tetapi masih menyisakan error kecil di setiap hasil
    • GLM-5.2 dan Qwen 3.7 juga menghasilkan keluaran bagus pada tugas SVG ini

Pilihan model berubah sesuai tugas

  • Pada raycaster dan Rubik’s Cube yang kompleks dan baru, keunggulan model teratas tampak jelas, dengan GPT-5.6 Sol dan Claude Fable 5 masing-masing menunjukkan kekuatan
  • Pada tugas yang sederhana dan sudah banyak diimplementasikan, Qwen 3.7 Plus dan GLM-5.2 bisa menghasilkan keluaran kompetitif dengan biaya jauh lebih rendah
  • Grok 4.5 mencapai level Claude Opus 4.8 pada sebagian tugas, sehingga layak dipakai sebagai model eksekusi pendamping saat biaya menjadi prioritas
  • Muse Spark 1.1 berada satu tingkat di bawah Grok 4.5, tetapi secara umum lebih baik daripada model open-weight; namun belum sampai menjadi pilihan utama saat ini
  • Peringkat Sol, Fable, Grok, dan model open-weight murah berubah tergantung tugas, sehingga flagship terbaru dan termahal tidak selalu menang

Bacaan terkait

1 komentar

 
GN⁺ 4 jam lalu
Komentar Hacker News

  • Ungkapan seperti “sejujurnya, ada satu hal yang perlu dicatat” atau “tidak ada error dan tidak ada perubahan warna” adalah penanda yang bagus. Saya tetap membacanya sampai habis, tetapi akan lebih baik kalau ini ditulis langsung oleh manusia

    • Rasanya saya lebih sering mendengar kata “Honestly” dari Anthropic daripada dari gabungan semua orang
    • Tidak bisakah bahasa baru khas LLM ini dimasukkan ke transformer lain untuk menghapus kalimat-kalimat menyebalkan itu? Tidak tampak sulit, dan semua orang akan diuntungkan

  • Saya akui ini tulisan yang dibuat dengan usaha dan rapi, tetapi ketika membaca paragraf seperti berikut, saya langsung kehilangan minat pada keseluruhan tulisan
    “Saya memakai tabel terpisah untuk setiap pertanyaan. Ini bukan pekerjaan build, melainkan alat uji latensi standar…”, “Karena itu, token per detik adalah batas atas dan bukan kecepatan decoding yang sebenarnya…”
    Apa benar sesulit itu menulis dua kalimat ini sendiri dengan gaya bicara aslinya?

    • Saya tidak tahu dari mana gaya tulisan khas ini berasal, dan karena hampir mustahil dihilangkan, rasanya sangat mengganggu
    • Terlalu kentara dan tidak enak dibaca. Orang seharusnya menulis sendiri apa yang ingin disampaikan seperti orang biasa
      Membuat tulisan dengan AI bukan hanya malas, tetapi juga hambar, membosankan, dan tidak menghormati waktu pembaca
    • Sekadar untuk diskusi, bagaimana kalau itu memang gaya bicara alami penulisnya?
    • Jauh sebelum LLM muncul, saya juga kadang menulis seperti itu. Membaca kecaman seperti ini juga mulai membuat saya muak
    • Sejak AI muncul, orang-orang jadi terlalu sensitif. Seolah-olah mereka cerewet hanya karena programmer tidak menulis prosa sesuai selera mereka

  • Mungkin saya terlalu suka mengontrol, tetapi pendekatan menyuruh agen menyelesaikan aplikasi acak sekaligus sama sekali berbeda dari cara AI dipakai dalam rekayasa perangkat lunak nyata

    • Bagi kreator solo, benchmark one-shot cukup berguna. Ini berkorelasi sampai taraf tertentu dengan apakah model mutakhir yang lebih baik—dalam kasus saya, Opus dan Fable—mampu mengambil keputusan yang lebih baik pada hal-hal yang tidak dinyatakan secara eksplisit, serta memberi usulan yang lebih baik sejak awal
    • Dalam skala waktu LLM, model-model ini sebenarnya sudah cukup lama pandai dalam membuat aplikasi baru
      Cara membuat aplikasi baru dengan lebih baik memang menarik, tetapi saya jauh lebih penasaran bagaimana mereka menyelesaikan masalah sulit pada codebase lama yang rumit dan saling terkait
    • Jika setelah membuat aplikasi dasar sekaligus lalu diminta menambahkan fitur satu per satu, itu tampaknya bisa menjadi cara yang jelas untuk menilai arsitektur dan maintainability
    • Memang tidak sama dengan cara pakai di dunia nyata, tetapi begitulah caranya bisa terkenal di Twitter/X
    • Walau tidak sama dengan penggunaan nyata, ini tetap upaya untuk membawa sedikit tolok ukur objektif ke ranah ini alih-alih hanya mengandalkan perasaan

  • (LM)Arena pada dasarnya memang berperan seperti ini, dan menurut saya itu salah satu pengujian terbaik untuk menghindari perilaku yang terlalu dioptimalkan hanya demi skor benchmark
    Agen: https://arena.ai/leaderboard/agent
    Pengembangan web: https://arena.ai/leaderboard/code/webdev
    Saat ini di pengembangan web, Fable dan 5.6 benar-benar berimbang, hampir sama dengan hasil pada tulisan ini

    • Kalau mau, Arena juga bisa sampai taraf tertentu dioptimalkan untuk mengejar skor. Distribusi prompt di sana cukup berbeda dari penggunaan nyata developer pada umumnya, terutama karena banyak permintaan untuk membuat game dari nol sekaligus
      Jika dilakukan fine-tuning agar jago membuat game menarik sekaligus dari prompt yang kurang lengkap, performa model coding bisa tampak lebih bagus daripada kemampuan kerjanya secara umum. Saya bekerja di OpenAI, tetapi kami tidak berusaha menggelembungkan skor, karena kalau begitu Arena akan jadi metrik yang lebih buruk bagi semua orang
    • Khususnya di sekitar Facebook, cukup banyak optimasi khusus untuk skor Arena, tetapi saya tetap setuju bahwa itu masih termasuk benchmark nyata yang lebih baik
      Selalu menyenangkan mencoba mereproduksi efek demo scene klasik. Pembuatan musik masih sangat buruk, tetapi Claude setidaknya tampaknya bisa membuat synthesizer yang lumayan. Bahkan ketika diberi tulisan penjelasan implementasi dan tangkapan layar untuk mereproduksi efek fluida-partikel dari Agenda Circling Forth, hasilnya masih belum bagus
    • Saya penasaran kenapa Grok 4.5 masih belum ada di daftar. Versi 5.6 yang rilis lebih belakangan sudah masuk

  • Benchmark yang bersifat visual seperti ini kemungkinan lebih banyak menunjukkan pengetahuan—yakni seberapa komprehensif data latihannya dan seberapa baik model bisa memanggil kembali data itu—daripada kemampuan penalaran
    Saya tidak tahu bagaimana model bisa menyusun proses berpikir (CoT) yang memetakan struktur geometris kubus dan animasinya ke representasi di latent space tanpa banyak pengetahuan sebelumnya

    • Apakah ada bukti bahwa LLM benar-benar memiliki kemampuan penalaran baru? Saya sama sekali tidak pernah bisa membuatnya bekerja, dan menurut saya makalah Apple yang terbit sebelumnya juga merupakan bukti kuat bahwa kemampuan itu tidak ada
      Berdasarkan pengalaman saya, bila latent space jarang terisi, penalaran gagal total, sampai terasa konyol
    • Anthropic kemungkinan unggul dalam pengujian seperti ini berkat data yang mereka peroleh dari Canva

  • Kami juga hari ini menambahkan GPT 5.6 Sol, Terra, dan Luna ke Model Arena tempat 26 model masing-masing membuat 52 aplikasi
    https://arena.logic.inc/
    Sangat menarik membandingkan aplikasi dari ketiga model itu berdampingan. Statistiknya memang belum ditambahkan ke UI, tetapi waktu aktual yang berlalu untuk Terra hanya setengah dari Sol, sementara Luna justru memakan waktu sekitar 23% lebih lama daripada Sol
    Walaupun Luna jauh lebih murah, untuk kebanyakan penggunaan Terra tampak punya keseimbangan waktu dan biaya yang lebih baik. Kualitas Terra secara umum hampir setara dengan Sol, tetapi jauh lebih cepat dan murah. Meski begitu, selera desain Sol untuk hal-hal seperti audio sequencer patut diapresiasi tinggi. Untuk beberapa waktu hasil visual semua model terlihat mirip, dan dalam aspek ini Sol menjadi model yang kembali tampak jelas berbeda setelah sekian lama

    • Angka yang paling menonjol adalah GPT-5.6 Sol menghasilkan 1.264 baris kode, file 35,5KB, gzip 10,0KB, sedangkan GPT-5.6 Terra menghasilkan 827 baris, 20,0KB, gzip 6,7KB

  • Hasil ini tampaknya mendukung kritik bahwa model seperti GLM terlalu dioptimalkan untuk benchmark dan tidak sedekat itu dengan model mutakhir seperti yang dibayangkan jika hanya melihat angkanya

  • Dibanding benchmark lain, saya jauh lebih menyukai metodologi evaluasi AI seperti ini
    Dunia nyata itu kompleks, dan benchmark lain jelas mudah dieksploitasi oleh model terbuka dari Tiongkok. Gaya tulisan artikelnya juga tidak mengganggu dan cukup enak dibaca

  • Artikel terkait terbaru: perbandingan yang meminta Grok 4.5, GPT-5.5, dan Claude membuat aplikasi yang sama
    https://news.ycombinator.com/item?id=48838772 — Juli 2026, 92 komentar

  • Prompt yang tepat tidak dicantumkan, jadi sulit direproduksi walaupun ingin mencoba
    Saya juga penasaran bagaimana prompt itu ditulis. Bisa jadi itulah penyebab besar beberapa model seperti GLM 5.2 gagal total dalam rendering SVG