Apa yang Masih Bisa Dipelajari dari Kimi K3 dan Benchmark Pelican

 (simonwillison.net)
1 poin oleh GN⁺ 3 jam lalu | 1 komentar | Bagikan ke WhatsApp
  • Kimi K3 yang dirilis Moonshot AI adalah model performa tertinggi mereka dengan 2,8 triliun parameter, tersedia di situs web dan API, dan bobot terbukanya dijadwalkan dirilis paling lambat 27 Juli 2026
  • Dalam benchmark internal, model ini umumnya mengungguli Claude Opus 4.8 max dan GPT-5.5 high, tetapi tertinggal dari Claude Fable 5 dan GPT-5.6 Sol, sementara di Arena.ai Frontend Code arena naik ke peringkat 1
  • Dengan harga $3 per 1 juta token input dan $15 per 1 juta token output, ini adalah model termahal dari lab AI Tiongkok, dan untuk menghasilkan satu SVG pelikan dibutuhkan 16.658 token output termasuk 13.241 token penalaran dengan biaya $0,25
  • Uji SVG pelikan mengendarai sepeda tidak mengukur pemanggilan alat agen yang penting saat ini maupun keandalan penggunaan alat dalam percakapan panjang, sehingga tidak cocok untuk membandingkan performa model secara menyeluruh
  • Meski begitu, menjalankan prompt sederhana yang sama secara langsung tetap bisa dengan cepat menunjukkan aksesibilitas dan biaya API, volume penalaran, validitas SVG, kesadaran spasial, performa visi, dan peningkatan antargenerasi dalam satu keluarga produk

Peluncuran dan performa Kimi K3

  • Moonshot AI memperkenalkan Kimi K3 sebagai model performa tertinggi mereka dengan 2,8 triliun parameter
    • Tersedia melalui situs web dan API
    • Bobot terbukanya dijadwalkan dirilis paling lambat 27 Juli 2026
  • K3 disebut sebagai “model 3T terbuka pertama”, dengan 2,8 triliun dibulatkan ke 3 triliun untuk klasifikasi
    • DeepSeek V4 Pro, yang sebelumnya disebut sebagai salah satu model terbesar, memiliki 1,6 triliun parameter
    • K3 lebih dari dua kali lebih besar daripada Kimi K2.6 yang memiliki 1 triliun parameter
  • Dalam benchmark internal, model ini umumnya mengungguli Claude Opus 4.8 max dan GPT-5.5 high, tetapi tertinggal dari Claude Fable 5 dan GPT-5.6 Sol

Evaluasi eksternal dan harga

  • Dalam penilaian Artificial Analysis untuk tugas pengetahuan jangka panjang nonpublik, model ini mencatat Elo 1.547 secara keseluruhan
    • 732 poin lebih tinggi daripada Kimi K2.6
    • Menempati posisi kedua setelah Claude Fable 5
  • Biaya per tugas adalah $0,94, mirip dengan $1,04 milik GPT-5.6 Sol
    • Sekitar setengah dari $1,80 milik Claude Opus 4.8
    • Namun lebih mahal daripada model bobot terbuka lainnya
  • Dalam Artificial Analysis Intelligence Index, penggunaan token output turun 21% dibanding K2.6
  • Di Arena.ai Frontend Code arena, model ini naik ke peringkat 1 melampaui Claude Fable 5
  • Harga API adalah $3 per 1 juta token input dan $15 per 1 juta token output
    • Setara dengan lini produk Anthropic Claude Sonnet
    • Yang termahal di antara model yang dirilis lab AI Tiongkok
    • Naik tajam dari harga Kimi K2.6 sebesar $0,95/$4

Eksperimen pembuatan SVG pelikan

  • Prompt Generate an SVG of a pelican riding a bicycle dijalankan menggunakan OpenRouter dan plugin llm-openrouter
  • Proses pembuatan menggunakan 95 token input dan 16.658 token output
    • Dari output tersebut, 13.241 adalah token penalaran
    • Total biayanya $0,25
  • Karena juga mendukung input gambar, prompt alt-text diterapkan pada SVG yang dihasilkan
    • Hasil analisis dengan akurat menangkap pelikan putih bersyal merah, sepeda merah, marka jalur dan penanda gerak, serta langit, awan, matahari, burung, rumput, dan bunga
    • Analisis gambar memerlukan 822 token input dan 243 token output, dengan biaya $0,006

Keterbatasan sebagai benchmark menyeluruh

  • Uji SVG pelikan mengendarai sepeda awalnya muncul sebagai lelucon yang menyindir sulitnya membandingkan model 21 bulan lalu, tetapi selama tahun pertama ternyata menunjukkan korelasi yang mengejutkan tinggi dengan kualitas model nyata
  • Kini korelasi itu sebagian besar sudah hilang
    • Pelikan buatan GPT-5.6 dan Claude Fable 5 lebih buruk daripada hasil GLM-5.2
    • Namun sulit menganggap GLM-5.2 sebagai model sekelas Claude Fable
  • Tidak ada keyakinan bahwa lab melatih model khusus untuk tes ini
    • Jika benar-benar dioptimalkan, hasilnya seharusnya jauh lebih baik
    • Meski demikian, masih mungkin Gemini telah dioptimalkan untuk kombinasi umum “hewan mengendarai kendaraan”
  • Keterbatasan terbesar adalah tes ini sama sekali tidak mengevaluasi pemanggilan alat agen, yang penting pada model masa kini
    • Tes ini juga tidak mengukur kemampuan menjalankan alat secara stabil ketika percakapan menjadi panjang
    • Karena itu, hasil pelikan tidak boleh dipakai untuk membandingkan performa model secara menyeluruh

Eksperimen yang memaksa untuk benar-benar menjalankannya

  • Tes pelikan berfungsi sebagai mekanisme pendorong untuk benar-benar memanggil model baru
    • Jika ada hasil, itu berarti setidaknya prompt berhasil dijalankan
    • Jika tersedia API resmi, itulah yang digunakan
    • Model bobot terbuka yang cukup kecil untuk muat di MacBook Pro M5 128GB dijalankan secara lokal dengan llama.cpp, LM Studio, Ollama
    • Karena bisa memakai proxy API resmi tanpa API key baru, OpenRouter sering digunakan
  • Sebagian besar hasil dihasilkan dengan alat CLI LLM, dan proses ini juga menjadi cara untuk memeriksa apakah plugin sudah mendukung model terbaru
  • Hanya dengan satu prompt SVG, karakteristik model terkait biaya, cara bernalar, dan pemrosesan input sudah bisa terlihat

Karakteristik yang terlihat pada Kimi K3

  • Saat ini K3 hanya memiliki satu tingkat upaya penalaran, yaitu max, dan menghabiskan 13.241 token penalaran untuk menghasilkan respons 3.417 token
    • Biaya $0,25 hanya untuk membuat pelikan sederhana terasa cukup berat
  • Fakta bahwa prompt pendek dihitung sebagai 95 token input mengisyaratkan adanya input tersembunyi
    • Tokenizer OpenAI menghitung prompt yang sama sebagai 10 token
    • Kalkulator token Anthropic menghitungnya sebagai 10 token di Opus 4.6, 30 token di Opus 4.7, dan 25 token di Sonnet 5/Fable 5
    • Ketika hi dikirim ke K3, itu juga tercatat sebagai 86 token, sehingga kemungkinan ada system prompt tersembunyi sekitar 85 token
    • K3 menolak permintaan untuk mengungkap system prompt tersebut
  • Kualitas alt-text dari analisis SVG yang dihasilkan menunjukkan bahwa kemampuan visi bekerja dengan baik
  • K3 hanya punya satu tingkat upaya penalaran, tetapi pada model lain prompt yang sama bisa dijalankan di beberapa tingkat upaya untuk membandingkan dampaknya dengan cepat

Apa yang masih bisa ditunjukkan oleh tes pelikan

  • Bisa dipakai sebagai latihan “Hello World” untuk mengirim prompt ke model baru
  • Bisa memberi gambaran kasar tentang biaya dan volume penalaran yang dibutuhkan untuk tugas sederhana
  • Bisa melihat apakah output SVG valid serta menilai geometri dasar dan kesadaran spasial
    • Ini terutama lebih penting pada model kecil yang berjalan di laptop
  • Tetap layak untuk membandingkan rilis dalam keluarga model yang sama
    • Pelikan K3 menunjukkan peningkatan yang jelas dibanding Kimi 2.5
  • Bisa menunjukkan bahwa model tersebut benar-benar sudah dicoba langsung, dan di Hacker News, memposting hasil pelikan di komentar tentang model baru telah menjadi semacam tradisi

Bacaan terkait

1 komentar

 
GN⁺ 3 jam lalu
Komentar Hacker News

  • Benchmark pelican menunjukkan masalah dalam perekrutan di industri teknologi apa adanya. Tidak ada hubungannya dengan pekerjaan nyata, jadi tidak beda dengan wawancara yang menyuruh orang menggambar pelican lalu menilai kemampuannya

    • Komentar yang sangat khas dari orang yang tidak punya pengalaman 9 tahun sebagai developer 10x dalam menggambar pelican

  • Alasan prompt “buat SVG pelican yang sedang mengendarai sepeda” dihitung sebagai 95 token input mungkin karena saat mengatur tingkat penalaran kustom, prompt untuk tingkat penalaran disisipkan sebelum token awal. Contoh mode maksimum DeepSeek-V4 juga layak dilihat: https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/blob/main...

  • Saya serius mengusulkan SWE-bench-adversarial-pelican-gen. Mirip SWE-bench, tetapi setiap 5 percakapan atau pemanggilan alat dihentikan, lalu model harus membuat SVG hewan acak sebelum melanjutkan pekerjaan, dengan komentar terkait SVG pelican juga disisipkan di berbagai bagian output alat
    Saat konteks mencapai 800 ribu token, suruh lagi membuat SVG pelican, lalu nilai kualitas pelicannya sekaligus kelengkapan dan efisiensi tugas awal. Kalau masih bisa menyelesaikan masalah di tengah serbuan SVG pelican, barulah itu kemampuan yang sesungguhnya

    • Kalau dijalankan dengan Codex, mungkin biayanya sekitar $5, jadi menarik juga memikirkan kenapa tidak ada yang mau mencobanya

  • Seperti kesimpulan Simon, kegunaan utama benchmark ini bukan untuk memastikan model mana yang lebih baik, tetapi untuk melihat hubungan antara kualitas, biaya, dan kecepatan. Saat baru-baru ini membandingkan Opus, Fable, dan Kimi secara singkat, Kimi 5 kali lebih murah tetapi 2 kali lebih lambat
    https://9gpyw4uxr2.evvl.io/

    • Tiga hasil di tengah terlihat sebagai kegagalan khas Gemini/Google yang membuat lebih banyak dari yang diminta prompt. K2.6 juga memakai HTML+CSS+SVG, bukan SVG murni, jadi nyaris termasuk kegagalan batas bawah
      Teks “Expires in 6 days” di kanan atas situs itu juga aneh. Sulit memahami kenapa halaman yang hanya memuat data beberapa KB harus kedaluwarsa

  • Cukup mengejutkan bahwa Simon percaya ini tidak ada di data pelatihan, padahal sudah ada ratusan pelican bersepeda di blog, forum, dan GitHub. Blog perusahaan kami trafiknya 1.000 kali lebih kecil daripada situs Simon, tetapi postingannya sudah diketahui LLM dalam 6 bulan

    • Gambar pelican yang sudah ada tetap saja buruk. Walaupun masuk ke data pelatihan, itu tidak membantu menghasilkan pelican yang lebih baik, malah bisa menurunkan performa
    • Simon juga sudah beberapa kali mengakui kemungkinan pelican itu masuk ke data pelatihan, dan dia punya tes lain yang tidak dipublikasikan. Dia hanya suka pelican
    • Walaupun pelican dan sepeda masing-masing ada di data pelatihan, itu tidak berarti benchmark spesifik ini dipelajari
    • Pelican bersepeda sendiri bukan tema yang istimewa. Untuk model apa pun, kita bisa memintanya membuat kombinasi SVG acak seperti cacing tanah dan robin yang sedang bertinju, dan akan terlihat korelasi kuat bahwa makin pintar modelnya, makin baik hasilnya, terlepas dari apakah itu model vision atau bukan
      Awalnya saya menganggap evaluasi ini konyol, tetapi setelah menguji kombinasi yang rasanya pasti tidak ada di data pelatihan, saya jadi yakin validitasnya
    • Ini mengingatkan pada betapa lucunya arus berita tahun lalu yang bilang data pelatihan sedang habis dan klaim-klaim semacam itu

  • Jawaban kami untuk benchmark pelican adalah benchmark SVG MacBook: https://playcode.io/blog/macbook-svg-benchmark

    • Hasil Terra xhigh benar-benar bagus
    • Bagian saat Fable 5 terlalu lama menalar sampai menghabiskan anggaran output bahkan sebelum selesai menggambar itu lucu

  • Saya terus merasa janggal karena tiap model hanya diminta membuat pelican satu kali. Model yang sama pun bisa memberi hasil berbeda setiap kali dijalankan, jadi hasil mana yang dipilih bisa memengaruhi penilaian bahwa “model ini lebih baik”
    Saya ingin melihat hasil 8 kali run untuk tiap model berdampingan. Kalau dua model mirip, saya rasa variasi antar-run individu bisa sebesar perbedaan antar-model

    • Dulu saya menjalankannya tiga kali lalu memilih hasil terbaik. Suatu saat saya ingin mengotomatisasi ini supaya LLM juri dari keluarga model yang sama memilih hasil terbaik untuk dikirim ke babak berikutnya
      Saya juga pernah membuat sistem skor ELO sebelumnya: https://simonwillison.net/2025/Jun/6/six-months-in-llms/#ai-...
      Benchmark-nya sendiri memang terlihat agak usang, tetapi karena permintaan galeri hasilnya tinggi, rasanya layak meluangkan waktu lagi

  • Jaraknya makin menyempit. Kimi 3 tampak tertinggal sekitar 3 bulan dari model-model AS, dan terlihat seperti model setara GPT 5.5 yang dirilis akhir April

  • Saya penasaran bagaimana lab Tiongkok melatih model 3 triliun parameter dengan sumber daya komputasi yang pasti jauh lebih sedikit. Jika keunggulan komputasi AS terus berlanjut, secara fisik Tiongkok akan sulit mengejar selamanya, tetapi sejauh ini mereka melakukannya dengan baik

    • Sebenarnya mungkin tidak ada pembatasan akses komputasi yang benar-benar berarti. Perusahaan Tiongkok bisa memakai GPU di negara tetangga yang tidak terkena pembatasan ekspor seperti Malaysia, dan ByteDance juga terang-terangan melakukan itu: https://www.tomshardware.com/pc-components/gpus/chinas-byted...
      Ada juga rumor Tencent mengaksesnya lewat Jepang: https://wccftech.com/china-tencent-gains-access-to-nvidia-bl...
      Ada juga cara membelinya di Singapura lalu menyelundupkannya, dan chip khusus AI relatif lebih mudah dirancang dan diproduksi dibanding CPU·GPU performa tinggi, jadi tidak ada alasan untuk menganggap desain dalam negeri Tiongkok akan terus tertinggal. Pada akhirnya mereka bisa memakai foundry yang sama
    • Ada video bagus dari Gamers Nexus yang meliput langsung dari Tiongkok: https://www.youtube.com/watch?v=1H3xQaf7BFI
      RTX 5090 berbasis GB202 dan RTX 6000 Pro Blackwell yang terkena pembatasan ekspor diproduksi di TSMC lalu dikemas dan diselesaikan di Tiongkok, jadi sejak awal memang ada celah besar. NVIDIA dan mitra distribusinya juga menjualnya di negara seperti Singapura tanpa banyak verifikasi, dan kalau kurir pribadi membawanya masuk langsung pun, bea cukai Tiongkok tidak punya alasan menegakkan hukum AS di wilayah Tiongkok
    • Chip Huawei Ascend sudah dipakai untuk pelatihan DeepSeek v4 lebih dari 4 bulan lalu, dan Huawei membagikan kernel itu ke lab Tiongkok lain. Tiongkok juga punya foundry DDR5 sendiri
    • Jumlah parameter yang sama tidak membuat modelnya identik, jadi angka itu tidak terlihat sebagai indikator kualitas atau kebutuhan komputasi. Untuk membuat model yang bagus, dibutuhkan lebih dari sekadar menambah jumlah parameter
    • Tiongkok pernah menyelamatkan ekonomi dunia dengan melepas cadangan minyak besar yang tidak diketahui siapa pun, jadi tidak akan mengejutkan kalau mereka juga punya banyak sumber daya komputasi tersembunyi

  • Menarik bahwa kualitas pelican dan kualitas model secara keseluruhan tidak selalu bergerak bersama. Kemampuan umum terbentuk saat pra-pelatihan, jadi saya menduga pra-pelatihan berkualitas tinggi akan menghasilkan pelican yang lebih baik, sementara reinforcement learning hampir tidak akan memengaruhi kualitas pelican
    Tetapi hasil GLM 5.2 yang mengungguli GPT 5.6 dan Claude Fable tidak sesuai dengan hipotesis ini. Satu-satunya kemungkinan yang terpikir adalah GLM 5.2 mendapat reinforcement learning khusus untuk pembuatan SVG sehingga performanya unggul