Kimi K2 - Model bahasa Mixture-of-Experts (MoE) mutakhir

 (github.com/MoonshotAI)
4 poin oleh GN⁺ 2025-07-13 | 1 komentar | Bagikan ke WhatsApp
  • Kimi K2 dari Moonshot AI adalah model bahasa Mixture-of-Experts (MoE) mutakhir dengan 1 triliun parameter
  • Dalam proses pelatihan, model ini mengadopsi teknik optimisasi Muon untuk mengatasi masalah stabilitas skala besar
  • Berfokus pada kecerdasan agen untuk penggunaan alat, penalaran, dan pemecahan masalah secara otonom
  • Membuktikan performa papan atas dalam coding, matematika, dan tugas umum di berbagai benchmark
  • Penerapan dan pemanfaatannya mudah, dengan API kompatibel OpenAI/Anthropic serta dukungan lingkungan engine yang fleksibel

Mengapa Kimi K2 penting

  • Kimi K2 adalah model bahasa Mixture-of-Experts (MoE) terbaru yang dikembangkan oleh Moonshot AI
  • Dengan skala 1 triliun parameter dan metode optimisasi inovatif (Muon), model ini menghadirkan performa dan stabilitas tinggi di ranah model bahasa skala besar
  • Dibandingkan model open-source berperforma tinggi yang sudah ada, Kimi K2 mencatat tingkat global state-of-the-art (SOTA) dan level terbaik open-source di berbagai bidang penerapan nyata seperti coding, matematika, dan penggunaan alat
  • Model ini unggul dalam pelatihan model besar yang cepat dan stabil, serta dalam fleksibilitas untuk mendukung beragam skenario pemanfaatan AI

1. Pengenalan model

  • Kimi K2 adalah model bahasa MoE mutakhir dengan total 1 triliun (1T) parameter dan 32 miliar (32B) parameter aktif
  • Menggunakan optimizer Muon untuk secara efektif mengatasi ketidakstabilan dalam pelatihan model skala besar
  • Dioptimalkan untuk kemampuan tingkat tinggi seperti pemanfaatan alat, penalaran kompleks, dan agen otonom

Fitur utama

  • Pelatihan skala besar: model 1 triliun parameter dipra-latih dengan 15,5 triliun token tanpa mengalami ketidakstabilan pelatihan (unstability)
  • Optimizer MuonClip: menggabungkan algoritme Muon yang dioptimalkan untuk model besar dengan teknik optimisasi baru untuk memastikan stabilitas
  • Agentic Intelligence: dirancang dengan mempertimbangkan pemanfaatan alat, penalaran kompleks, dan pemecahan masalah otonom

Jenis model

  • Kimi-K2-Base: model dasar yang cocok untuk fine-tuning kustom dan penggunaan oleh peneliti
  • Kimi-K2-Instruct: model pascapelatihan (post-training) yang dioptimalkan untuk chat dan pengoperasian agen umum

2. Ringkasan model

  • Arsitektur: Mixture-of-Experts (MoE)
  • Total parameter: 1 triliun (1,000,000,000,000)
  • Parameter aktif: 32 miliar (32B)
  • Jumlah layer: 61 (termasuk dense layer)
  • Jumlah Dense Layer: 1
  • Attention hidden dimension: 7168
  • MoE hidden dimension (per expert): 2048
  • Attention Head: 64
  • Jumlah expert: 384
  • Jumlah expert yang dipilih per token: 8
  • Jumlah shared expert: 1
  • Ukuran kosakata: 160K
  • Panjang konteks: 128K
  • Mekanisme Attention: MLA
  • Fungsi aktivasi: SwiGLU

3. Hasil evaluasi

Performa model Instruction

  • Mencatat performa papan atas di berbagai benchmark seperti tugas coding, penggunaan alat, matematika/sains-teknik, dan tugas umum
  • Menunjukkan performa SOTA atau terbaik di kelasnya pada berbagai kategori kode dan alat, matematika dan logika, serta tugas umum seperti SWE-bench, LiveCodeBench, OJBench, MultiPL-E, TerminalBench, AceBench, Tau2, AIME, dan MATH-500
  • Mencatat pass@1 sebesar 65.8% pada SWE-bench Verified dan 47.3% pada SWE-bench Multilingual, serta menunjukkan hasil menonjol di lingkungan Agentic Coding
  • Menunjukkan akurasi sangat baik pada pengujian sains-teknik seperti MATH-500 (matematika), AIME, HMMT, dan CNMO
  • Juga meraih performa unggul dibanding model open-source/komersial pesaing pada berbagai tugas umum seperti MMLU (pengetahuan umum) dan SimpleQA

Performa model Base

  • Mencatat hasil terbaik di antara model open-source sekelas pada benchmark utama seperti MMLU, TriviaQA, dan GPQA-Diamond
  • Secara umum unggul dibanding model dasar open-source besar lain dalam evaluasi coding, matematika, dan bahasa Mandarin

4. Deployment dan menjalankan engine

5. Contoh penggunaan model

Antarmuka chat

  • Setelah menjalankan layanan inferensi lokal, interaksi langsung dimungkinkan melalui klien kompatibel OpenAI (seperti Chat Completions API)
  • Temperature yang direkomendasikan: 0.6, dan prompt System juga direkomendasikan memakai bentuk default

Fitur pemanggilan alat

  • Kimi-K2-Instruct memiliki kemampuan tool-calling yang kuat
  • Jika pengguna mengirimkan daftar tool yang tersedia untuk tiap permintaan, model akan secara otonom menentukan penggunaan alat dan waktu eksekusinya
  • Demonstrasi contoh dan pesan hasil dapat dilakukan di seluruh pipeline
  • Diperlukan dukungan logika parsing alat Kimi-K2 pada engine

6. Lisensi

Bacaan terkait

1 komentar

 
GN⁺ 2025-07-13
Komentar Hacker News
  • Saya mencoba memakai Kimi untuk beberapa masalah coding, dan hasilnya cukup bagus pada kasus-kasus saat Claude salah atau berputar-putar; ukuran modelnya sangat besar jadi kurang cocok sebagai model “lokal”, saya kira butuh sekitar 16 GPU H200 untuk menjalankannya, terasa punya karakter yang agak berbeda dari model lain dan saya puas, setidaknya sepertinya berguna dalam lingkungan penggunaan ensemble
    • Jika memakai kuantisasi 4-bit, kecepatannya masih praktis di dua unit Mac Studio 512GB (metode MLX TB4 Ring, lihat tautan ini untuk info terkait), atau di satu sistem Epyc dengan RAM 1TB atau lebih, jadi bisa dicoba bereksperimen dengan biaya sekitar 20 ribu dolar, tetapi jika ingin kecepatan tingkat produksi yang sesungguhnya, dibutuhkan perangkat keras yang jauh lebih kuat, jadi lebih tepat dianggap sebagai “model cap pribadi” daripada “lokal”
    • Saya sempat mengujinya beberapa kali sambil membandingkannya langsung dengan Claude; Kimi menghasilkan kode yang lebih sederhana dan mudah dibaca, sedangkan Claude terasa jauh lebih overengineered, tetapi Kimi juga kadang melewatkan beberapa edge case halus yang ditangani Claude
    • Tadi disebut Claude, tapi yang mana? Sonnet? 3.7? 3.5? Opus? 4? Penasaran versinya yang dipakai
    • Pertanyaan pertama yang saya berikan ke Kimi adalah soal permainan matematika yang cukup sederhana, dan jawabannya sangat salah, kalau mau adil model OpenAI juga gagal di pertanyaan ini, prompt tambahan memang sedikit memperbaikinya tapi tetap mengejutkan
  • Seperti GPT 4o dan keluarga DeepSeek-V3, model ini (Kimi K2) adalah LLM general-purpose yang sangat mengesankan, dan juga open source, menurut saya alasan ia kurang mendapat sorotan belakangan ini adalah karena frontier sudah bergeser ke model penalaran dan multimodal, kalau melihat benchmark akurasi model-model teratas sekarang semuanya terspesialisasi untuk penalaran (tautan referensi), kalau ada yang melatih model khusus penalaran berbasis Kimi K2 saya sangat penasaran dengan performanya
    • Tadi dibilang “kalau ada yang melatih model khusus penalaran dengan Kimi K2”, tapi kemungkinan MoonshotAI memang sedang mengerjakannya
    • Saya penasaran kenapa model Kimi yang sekarang maupun sebelumnya belum juga ditambahkan ke benchmark Artificial analysis
  • Di luar keunggulan teknisnya, Kimi K2 juga mengagumkan karena terasa kurang robotik, seperti model-model papan atas Anthropic, ia punya kepribadian yang ceria, cerdas, dan lancar, sebuah kemenangan kecil karena kita tidak perlu melihat jawaban bergaya bot yang kaku
  • Menurut saya, rilis model open source OpenAI tertunda karena Kimi K2 lebih dulu mencuri perhatian dan mengalahkan angkanya
    • Pihak OpenAI juga sempat menyebut “terlalu besar untuk di-host sendiri di rumah”, jadi mungkin itu benar, saat ini mungkin mereka sedang menjalankan benchmark internal sambil mencari metrik evaluasi yang bisa “mereka menangkan”
    • Dilihat dari benchmark, Kimi K2 mengalahkan GPT-4.1 di banyak area, jadi kalau OpenAI ingin bersaing serius mereka harus merilis bobot GPT-4.1 atau model setara, tapi kemungkinan besar itu tidak akan terjadi
  • Ini bukan open source melainkan “lisensi MIT yang dimodifikasi”; jika dipakai dalam layanan komersial dengan 100 juta pengguna aktif bulanan atau pendapatan bulanan 20 juta dolar (atau lebih), harus ada penandaan “Kimi K2” yang jelas di UI layanan
    • Syarat ini terlihat seperti gabungan ketentuan penayangan “Built with Llama” dan klausul “700 juta pengguna aktif bulanan” milik Llama, lalu dibungkus seolah-olah sebagai “MIT yang dimodifikasi”
    • Saya tidak menganggap syarat ini melanggar OSD (Open Source Definition), definisi perangkat lunak bebas FSF, maupun standar Debian; GPLv2, GPLv3, dan BSD 4-clause juga punya kewajiban atribusi atau publikasi serupa, hanya saja tanpa ambang jumlah pengguna atau pendapatan, dan jaringan saraf juga tidak dibangun dari source code, jadi istilah “open source” sendiri terasa agak kabur, kalau benar-benar dianalogikan dengan open source mestinya data pelatihan dan prosesnya juga dibuka, tetapi itu menghabiskan jutaan dolar sehingga juga tidak sama dengan kompilasi, jadi ini persoalan terpisah dari lisensi
    • Saya penasaran kebebasan dasar mana dari empat kebebasan perangkat lunak bebas yang dilanggar oleh syarat ini, bisa dijelaskan secara spesifik?
    • Ini malah terasa kurang membatasi daripada syarat OpenStreetMap
    • Syarat ini tampaknya dipasang agar Google tidak membuat “adaptasi” lalu meluncurkannya sebagai Gemini-3.0-pro
  • Bagi saya K2 itu nama gunung dan SOTA berarti “summits on the air”, jadi saya sempat kaget saat membaca judulnya
    • Kalau saya mendengar K2, yang pertama terlintas justru compiler Kotlin 2.0, tautan blog terkait
  • Saya suka bahwa frontier sedang didorong oleh LLM baru yang solid tapi bukan model penalaran, model seperti ini tetap punya kegunaan yang baik, yaitu untuk area non-STEM dan non-teka-teki logika, serta berguna ketika kita tidak ingin mengeluarkan biaya untuk token penalaran
  • Katanya “open source”, padahal sebenarnya hanya open weights, seperti biasa dataset, skrip pelatihan, dan sebagainya tidak disediakan
    • Sekarang bahkan bukan open weights sepenuhnya, karena pelepasan bobotnya pun terikat syarat “lisensi MIT yang dimodifikasi” tadi
    • Dengan sistem hak cipta saat ini, melatih model SOTA tanpa teks berhak cipta secara realistis nyaris mustahil, saya penasaran bagaimana model seperti ini bisa didistribusikan
  • Saya suka kualitas jawaban dan nadanya, dibanding ChatGPT atau DeepSeek terasa kurang sopan dan lebih to the point, tetapi sepertinya masih lebih sering mengacaukan atau melewatkan format respons dibanding model SOTA saat ini, termasuk DeepSeek
  • Akhir-akhir ini semua model AI terlalu sering memakai em dash (—), saya bahkan sudah bilang ke ChatGPT untuk tidak menggunakannya tetapi tetap saja dipakai, ada yang tahu kenapa?
    • Sebagai orang yang suka memakai em dash, saya agak sedih karena sekarang tanda itu justru terasa seperti penanda kecerobohan khas LLM