5 poin oleh GN⁺ 4 jam lalu | 1 komentar | Bagikan ke WhatsApp
  • Inkling, yang dilatih dari nol dan merilis seluruh bobotnya, adalah MoE Transformer dengan total 975B dan 41B parameter aktif, mendukung konteks hingga 1M token serta penalaran berbasis teks, gambar, dan audio
  • Model ini dipra-latih dengan 45 triliun token yang terdiri dari teks, gambar, audio, dan video, serta memprioritaskan generalisasi dan kemampuan kustomisasi di berbagai tugas agen, penalaran, coding, mengikuti instruksi, dan factuality, alih-alih mengejar benchmark tertentu
  • Tingkat upaya penalaran dapat diatur dalam rentang 0.2~0.99 untuk menyeimbangkan biaya, latensi, dan performa; di Terminal Bench 2.1, model ini mencapai performa setara Nemotron 3 Ultra dengan sekitar sepertiga jumlah token
  • Saat ini model ini belum menjadi model terbuka atau tertutup paling kuat, tetapi menargetkan fondasi open weight yang menggabungkan kemampuan multimodal, penalaran efisien, fine-tuning Tinker, dan beragam alat penalaran serta deployment
  • Pratinjau Inkling-Small yang diperkenalkan bersama memiliki total 276B dan 12B parameter aktif, menunjukkan hasil yang setara atau lebih tinggi dari model besar pada beberapa evaluasi, dan seluruh bobotnya akan dirilis setelah pengujian selesai

Model serbaguna dengan seluruh bobot dirilis

  • Thinking Machines Lab merilis seluruh bobot Inkling yang dilatih dari nol agar orang dapat langsung menyesuaikan model AI sesuai kebutuhan mereka
  • Inkling adalah Mixture-of-Experts Transformer dengan total 975B parameter, di mana 41B aktif per token
    • Jendela konteks maksimum adalah 1M token
    • Dipra-latih dengan 45 triliun token yang terdiri dari teks, gambar, audio, dan video
    • Melakukan penalaran bersama dengan teks, gambar, dan audio sebagai input bawaan
  • Alih-alih berfokus pada bidang tertentu, model ini dilatih sebagai model dasar yang seimbang yang mencakup tugas agen, penalaran, coding, mengikuti instruksi, factuality, vision, dan audio
  • Model ini bukan model terkuat di seluruh model terbuka maupun tertutup, tetapi ditujukan sebagai model berbasis kustomisasi yang menggabungkan kemampuan multimodal, penalaran efisien, dan fine-tuning Tinker
  • Ini adalah rilis pertama dari keluarga model yang akan diperluas ke berbagai ukuran, dan Inkling-Small yang lebih ringan juga diperkenalkan dalam bentuk pratinjau
  • Inkling dapat langsung di-fine-tune di Tinker, dan karakteristik modelnya dapat dicoba lewat percakapan di Inkling Playground pada konsol Tinker
  • Dalam demo kustomisasi, Inkling menggunakan Tinker untuk menulis, menjalankan, dan mengevaluasi tugas fine-tuningnya sendiri, serta berjalan di dalam harness OpenCode

Agen serbaguna dan pembuatan hasil kerja

  • Agar bisa di-fine-tune sesuai alur kerja dan produk yang berbeda, model ini memprioritaskan kinerja tugas yang luas daripada performa terbaik pada satu bidang
  • Dalam proses pelatihan coding dan agent harness, himpunan tool dan skema diacak untuk mengurangi sensitivitas terhadap harness tertentu
    • Tingkat upaya penalaran juga dapat diatur di dalam harness
    • Mencatat skor yang kompetitif di antara model open-weight pada sebagian besar benchmark agen
  • Dengan satu prompt, model ini membuat web app lamaran kerja dan menyematkan agen penggunaan browser ke dalam aplikasi untuk mengisi formulir berdasarkan profil tersimpan sesuai instruksi bahasa alami
  • Model ini termasuk dalam kelompok model open-weight yang kuat di leaderboard Agentic Web Dev milik Design Arena, yang membandingkan web app hasil generasi secara buta satu lawan satu
  • Model ini menghasilkan output multi-halaman seperti jurnal PDF 9 halaman tentang makanan dan perjalanan, sambil mempertahankan kepatuhan instruksi yang akurat dan gaya yang konsisten
  • Model ini memperbaiki game Snake multipemain online dengan server real-time, bot, dan leaderboard dengan menerapkan umpan balik sebanyak 40 kali dari GPT Codex sebagai reviewer
    • Kemampuan mempertahankan proses perbaikan berulang yang panjang sambil mengembangkan hasil dari umpan balik dipandang sebagai inti dari kerja kolaboratif

Upaya penalaran untuk mengatur biaya dan performa

  • Dalam aplikasi nyata, bukan hanya performa puncak yang menjadi batasan, tetapi juga biaya token dan latensi, terutama latensi rendah yang penting untuk kolaborasi dan perbaikan berulang
  • Tingkat upaya penalaran dapat diatur dalam rentang 0.2~0.99 untuk memilih keseimbangan antara performa dan jumlah token yang dihasilkan
  • Di Terminal Bench 2.1, Humanity’s Last Exam(HLE), dan IFBench, performa serta rata-rata token yang dihasilkan dibandingkan menurut tingkat upaya
    • Di Terminal Bench 2.1, model ini mencapai performa setara Nemotron 3 Ultra dengan sekitar sepertiga token
    • Hasil HLE diukur pada checkpoint sebelum rilis final sehingga sedikit lebih rendah daripada model final
  • Saat model dipanggil jutaan kali atau dimasukkan ke alur kerja panjang, pengaturan per use case dapat dipilih berdasarkan kurva biaya-performa secara keseluruhan, bukan hanya skor tunggal tertinggi

Arsitektur multimodal native tanpa encoder

  • Model ini dilatih sejak awal secara multimodal agar dapat digunakan sebagai model penalaran latar belakang untuk interaction models system yang mendukung kolaborasi suara dan vision real-time
  • Baik vision maupun audio menggunakan arsitektur tanpa encoder tanpa encoder terpisah
    • Audio dimasukkan sebagai dMel spectrogram
    • Gambar di-encode menjadi patch 40×40 piksel dengan hMLP 4 lapis, mengikuti desain dari riset terkait Vision Transformer
    • Kedua input melewati lapisan embedding ringan lalu diproses bersama token teks
  • Untuk audio, model ini mendukung transkripsi suara, mengikuti instruksi suara, tanya jawab atas rekaman, dan penalaran audio berdurasi panjang
    • Pada effort=0.99, mencatat Audio MC 56.6%, MMAU 77.2%, dan VoiceBench 91.4%
    • Berdasarkan VoiceBench, MMAU, dan Audio MC, model ini termasuk kelompok model audio open-weight yang kuat
  • Untuk vision, model ini tidak hanya melakukan deskripsi gambar dan tanya jawab, tetapi juga penalaran visual untuk grafik, diagram, dan matematika
    • MMMU Pro Standard 10 mencapai 73.5%, Charxiv RQ 78.1%
    • Saat memakai manipulasi gambar seperti zoom dan crop dengan Python, Charxiv RQ naik ke 82.0%
  • Thinking Machines Lab berencana terus memperluas kemampuan multimodal pada model dan pipeline pelatihan berikutnya

Kalibrasi keyakinan dan penanganan ketidakpastian

  • Karakteristik epistemik (epistemics) Inkling adalah konsep yang menangani kalibrasi keyakinan, kepatuhan instruksi, dan resistansi terhadap sensor sekaligus
  • Jika model terlalu percaya diri pada semua jawaban, pengguna harus selalu memverifikasi bahkan saat informasi kurang atau ketika model mengarang; karena itu, kalibrasi probabilitas dipelajari lewat reinforcement learning yang menerapkan aturan penilaian yang sesuai pada pertanyaan dunia nyata yang sudah terselesaikan
  • Hasil evaluasi prediksi yang dilakukan dari 30 Juni 2026 hingga 13 Juli 2026 menggunakan checkpoint yang berbeda dari versi publik adalah sebagai berikut
    • ForecastBench Brier Index tanpa pencarian adalah 61.1±0.79, dan 63.7±0.82 saat menggunakan pencarian
    • Prophet Arena Brier Score adalah 0.1617, dan makin rendah makin baik
  • Untuk kepatuhan instruksi pada pertanyaan kompleks yang sulit diverifikasi, digunakan dua evaluator otomatis, yaitu rubric grader dan claims grader
    • rubric grader menilai item yang diperlukan untuk jawaban yang baik dengan checklist, tetapi rentan terhadap strategi membanjiri jawaban dengan banyak fakta yang tampak relevan demi mengejar skor
    • claims grader memverifikasi setiap klaim faktual dengan pencarian web agen dan mengurangi skor untuk klaim yang tidak dapat dikonfirmasi
    • Kedua evaluator digunakan bersama agar kegunaan meningkat sambil mengurangi halusinasi
  • Untuk secara langsung melatih ketidakpastian yang terkalibrasi dalam jawaban panjang, data tanya jawab faktual singkat dengan abstention-aware rewards juga digunakan
    • Jawaban hanya diberi reward saat kemungkinan benar tinggi; jika tidak yakin, lebih menguntungkan untuk menjawab “saya tidak tahu” atau memberi tebakan bersyarat
    • Beberapa prompt mendorong atau melarang ungkapan penangguhan agar model mengikuti preferensi pengguna antara tebakan paksa dan tidak menjawab yang terkalibrasi
  • Model ini juga dilatih untuk menjawab langsung topik yang bisa menjadi sasaran sensor, dan menunjukkan pola kuat untuk tidak mengikuti sensor dalam Propaganda and Censorship Eval dari Cognition

Evaluasi kemampuan berisiko dan perilaku keselamatan

  • Setelah dilatih dengan spesifikasi perilaku keselamatan internal yang berlaku untuk semua format input, hasilnya diverifikasi melalui evaluator keselamatan eksternal
  • Evaluasi kemampuan berisiko mencakup CBRN, siber, dan loss of control, sementara ancaman antara manusia dan AI mencakup kecenderungan menjilat, pengguna rentan, dan manipulasi berbahaya
  • Hasil utama evaluasi keselamatan pada effort=0.99 adalah sebagai berikut
    • FORTRESS Adversarial 78.0%
    • FORTRESS Benign 95.9%
    • StrongREJECT 98.6%
  • Di antara model open-weight pembanding, model ini menunjukkan proteksi bawaan terkuat di FORTRESS, lebih sering menolak permintaan berbahaya terkait senjata dan kekerasan sambil mengurangi over-refusal pada permintaan normal yang tampak serupa
  • Di StrongREJECT, yang mengukur penolakan terhadap permintaan yang jelas berbahaya, model ini mencatat lebih dari 98%, setara dengan model terbuka dan tertutup lainnya
  • Untuk model kustom, pengaruh fine-tuning terhadap perilaku keselamatan dan peningkatan kemampuan akan terus diteliti

Benchmark lengkap dan kondisi pengukuran

  • Semua evaluasi dasar dijalankan pada effort=0.99, temperature=1.0, dan evaluasi coding menerapkan batas jalur kerja maksimum 256K token
  • Untuk HLE, GPQA Diamond, GDPVal, Tau 3 Banking, AA Omniscience, dan MMMU Pro, digunakan skor yang dilaporkan dari luar oleh Artificial Analysis jika memungkinkan
  • Skor representatif Inkling adalah sebagai berikut
    • Penalaran: HLE text-only 29.7%, penggunaan tool 46.0%, AIME 2026 97.1%, GPQA Diamond 87.2%
    • Coding agen: SWEBench Verified 77.6%, SWEBench Pro Public 54.3%, Terminal Bench 2.1 63.8%
    • Agen umum: GDPVal-AA v2 1238, MCP Atlas 74.1%, Tau 3 Banking 23.7%, BrowseComp 77.1% termasuk pengelolaan konteks
    • Factuality dan percakapan: SimpleQA Verified 43.9%, AA Omniscience 2.1, IFBench 79.8%, Global-MMLU-Lite 88.7%
    • Vision dan audio: MMMU Pro 73.5%, Charxiv RQ dengan Python 82.0%, Audio MC 56.6%, MMAU 77.2%, VoiceBench 91.4%
  • Saat menafsirkan hasil, perlu mempertimbangkan perbedaan kondisi evaluasi berikut
    • Hasil Inkling pada SWEBench Verified diukur dengan harness khusus bash, sedangkan untuk model eksternal digunakan skor self-reported
    • Terminal Bench 2.1 diukur dengan coding harness internal, dan sejumlah kecil hasil yang terkonfirmasi terkontaminasi jawaban dari pencarian web diberi nilai 0
    • VoiceBench sensitif terhadap format output karena memakai pencocokan string hardcoded, sehingga ditambahkan system message untuk mengikuti format jawaban yang diharapkan
    • Beberapa model pembanding untuk Audio MC tidak ada di leaderboard resmi sehingga dievaluasi secara internal
    • Claude Fable 5 dan GPT 5.6 Sol pada CharXiv RQ dengan Python diukur dengan harness Python internal

Arsitektur MoE untuk konteks panjang

  • Struktur MoE Inkling secara umum mengikuti DeepSeek-V3, dengan beberapa perubahan untuk efisiensi dan performa konteks panjang
  • Setiap lapisan MoE memiliki 256 routing expert dan 2 shared expert, dengan 6 routing expert aktif per token
    • Menggunakan router berbasis sigmoid dan bias penyeimbang beban tanpa auxiliary loss
    • Skor routing expert terpilih dan shared expert dinormalisasi bersama dan digunakan sebagai bobot penggabungan output
  • Attention menempatkan lapisan sliding window dan lapisan global secara selang-seling dengan rasio 5:1 serta menggunakan 8 KV head
  • Untuk positional encoding, model ini memakai relative position embedding, bukan RoPE yang lebih umum digunakan
    • Representasi posisi relatif dari keluarga Music Transformer terbukti lebih menguntungkan untuk performa dan ekstrapolasi pada urutan yang lebih panjang
  • Konvolusi pendek diterapkan di dua titik
    • Setelah proyeksi key dan value di setiap lapisan attention
    • Sebelum cabang residual attention dan MLP digabungkan ke residual stream utama

Pra-pelatihan 45 triliun token dan reinforcement learning skala besar

  • Model ini dilatih di sistem NVIDIA GB300 NVL72 menggunakan 45 triliun token yang terdiri dari teks, gambar, audio, dan video
  • Untuk optimisasi, digunakan kombinasi Muon untuk bobot matriks besar dan Adam untuk parameter lainnya
    • Jadwal hyperparameter diambil dari riset modular manifolds
    • Kekuatan weight decay dikaitkan dengan kuadrat learning rate agar skala bobot keseluruhan tetap stabil meski durasi pelatihan berubah
  • Pelatihan lanjutan mencakup matematika, coding agen dan penggunaan tool, audio, gambar, percakapan, dan keamanan
    • SFT awal memakai data sintetis yang dihasilkan model open-weight seperti Kimi K2.5
    • SFT awal hanya mencakup sebagian kecil dari total komputasi; sebagian besar digunakan untuk reinforcement learning skala besar dalam lingkungan sintetis dan buatan manusia
  • Reinforcement learning asinkron diperluas ke lebih dari 30 juta rollout dan belajar dengan stabil dalam dua proses berkelanjutan jangka panjang
    • Skor evaluasi penalaran terpisah yang menggabungkan AIME, HLE, GPQA, dan lainnya meningkat secara log-linear sepanjang proses
  • Dengan mengubah system message dan biaya per token untuk menetapkan upaya per sampel, model dilatih menggunakan jumlah token yang berbeda-beda sehingga memperoleh kemampuan mengontrol tingkat upaya penalaran
  • Seiring reinforcement learning berjalan, proses berpikir berubah menjadi bentuk terkompresi yang mengurangi kata penghubung gramatikal dan artikel, tetapi keterpahaman dan jawaban akhir tetap terjaga
    • Perubahan ini bukan hasil yang langsung ditargetkan reward, melainkan muncul dari tekanan efisiensi
    • Fenomena serupa juga diamati pada pelatihan SWE-1.7 dari Cognition
  • Pada model berikutnya, Thinking Machines Lab berencana lebih memperbesar skala komputasi di pra-pelatihan, pelatihan lanjutan, dan reinforcement learning

Pratinjau Inkling-Small yang lebih kecil dan cepat

  • Inkling-Small adalah model MoE dengan total 276B dan 12B parameter aktif, sehingga memiliki biaya dan latensi lebih rendah daripada Inkling dengan 41B aktif
  • Berkat data pra-pelatihan dan metode pelatihan yang ditingkatkan, model ini menunjukkan hasil yang setara atau lebih tinggi dari Inkling besar pada berbagai benchmark, dan kedua model memakai stack pelatihan lanjutan yang sama dan dapat diskalakan
  • Hasil utama pada effort=0.99 dibanding model besar adalah sebagai berikut
    • HLE penggunaan tool 46.6% vs 46.0%, GPQA Diamond 88.3% vs 87.2%
    • MCP-Atlas 74.9% vs 74.1%, IFBench 83.4% vs 79.8%
    • Charxiv RQ dengan Python 83.4% vs 82.0%, MMAU 77.5% vs 77.2%, StrongREJECT 98.8% vs 98.6%
  • Ada juga hasil yang lebih rendah daripada model besar
    • Terminal Bench 2.1 adalah 52.7% vs 63.8%, Tau 3 Banking 13.6% vs 23.7%
    • SimpleQA Verified adalah 20.9% vs 43.9%, Audio MC 49.6% vs 56.6%
  • Model ini cocok untuk tugas yang sensitif terhadap biaya dan latensi seperti coding, penilaian berbasis LLM, dan pembuatan data sintetis untuk model lain
  • Pengujian saat ini sedang diselesaikan, dan seluruh bobot akan dirilis setelah selesai

Ekosistem fine-tuning dan deployment

  • Masalah spesialis per organisasi yang sulit diselesaikan model umum dapat dipersempit melalui fine-tuning yang memanfaatkan pengetahuan domain, dan Inkling dirancang agar cepat belajar saat di-fine-tune
  • Di Tinker, Inkling dapat digunakan dengan panjang konteks 64K dan 256K
  • Tinker cookbook mendukung Inkling secara bawaan dan menambahkan 3 recipe yang memanfaatkan kemampuan audio
  • tml-renderer menyediakan kemampuan untuk melakukan sampling dan pelatihan lanjutan secara andal untuk tool calling, konten penalaran, dan input multimodal
  • Inkling Playground adalah antarmuka percakapan yang terintegrasi dengan pencarian web agen dan gratis untuk waktu terbatas
  • Checkpoint yang di-fine-tune di Tinker dapat di-deploy lewat API TogetherAI, Fireworks, Modal, Databricks, dan Baseten
  • Ekosistem open-source untuk inferensi dan reinforcement learning juga didukung
  • Di repositori Inkling di Hugging Face, pengguna dapat mengunduh checkpoint asli dan checkpoint NVFP4 untuk inferensi efisien di NVIDIA Blackwell

1 komentar

 
GN⁺ 4 jam lalu
Komentar Hacker News
  • Senang karena ini adalah model multimodal bobot terbuka terbesar yang mendukung audio, dan penasaran seberapa baik performa audionya dalam praktik
    Untuk menjalankannya secara lokal, materi berikut bisa dirujuk
    https://github.com/danielhanchen/llama.cpp/tree/add-inkling
    https://unsloth.ai/docs/models/inkling
    https://huggingface.co/unsloth/inkling-GGUF
    https://huggingface.co/unsloth/inkling-NVFP4
    Katanya lebih baik daripada KimiK2.7, tetapi meski GLM5.2 sedang mendapat perhatian besar, sekitar setengahnya masih menggunakan KimiK2.7. Jika benchmark-nya benar, model ini cukup layak masuk pilihan, dan saya berharap di beberapa area ia mengungguli semua model bobot terbuka lainnya

    • Selain itu, ini model Amerika. Rasanya ini mungkin model bobot terbuka non-Tiongkok pertama yang kompetitif sejak Llama 3
    • Saya tidak tahu dasar klaim bahwa ini lebih baik daripada KimiK2.7. Di sebagian besar benchmark, performanya justru lebih rendah
    • Saya penasaran harness evaluasi apa yang digunakan untuk Kimi
  • Amerika juga membutuhkan DeepSeek atau Z.ai-nya sendiri. Banyak orang, termasuk saya, mendukung keberhasilan model terbuka Tiongkok karena tidak ada opsi lain, dan Thinking Machines bisa saja mengambil peran itu

    • Meski tidak terlalu dikenal, arcee.ai tampaknya juga menargetkan posisi itu
      Daftar model bobot terbuka yang tersedia saat ini bisa dilihat di https://www.arcee.ai/open-source-catalog
    • AllenAI juga patut diperhatikan. Didirikan oleh Paul Allen dari Microsoft, dan merupakan salah satu tim terbaik yang membuat AI yang benar-benar transparan dan terbuka, termasuk data pelatihannya
    • Sudah ada banyak perusahaan yang mendorong model bobot terbuka seperti Arcee, Reflection, dan Llama, dan masih belum jelas apakah Meta akan berfokus pada model terbuka atau tertutup
      Meski begitu, kombinasi API fine-tuning dan model bobot terbuka setidaknya terlihat seperti bisnis yang layak. Jika hanya menggunakan QLoRA atau LoRA, masih menjadi pertanyaan mengapa pemilik model terbuka bisa melakukan fine-tuning dengan lebih baik, tetapi ini layak diikuti
    • Saya berharap mereka juga merilis model di bawah 100B yang bisa berjalan di hardware rumahan dengan lebih dari 10 token per detik
    • Saya penasaran model bobot terbuka bisa dijalankan dengan model bisnis seperti apa
  • Saya melihat model dasar terbuka yang bisa di-fine-tune di Tinker sebagai model bisnis yang bagus. Perusahaan dapat memiliki modelnya sendiri sambil mendapatkan performa di atas model state-of-the-art untuk tugas tertentu dengan biaya jauh lebih rendah, dan Thinking Machines bisa menjadi penyedia infrastruktur dan layanan inti ekosistem itu
    Juga mengesankan bahwa Inkling-Small yang lebih kecil dapat menyamai atau melampaui model besar di berbagai benchmark berkat data prapelatihan dan metode pelatihan yang lebih baik. Saya menantikan model Thinky generasi berikutnya

  • Pengembangan model modern membutuhkan ragam pekerjaan yang mengejutkan. Dulu, cukup membuat loss function baru atau perubahan arsitektur kecil, menjalankan loop pelatihan dan evaluasi, lalu merilis hasilnya. Sekarang ini menjadi perlombaan Ratu Merah yang membutuhkan pekerjaan luar biasa banyak hanya untuk mengejar ketertinggalan
    Fakta bahwa sekitar 500 tahap masing-masing merupakan loop optimasi kecil bahkan terasa menakjubkan. Karena itu, hukum lama bahwa tim kecil lebih cepat daripada tim besar juga terbalik, dan AI membutuhkan tim besar. Inersia organisasi baru menjadi masalah ketika jumlah orang melewati ribuan; sebelum itu, sulit menangani begitu banyak komponen hanya dengan 12 talenta hebat

  • Senang melihat hadirnya model bobot terbuka multimodal dengan konteks panjang yang kuat. Banyak aplikasi akan diuntungkan oleh performa audio, dan sampai z.ai dan lainnya mengembangkan kemampuan visual, ini juga bisa kuat untuk aplikasi agen serbaguna
    Namun beberapa benchmark terkait juga menunjukkan kelemahan. Pada akhirnya, seperti model lain, Anda harus memasukkannya sendiri ke harness dan mengevaluasi dengan benar tugas yang Anda anggap penting

    • MiniMax M3 dan DeepSeek v4-Pro juga merupakan model multimodal bobot terbuka yang sangat kapabel dan mendukung konteks panjang. Namun konteks panjang adalah jebakan, dan setelah melewati 150 ribu–200 ribu token, performanya masih turun tajam
  • Mengingat ini model pertama mereka dan dirilis terbuka, saya mulai kembali percaya pada laboratorium AI terbuka Amerika. Belum bisa mencobanya karena belum tersedia di OpenRouter dan sejenisnya, tetapi jika setidaknya setara GLM5.1, itu sudah sangat bagus untuk percobaan pertama
    Tampaknya dalam waktu dekat lebih banyak laboratorium akan bisa mengejar hingga mendekati state-of-the-art, dan bertambahnya persaingan di bidang apa pun selalu disambut baik

    • NVIDIA juga sedang mengembangkan Nemotron
  • Ini masih uji coba sangat awal, tetapi ada potensi yang melampaui apa yang ditunjukkan benchmark. Selain model Anthropic, saya hampir tidak pernah melihat hasil yang jauh lebih baik di evaluasi privat saya daripada di evaluasi publik. Masih terlalu dini untuk menilai, tetapi sepertinya saya akan menghabiskan cukup banyak waktu dengannya dalam beberapa minggu ke depan
    Di antara model bobot terbuka, saya selama ini hanya menganggap model Moonshot AI cukup layak digunakan dengan risiko tertentu, dan Z.AI tidak bekerja sebaik itu pada kelompok tugas saya. Model ini berpotensi menjadi opsi kedua. Jika Mistral yang merilis model seperti ini, para penggemar Eropa termasuk saya mungkin akan terus membicarakannya

    • Dengan penelusuran web dimatikan dan sudah dipastikan juga lewat riwayat penalaran, model ini menjawab dengan benar beberapa pertanyaan detail yang sangat spesialis. Contohnya perawatan berdasarkan mesin untuk kendaraan semiklasik tertentu atau struktur dan material tas langka—pertanyaan yang sejauh ini hanya dijawab benar oleh Gemini 3 dan 3.1 Pro
      Tidak ada model dari lab lain, termasuk Fable 5 dan GPT-5.6 Sol, yang bisa menjawabnya dengan benar tanpa web, tetapi bagi orang yang sangat menguasai bidang tersebut, itu termasuk pengetahuan umum dan jawaban objektifnya juga jelas ada. Fakta bahwa model ini unggul dari Fable 5 pada tugas yang tidak ada di benchmark publik sehingga sulit dioverfit cukup mengesankan
  • Terutama kemampuan mengikuti instruksi tampak bagus, tetapi coding sepertinya lebih lemah daripada model lain. Meski begitu, bertambahnya keragaman model bobot terbuka selalu menyenangkan, dan saya perlu mengujinya sendiri untuk melihat karakter seperti apa yang dimilikinya

    • Kecepatan responsnya cukup cepat, dan sejauh ini saya juga menyukai gaya bicara serta karakternya
      Ini adalah hasil dari permintaan: “tolong lihat halaman depan Hacker News hari ini, lalu buat output briefing harian yang merangkum berita teknologi hari ini agar bisa saya baca nanti”
      https://chat.home.jake.town/artifacts/019f679d-99e5-7000-b02...
  • Secara umum lebih baik daripada Nemotron dan lebih rendah daripada GLM, jadi untuk saat ini tampak sebagai model bobot terbuka Amerika terbaik

    • Ukuran totalnya hampir dua kali Nemotron 3 Ultra, jadi semestinya jauh lebih baik. Namun parameter aktifnya justru tampak sedikit lebih kecil, 41B vs 55B
    • Nemotron disebut sebagai pembanding saja sudah mengejutkan. Setelah menggunakannya untuk tugas coding, performanya sangat buruk sampai praktis tidak bisa digunakan
  • Hari ini saya mencoba Hy3 dan menyukainya; rasanya sedikit lebih maju daripada DSV4P. Jika performanya di level itu sekaligus mendukung multimodal, sepertinya cukup bagus