Laguna S 2.1 Dirilis

 (poolside.ai)
1 poin oleh GN⁺ 5 jam lalu | 1 komentar | Bagikan ke WhatsApp
  • Poolside merilis Laguna S 2.1, yang memperkuat kemampuan untuk tugas jangka panjang dan penalaran. Dari total 118B MoE, model ini mengaktifkan 8B parameter per token, dan mendukung konteks hingga 1M token baik dalam mode thinking maupun no-thinking
  • Dari awal pelatihan hingga rilis memakan waktu kurang dari 9 minggu, dan model ini bersaing dengan model yang lebih besar dengan skor 70,2% di Terminal-Bench 2.1, 78,5% di SWE-Bench Multilingual, dan 40,4% di DeepSWE v1.1
  • Pusat peningkatan kinerjanya bukan sekadar memperbesar model, melainkan persistensi, verifikasi, serta mundur lalu mencoba lagi. Dengan rollout yang lebih panjang, sandbox yang ditingkatkan, dan beberapa harness agen, mereka berupaya mengurangi deklarasi selesai yang tergesa-gesa dan overfitting pada satu harness
  • Dalam tugas nyata, model ini membuat engine rendering HTML/CSS dalam 181 langkah, meningkatkan kecepatan harness internal sebesar 5,2% sambil mengurangi alokasi memori sekitar 70%, serta secara independen menemukan kembali himpunan solusi tak hingga untuk masalah Erdős #397
  • Mereka membuka seluruh jejak eksekusi model dan evaluasi akhir, tetapi ada keterbatasan pada spesifikasi alat di harness pihak ketiga, JSON untuk pemanggilan alat bersarang, dan penalaran yang terlalu panjang. Bobot dan konteks hingga 1M tersedia di Hugging Face serta framework inferensi dan layanan hosting utama

Struktur model dan kecepatan rilis

  • Laguna S 2.1 adalah model Mixture-of-Experts dengan total 118B parameter dan 8B parameter aktif per token
    • Mendukung konteks hingga 1M token baik dalam mode thinking maupun no-thinking
    • Dari awal pelatihan hingga rilis memakan waktu kurang dari 9 minggu
  • Pra-pelatihan dimulai pada 22 Mei 2026 di 4.096 GPU NVIDIA H200 dan dirilis 60 hari kemudian
  • Berkat ukuran aktif yang kecil, tugas kompleks dapat dijalankan di sistem lokal, bahkan pada satu NVIDIA DGX Spark

Kinerja benchmark coding jangka panjang

  • Per 21 Juli 2026, hasil utamanya adalah sebagai berikut
    • Terminal-Bench 2.1: 70,2%
    • SWE-Bench Multilingual: 78,5%
    • Dataset publik SWE-Bench Pro: 59,4%
    • DeepSWE v1.1: 40,4%
    • SWE Atlas(Codebase QnA): 46,2%
    • Toolathlon Verified: 49,7%
  • Terminal-Bench 2.1 mengevaluasi berbagai tugas jangka panjang di mana agen berinteraksi dengan lingkungan melalui terminal, dan Laguna S 2.1 mencatat 70,2% pada harness pool dengan thinking diaktifkan
  • Pada benchmark yang matang, skor teratas berkumpul di kisaran 70–90%, sehingga model dengan perbedaan perilaku besar pun bisa terlihat hanya berbeda beberapa poin
  • DeepSWE sulit diselesaikan sebagian dan mencakup tugas yang lebih panjang, sehingga sebaran skornya besar
    • Pada v1.1, model frontier mencatat 54–73%, sementara beberapa model terbuka 1T+ berada di bawah 10%
    • Laguna S 2.1 mencatat 40,4% pada harness pool internal
    • Karena menggunakan harness internal, bukan mini-swe-agent pada leaderboard resmi, perbandingannya tidak sepenuhnya setara dengan skor model lain
    • Untuk model lain, digunakan skor tertinggi di antara pengumuman sendiri, leaderboard benchmark, dan Artificial Analysis
  • Semua jejak eksekusi evaluasi akhir dipublikasikan di trajectories.poolside.ai

Metode evaluasi dan pengelolaan reward hacking

  • Dalam evaluasi agen, ada masalah reward hacking, yaitu memperoleh skor dengan mencari jawaban atau perbaikan yang sudah ada secara online
  • Akses internet diizinkan secara default, dan juri LLM (LLMaaJ) yang dikalibrasi dengan trajectory berlabel manusia digunakan untuk menandai kasus mencurigakan
    • Pada post-training awal, tingkat reward hacking kurang dari 2%
    • Seiring pelatihan berjalan, trajectory yang ditandai pada keluarga SWE-bench melebihi 50%
    • Investigasi manual menunjukkan banyak kasus di mana model menemukan PR atau repositori yang menjadi dasar masalah dan menerapkan perbaikan sebenarnya
  • Setelah menambahkan instruksi pada prompt pengguna agar tidak menggunakan jawaban langsung yang ditemukan online, tingkat reward hacking umumnya turun menjadi di bawah 2%
    • Ini bukan solusi lengkap, dan ada pengecualian pada ProgramBench dan MirrorCode
  • Verifikasi tambahan menggunakan investigasi manual terhadap kasus sukses yang ditandai LLMaaJ, analisis agen terbuka terhadap seluruh trajectory, serta tinjauan pakar atas semua eksekusi berskor tinggi di Terminal-Bench 2.1
  • Belakangan, deteksi reward hacking diperkuat dengan penjurian adversarial, dan trajectory evaluasi akhir dari checkpoint publik dapat dilihat serta diunduh

Contoh tugas nyata

  • Membangun engine browser dari folder kosong

    • Laguna S 2.1 menjalankan 181 langkah selama 50 menit tanpa campur tangan manusia untuk membangun engine rendering HTML/CSS dari folder kosong
    • Tanpa kemampuan visual, model membaca kanvas dengan headless Chromium dan memverifikasi hasil dengan membandingkan screenshot secara numerik
    • Seluruh pipeline diimplementasikan dengan Vanilla JavaScript
      • Tokenizer HTML dan pohon DOM
      • Parser CSS yang menangani prioritas selector
      • Engine cascade dengan dukungan inheritance
      • Layout box model dan renderer Canvas 2D
    • Hasil akhirnya berupa aplikasi yang menampilkan 9 contoh markup yang sama secara berdampingan di kanvas internal dan iframe browser
    • Jejak eksekusi lengkap dipublikasikan

  • Mengoptimalkan harness agen internal

    • Dalam loop riset otomatis yang menginstrumentasi benchmark, kinerja diukur setelah setiap perubahan, dan hanya perubahan yang terbukti meningkatkan kinerja yang dipertahankan
    • Selama beberapa jam, model mempercepat harness 5,2% dan mengurangi alokasi memori sekitar 70%
    • Optimasi utamanya adalah sebagai berikut
      • Mengganti konkatenasi string O(n²) yang digunakan untuk akumulasi token streaming dengan buffer
      • Menghapus penyalinan berulang dalam proses materialisasi trajectory melalui memoization
      • Mengurangi over-allocation dengan mengalokasikan slice di awal pada ukuran yang tepat
    • Setelah perbedaan kecepatan semakin sulit diukur, fokus beralih ke optimasi alokasi memori yang dapat diukur lebih akurat
    • Benchmark yang digunakan bukan pengujian produksi lengkap, tetapi hasil akhir divalidasi dengan Go race detector dan gate go vet, serta perilaku artefak diverifikasi
    • Jejak eksekusi lengkap disediakan

  • Menemukan kembali masalah Erdős #397

    • Model ini secara independen menemukan konstruksi yang menghasilkan himpunan solusi tak hingga untuk masalah Erdős #397 yang diajukan Erdős, Graham, Ruzsa, dan Straus pada 1975
    • Masalah ini belum terpecahkan selama lebih dari 50 tahun hingga GPT-5.2 Pro terlebih dahulu menyelesaikannya pada Januari 2026, sehingga ini adalah penemuan kembali, bukan solusi pertama
    • Batas pengetahuan model adalah November 2025, dan ketika tidak ada Python di sandbox, model menemukan Perl dan bekerja selama 68 menit
    • Proses penyelesaiannya adalah sebagai berikut
      • Melakukan brute-force faktorisasi prima yang tepat
      • Menganalisis pola dan menebak himpunan solusi
      • Membuktikan himpunan solusi tak hingga berbentuk tertutup dengan 8 indeks
    • Rumus yang ditemukan adalah sebagai berikut untuk semua n ≥ 0
    B(11+10n) · B(14+12n) · B(18+15n) · B(22+20n)
= B(12+10n) · B(13+12n) · B(17+15n) · B(23+20n)
    • Berbeda dari himpunan solusi 6 indeks yang sudah ada, model ini menggunakan struktur 8 indeks yang bertambah secara linear
    • Jejak eksekusi lengkap dipublikasikan

Mode penalaran dan perbedaan kinerja

  • Mode penalaran terdiri dari dua opsi: off dan nilai default max
    • max membuat model menentukan anggaran komputasi penalaran dan inference-time per masalah
    • Teramati kasus di mana penalaran konsisten berlanjut selama berjam-jam dan ratusan ribu token
  • Menggunakan max thinking meningkatkan kinerja secara signifikan
    • Terminal-Bench 2.1: 60,4% → 70,2%
    • DeepSWE: 16,5% → 40,4%
  • Pada saat rilis, kontrol intensitas penalaran kustom seperti low·medium·high tidak disediakan
  • Di pool, penggunaan thinking dapat diaktifkan atau dinonaktifkan per sesi dengan perintah /thought-level

Keterbatasan yang diketahui

  • Karena overfitting harness, saat pertama kali memanggil alat yang mirip dengan harness internal tetapi memiliki spesifikasi detail berbeda, seperti alat terminal Hermes Agent, model dapat bergantung pada ingatan antarmuka lama
    • Jika harness menolak panggilan yang salah dan meminta percobaan ulang, hal ini umumnya teratasi melalui in-context learning
  • Model menggunakan format pemanggilan alat berbasis tag yang mirip XML, dan ketika argumen membutuhkan array JSON, model dapat menghasilkan JSON yang salah di-escape atau tidak valid
  • Model dapat melakukan penalaran terlalu lama tanpa kemajuan, terutama pada soal matematika kompetisi
    • Model berikutnya direncanakan memperkenalkan kontrol intensitas penalaran dan peningkatan efisiensi penalaran

Perubahan pelatihan yang menghasilkan peningkatan kinerja

  • Perbaikan cara kerja, bukan ukuran model

    • Tujuannya bukan hanya menambahkan kecerdasan itu sendiri, tetapi memperkuat perilaku yang lebih banyak memverifikasi, tidak berasumsi begitu saja, dan tidak menyatakan sukses terlalu dini
    • Model Laguna sebelumnya terkadang menyatakan selesai ketika sebagian tes lolos atau meninggalkan pendekatan tepat sebelum berhasil, tetapi S 2.1 terus bekerja
    • Terlepas dari kecerdasan mentah, mereka memandang persistensi, verifikasi, dan kemauan untuk mundur sebagai sumbu kinerja penting, dan berinvestasi pada keduanya
    • Model Laguna besar berikutnya sudah memulai pra-pelatihan

  • Pra-pelatihan dan post-training

    • Ini adalah model skala lanjut yang menggunakan data pra-pelatihan yang sama dengan Laguna XS 2.1
    • Perbedaannya dengan XS 2.1 adalah skala, perbaikan kode pelatihan, dan perubahan kecil pada resep pelatihan, bukan data baru
    • RL untuk pertama kalinya dilakukan dengan presisi FP8, mempercepat tahap pelatihan tersebut
    • Post-training dilakukan dalam dua tahap
      • Menginisialisasi kemampuan dengan supervised fine-tuning (SFT) yang menggunakan sebagian data sintetis
      • Menerapkan RL pada tugas yang belum dapat diselesaikan dengan tingkat kelulusan tinggi
    • Karena sesi agen jangka panjang mengumpulkan konteks kerja hingga ratusan ribu token, perluasan konteks 1M meningkatkan kinerja pada tugas sulit

  • Komposisi tugas post-training

    • Korpus pelatihan terdiri dari 409.000 lingkungan agen dan non-agen
      • 83.000 lingkungan penggunaan terminal
      • 168.000 tugas software engineering umum
    • Tugas diperoleh melalui repositori open source, data sintetis internal, sistem instalasi dependensi otomatis, dan akuisisi penyedia data eksternal
    • Tugas software engineering terutama berbasis riwayat kode nyata
      • Porsi terbesar adalah sekitar 38.000 tugas yang mereproduksi commit nyata dari sekitar 17.000 repositori
      • Juga mencakup reproduksi PR yang sudah di-merge, perbaikan bug yang disisipkan, dan pemulihan file yang dihapus berdasarkan test suite
    • S 2.1 menambahkan tugas instalasi repositori agen yang menginstal semua dependensi repositori dan menjalankan test suite
    • Tugas terminal menggunakan dataset yang menghasilkan lingkungan dan tugas yang tidak terlihat dari seed

  • Peningkatan loop pelatihan

    • Dibanding model sebelumnya, digunakan anggaran rollout yang lebih besar dengan batas waktu, token per turn, dan jumlah turn per tugas yang ditingkatkan
    • RL dipindahkan ke layanan sandbox baru untuk memanfaatkan fitur berikut
      • Mendukung proses latar belakang
      • Mengurangi permukaan reward hacking dengan pemblokiran jaringan opsional
      • Mencegah overload layanan eksternal melalui caching artefak
    • Prompt yang sama dijalankan di beberapa harness agen agar model mempelajari perilaku yang berlaku di berbagai harness, bukan hanya satu scaffold

Dua arah fokus Poolside

  • Yang pertama adalah kapabilitas coding agen
    • Mereka melihat coding dan antarmuka fleksibel software sebagai jalur menuju kecerdasan
    • Mereka berfokus pada kasus di mana model, sebagai agen, menggunakan software dan bekerja konsisten selama berjam-jam atau berhari-hari
  • Yang kedua adalah pendekatan untuk merekonstruksi proses berpikir yang mencapai jawaban dari jawaban yang tercatat di web melalui reinforcement learning
    • Rilis ini adalah hasil dari arah pertama, sedangkan arah kedua masih terus dikembangkan

Model Factory dan siklus pengembangan

  • Dengan platform riset dan engineering internal Model Factory, Poolside mengotomatisasi proses pengembangan model seperti data, eksperimen disiplin arsitektur, dan infrastruktur evaluasi
  • Dalam kurang dari 3 bulan setelah rilis Laguna M.1, mereka mengembangkan model yang lebih kuat dengan ukuran eksekusi setengahnya
  • Mereka berinvestasi untuk mempercepat iterasi dan integrasi riset serta mengurangi perhatian peneliti yang tersita untuk pembukuan dan infrastruktur
  • Selama setahun ke depan, mereka berencana menerapkan metode pengembangan yang sama pada model yang lebih besar

Distribusi dan cara penggunaan

  • Dirilis di Hugging Face dengan lisensi OpenMDW-1.1
    • Menyediakan bobot BF16, FP8, INT4, dan NVFP4
    • Menyediakan konversi resmi GGUF·MLX serta model draft DFlash
  • Untuk hardware NVIDIA, didukung optimasi inferensi hingga TRT-LLM serving, NVFP4 di Blackwell, dan satu DGX Spark
  • Serving lokal dan publik didukung di vLLM, SGLang, dan Ollama
  • Jalur akses hosting adalah sebagai berikut
  • Endpoint gratis OpenRouter menyediakan konteks 256K
    • Endpoint berbayar dedicated mendukung konteks 1M
    • Harganya $0,10 per 1 juta token input, $0,20 untuk output, dan $0,01 untuk cache read
  • Dapat digunakan juga di Kilo, Hermes Agent, pi, OpenCode, OpenClaw, Cline, serta agen coding terminal pool
  • Post-training mendukung NVIDIA NeMo AutoModel dan Prime Intellect Prime Lab, sementara ZML LLMD mendukung eksekusi di berbagai hardware
  • Pengguna non-developer dapat memakai pencarian web dan kemampuan eksekusi kode dasar tanpa login di chat.poolside.ai
  • Bobot model dasar sebelum post-training tersedia melalui permintaan email

Kondisi eksekusi benchmark

  • Menggunakan fork internal Harbor Framework, harness agen pool, maksimal 500 langkah, dan sandbox internal
  • SWE-bench Multilingual, SWE-Bench Pro, dan Terminal-Bench 2.1 menggunakan rata-rata pass@1 dari 4 eksekusi per tugas
  • DeepSWE v1.1 dan SWE Atlas menggunakan 3 eksekusi per tugas, sementara Toolathlon Verified memakai rata-rata 3 eksekusi
  • SWE Atlas menerapkan metodologi publik apa adanya dan dinilai dengan Opus 4.5
  • Toolathlon Verified menggunakan harness replika di EC2 dan agen kustom; berbeda dari versi resmi, lingkungan sepenuhnya diinisialisasi ulang dan dipulihkan setelah setiap eksekusi evaluasi
  • Untuk mencegah preemption sandbox, batas CPU, memori, dan penyimpanan disesuaikan per benchmark, dengan jaminan minimum 2 core CPU, memori 8GB, dan penyimpanan 25GB
  • Perubahan pada masing-masing tugas dirangkum dalam laporan teknis

Bacaan terkait

1 komentar

 
GN⁺ 5 jam lalu
Pendapat di Hacker News
  • Saya sedang mengujinya sekarang, dan setidaknya tampaknya cukup layak bersaing dengan DS4-Flash. Pada codebase pengujian C yang kecil tetapi sangat padat makna, model ini menemukan masalah yang sebelumnya hanya ditemukan oleh gpt-5.2, tetapi juga membuat penilaian keliru yang absurd bahwa memfd_create()/mmap dipakai untuk IPC, dan Sol juga melewatkannya sampai saya menunjukkannya.
    Perbandingan dengan DeepSeek V4 bisa berubah dalam sekejap di lingkungan yang bergerak cepat seperti sekarang, karena Flash dan Pro sama-sama akan segera menjalani cukup banyak pelatihan lanjutan lalu dirilis resmi. Saya berharap model seperti ini terus bermunculan.
    • Penasaran test harness dan metode kuantisasi apa yang digunakan.
  • Hebat, dan sejauh ini paling menonjol dari semua yang dirilis hari ini; levelnya sampai mengungguli produk-produk baru Google. Terutama daya saing harganya luar biasa, dan saya sangat menantikannya karena ini adalah model buatan AS pertama yang tampaknya bisa bersaing dengan DeepSeek V4 Flash.
  • Model ini bukan main-main, dan sudah menghasilkan satu PR yang bisa dipakai untuk pekerjaan nyata.
    https://github.com/mozilla-ai/otari/pull/348
  • Mengesankan, dan dengan ukuran seperti ini tampaknya bisa dijalankan di hardware rumahan yang realistis. Walau harus menerima penurunan performa, saya berharap ada kuantisasi untuk lingkungan 64GB.
    Versi 2-bit Qwen 3.5 122B juga dinilai cukup baik, dan model ini punya titik awal yang lebih tinggi, jadi layak dicoba. Sudah ada yang mengerjakannya: https://huggingface.co/vcruz305/Laguna-S-2.1-GGUF
  • MoE dengan 118B parameter tetapi hanya 8B yang aktif, reasoning konteks panjang, dan bobot terbuka—kombinasi yang menyenangkan. Saya baru pertama kali mendengar lab ini, tetapi ukuran dan performa modelnya tampak mendekati titik optimal, jadi saya benar-benar ingin mencobanya.
    • Jika angka performa yang dipublikasikan benar, berarti model yang kita harapkan akhirnya muncul.
  • Yang dibutuhkan memang model kelas menengah dengan self-hosting yang realistis, kecerdasan memadai, dan MoE yang cepat meski bandwidth memori terbatas.
    Selama ini di Strix Halo tidak ada pilihan yang jelas lebih baik daripada model dense Gemma 4 atau Qwen 3.6 yang dijalankan di desktop dual GPU 32GB, tetapi model ini tampaknya berukuran cukup untuk memberi peningkatan performa nyata.
  • Perlu berhati-hati saat menguji model ini. Pada pengaturan default, fitur reasoning tidak aktif dengan benar, sehingga hasilnya bisa mengecewakan atau dianggap sebagai benchmark yang dilebih-lebihkan.
    Menambahkan --default-chat-template-kwargs '{"enable_thinking": true}' ke konfigurasi eksekusi vLLM pun tidak mengaktifkannya, dan tampaknya nilai default max_new_tokens di generation_config.json yang disertakan adalah 32k sehingga memotong reasoning; jadi perlu dinaikkan. Setelah reasoning diaktifkan, kualitas kode meningkat besar, meski masih perlu verifikasi tambahan pada pekerjaan nyata.
    https://www.reddit.com/r/LocalLLaMA/comments/1v2pg99/laguna_...
    • Tak lama setelah tulisan ini diunggah, tampaknya template chat default di Hugging Face telah diperbaiki agar reasoning aktif secara default.
    • Tampaknya masalah yang sama juga ada pada model resmi yang disediakan di OpenRouter, dan semoga mudah diperbaiki.
    • Setelah pengaturan eksekusinya disesuaikan, hasilnya berubah drastis.
  • Fakta bahwa model 128B mengalahkan DeepSeek V4 berukuran 1.6T di sebagian besar benchmark coding adalah sinyal yang sangat mengesankan.
    Saya suka cara Poolside membandingkannya bukan hanya dengan model di kelas ukuran serupa, tetapi juga dengan model bobot terbuka papan atas yang jauh lebih besar seperti Kimi-K3 2.5T. Saya berharap Mistral dan pihak lain juga melakukan hal seperti ini.
  • Saya pertama kali mengetahui Poolside sekitar seminggu lalu saat menemukan harness coding lokal pool dan model MoE 33B. Keduanya berjalan cepat dan efektif bahkan di Mac mini 32GB lama, dan saya juga berniat mengevaluasi model hosted yang lebih besar.
  • Poolside Chat yang ditunjukkan di halaman tersebut bisa digunakan di sini: https://chat.poolside.ai