Bonsai 27B - Model kelas 27B yang berjalan di ponsel

 (prismml.com)
4 poin oleh GN⁺ 4 jam lalu | 1 komentar | Bagikan ke WhatsApp
  • Model 27B yang ada sebelumnya tetap membutuhkan 18GB meski diperkecil ke 4-bit, tetapi PrismML menyesuaikan Bonsai 27B berbasis Qwen3.6 27B agar sesuai dengan batas memori iPhone sambil mendukung inferensi, pemanggilan tool, visi, dan penggunaan komputer
  • Model Ternary yang berfokus pada kualitas berukuran 5.9GB pada 1.71 bit per bobot, sedangkan model 1-bit yang berfokus pada ukuran berukuran 3.9GB pada 1.125 bit, dengan representasi low-bit diterapkan ke seluruh jaringan bahasa
  • Pada 15 benchmark dalam mode berpikir, model Ternary mempertahankan 95% performa dibanding presisi penuh, dan model 1-bit mempertahankan 90%, dengan skor total masing-masing 80.5 dan 76.1
  • Mencatat hingga 163 tok/s di NVIDIA GeForce RTX 5090 dan hingga 87 tok/s di M5 Max, serta mendukung konteks 262K token, vision tower 4-bit, dan speculative decoding
  • Eksekusi lokal menghilangkan biaya API per langkah dan transfer data pada tugas agen yang berulang, memungkinkan deployment hybrid yang memproses pekerjaan sensitif di perangkat dan hanya mengirim langkah sulit ke cloud

Cara menempatkan model kelas 27B ke dalam ponsel

  • Model 27B sebelumnya membutuhkan sekitar 54GB pada presisi 16-bit, dan bahkan build 4-bit umum pun memakan 18GB, sehingga sulit dideploy secara lokal di ponsel dan sebagian besar laptop
  • Bonsai 27B berbasis Qwen3.6 27B mendukung loop agen penggunaan komputer yang menjaga konsistensi di banyak tahap, bersama penalaran multi-langkah, pemanggilan tool terstruktur, dan tugas visi
  • Dua konfigurasi low-bit menargetkan lingkungan deployment yang berbeda
    • Ternary Bonsai 27B menggunakan bobot {−1, 0, +1} dan penskalaan per grup FP16 untuk mencapai 1.71 bit efektif per bobot dan ukuran 5.9GB
    • Ditujukan untuk kualitas setara laptop, serta menyediakan kemampuan inferensi, pemanggilan tool, dan agen secara penuh
    • 1-bit Bonsai 27B menggunakan bobot {−1, +1} dan penskalaan per grup yang sama untuk mencapai 1.125 bit efektif per bobot dan ukuran 3.9GB
    • Berfokus pada kapasitas kelas ponsel yang muat dalam anggaran memori iPhone 17 Pro

Konfigurasi low-bit dan multimodal end-to-end

  • Representasi low-bit diterapkan ke seluruh jaringan bahasa, termasuk embedding, attention, MLP, dan LM head, tanpa melewati sebagian bagian dengan presisi yang lebih tinggi
  • Kedua model bersifat multimodal, dan vision tower disediakan dalam format 4-bit terkompresi sehingga screenshot, dokumen, dan input kamera bisa diproses di perangkat
  • Mendukung hingga konteks 262K token
  • Dapat menggunakan speculative decoding, yaitu metode akselerasi lossless yang membuat draf lalu memverifikasinya
  • Bobot model disediakan di bawah lisensi Apache 2.0 License

Performa yang dipertahankan di 15 benchmark

  • Dalam mode berpikir yang menggunakan seluruh kemampuan penalaran model, dievaluasi 15 benchmark yang mencakup pengetahuan, penalaran, matematika, coding, kepatuhan instruksi, pemanggilan tool, dan visi
  • Skor total Qwen3.6 27B presisi penuh adalah 85.0, sedangkan Ternary Bonsai 27B mencatat 80.5 dan 1-bit Bonsai 27B mencatat 76.1
    • Model Ternary mempertahankan 95% performa dibanding patokan presisi penuh
    • Model 1-bit mempertahankan 90% performa patokan
  • Skor per domain adalah sebagai berikut
    • Matematika — GSM8K, MATH-500, AIME25, AIME26: presisi penuh 95.3, Ternary 93.4, 1-bit 91.7
    • Coding — HumanEval+, MBPP+, LiveCodeBench: presisi penuh 88.7, Ternary 86.0, 1-bit 81.9
    • Agen dan pemanggilan tool — BFCL v3, TauBench: presisi penuh 80.0, Ternary 74.0, 1-bit 66.0
    • Kepatuhan instruksi — IFEval, IFBench: presisi penuh 78.4, Ternary 71.8, 1-bit 65.8
    • Pengetahuan dan STEM — MMLU-Redux, MuSR: presisi penuh 83.1, Ternary 77.0, 1-bit 73.4
    • Visi — MMMU Pro, OCRBench: presisi penuh 72.6, Ternary 65.2, 1-bit 59.6
  • Pada matematika dan coding, penurunan performanya relatif kecil, dan performa pemanggilan tool pada model Ternary juga tetap mendekati presisi penuh
  • Build low-bit umum paling agresif yang diterapkan pada model dasar yang sama menggunakan memori 2.5 kali lebih banyak daripada 1-bit Bonsai 27B namun mencatat skor yang lebih rendah

Kepadatan kecerdasan per gigabyte

  • 1-bit Bonsai 27B memberikan performa kelas 27B dalam ukuran yang lebih kecil daripada model 2B presisi penuh
  • Dengan metrik kepadatan kecerdasan yang diperkenalkan PrismML pada 1-bit Bonsai 8B, 1-bit Bonsai 27B mencatat 0.53 per GB
    • Lebih dari 10 kali lebih tinggi dibanding patokan presisi penuh
    • Sekitar 2.7 kali lebih tinggi dibanding alternatif low-bit terbaik yang tersedia
  • Dalam pembedaan ini, kemampuan absolut model menentukan tugas yang dapat dikerjakan, sedangkan kepadatan kecerdasan menentukan perangkat dan lingkungan yang mampu menjalankan tugas tersebut

Memindahkan tugas agen persisten ke lokal

  • Pekerjaan AI sedang bergeser dari satu respons tunggal menuju tugas persisten seperti asisten yang menggunakan tool nyata, workflow tanpa pengawasan, dan riset yang menyintesis puluhan dokumen
  • Agen memanggil model bukan sekali, melainkan ratusan kali, meneruskan konteks di setiap langkah, membuat keluaran terstruktur, lalu menggunakannya sebagai input untuk langkah berikutnya
  • Cloud API masih cocok untuk banyak produk, tetapi menjalankan tugas agen hanya di cloud menimbulkan kendala struktural
    • Setiap langkah diproses sebagai permintaan jarak jauh
    • Biaya token terus terakumulasi di setiap iterasi
    • Tidak hanya rencana, pemanggilan tool, dan hasil antara, tetapi juga file pribadi, layar, dan data pengguna melewati jaringan
  • Menjalankan model yang cukup mampu di perangkat memungkinkan agen ditempatkan di dalam produk
    • Bahkan pada loop 100 langkah, tidak ada biaya pemanggilan model tambahan
    • Data pengguna tidak meninggalkan perangkat
    • Dapat mewujudkan agen on-device persisten, asisten offline, dan asisten yang langsung memproses data lokal privat
  • Dengan arsitektur hybrid yang mengirim tugas sensitif atau yang tidak memerlukan performa frontier ke model lokal, dan hanya menyerahkan langkah tersulit ke model cloud, biaya per tugas sistem agen bisa diturunkan

Kecepatan eksekusi dan batas memori ponsel

  • Kecepatan generasi maksimum yang diukur pada NVIDIA GeForce RTX 5090 adalah sebagai berikut
    • Model 1-bit: 163 tok/s
    • Model Ternary: 134 tok/s
  • Kecepatan generasi maksimum yang diukur pada M5 Max adalah sebagai berikut
    • Model 1-bit: 87 tok/s
    • Model Ternary: 58 tok/s
  • Aplikasi ponsel tidak dapat menggunakan seluruh memori perangkat, dan bahkan pada iPhone 12GB, memori yang dapat dipakai model hanya sekitar 6GB
  • Dalam anggaran ini harus masuk bukan hanya bobot model, tetapi juga KV cache dan nilai aktivasi, sehingga hanya mengecilkan ukuran file penyimpanan tidaklah cukup
  • 1-bit Bonsai 27B yang berukuran sekitar 4GB memenuhi batas memori ini sambil menyisakan ruang yang diperlukan untuk tugas
  • Demo agen multimodal di iPhone 17 Pro Max berjalan dalam mode demo yang menggunakan cache dan konteks gambar yang dimuat sebelumnya

Platform yang didukung dan metode deployment

  • Pada perangkat Apple, model berjalan secara native di Mac, iPhone, dan iPad melalui MLX
  • Pada GPU NVIDIA, model menggunakan CUDA
  • Kedua platform memanfaatkan kernel low-bit kustom yang dibuat sesuai arsitektur hybrid attention
  • Tersedia API developer preview gratis untuk waktu terbatas agar developer dapat mencoba model ini
  • Rincian teknis lengkap proses kompresi, evaluasi, dan benchmarking dapat dilihat di whitepaper Bonsai 27B

Model yang lebih besar dan arsitektur baru

  • Bonsai 27B mengecilkan kemampuan model modern—termasuk berpikir, pemahaman multimodal, visi, dan penggunaan tool—ke ukuran yang dapat dijalankan pada perangkat yang dimiliki pengguna umum
  • Metodologi kompresi ini tidak bergantung pada arsitektur tertentu, dan PrismML sedang mengembangkan model yang lebih besar dan arsitektur baru
  • Seiring meningkatnya kepadatan kecerdasan, rentang perangkat, produk, dan lingkungan yang dapat menjalankan AI tingkat lanjut akan meluas dari ponsel hingga server GPU tunggal

Bacaan terkait

1 komentar

 
GN⁺ 4 jam lalu
Komentar Hacker News

  • Pembanding yang paling ingin saya lihat adalah Gemma 4 12B versi QAT 4-bit. Ukurannya kurang dari 7GB, jadi hanya sedikit lebih besar dari model ini, bisa berjalan di kebanyakan perangkat modern, dan luar biasa pintar untuk ukurannya
    Kemampuan penggunaan tool-nya hebat, dan performa vision-nya juga mengesankan untuk ukurannya. Saya masih mencari tahu seberapa banyak performa yang hilang setiap kali presisi diturunkan satu tingkat, tetapi versi QAT dari Google tampaknya menunjukkan bahwa pada 4-bit, kerugiannya sangat kecil

    • Jika angka yang dipublikasikan dibandingkan silang dengan hasil Gemma, model ini jauh mengungguli Gemma 4 12B dalam matematika dan coding, sedikit tertinggal dalam pengetahuan dan pemanggilan tool, serta cukup jauh tertinggal dalam tugas vision
    • Akan bagus juga kalau ada versi biner 1-bit dari Gemma 4 12B ;)
    • Di banyak keluarga model, 4-bit adalah titik batas, tetapi itu bergantung pada apakah yang dikuantisasi ke 4-bit adalah bobot, bobot dan aktivasi, atau KV cache. Ini juga dipengaruhi ukuran model dan tugasnya, jadi kuantisasi punya jauh lebih banyak nuansa daripada yang terlihat
      Materi evaluasi bagus dari 2024 adalah https://arxiv.org/pdf/2402.18158. Saya bukan penulis aslinya, tetapi saat ini sedang menyiapkan versi pembaruan, dan karena belum benar-benar melakukan survei literatur, saya penasaran apakah ada yang tahu survei serupa

  • Dari sudut pandang investor, ini benar-benar pergeseran paradigma. Banyak startup Eropa yang membungkus dan menyediakan model hosting besar dengan jualan privasi bisa saja lenyap
    Jika semuanya bisa dijalankan langsung di laptop, tidak ada alasan sama sekali untuk memakai perusahaan seperti ‘Privacy GPT™’. Bank atau industri teregulasi lain juga bisa meng-host sendiri kecerdasan pada level ini, sehingga tidak perlu bergantung pada perusahaan semacam itu

  • Saya butuh bantuan untuk memahaminya. Sejauh yang saya tangkap, intinya adalah melalui kuantisasi mereka mengecilkan 50GB menjadi 4GB sambil mempertahankan sebagian besar kecerdasan dalam rentang Pareto optimal, lalu membandingkan kecerdasan terhadap ukuran dengan model terkuantisasi lain. Namun tampaknya performa pemanggilan tool, yang juga jadi masalah pada model kecil lain, paling banyak terdampak
    Bagaimana model ini dibandingkan dengan model 4GB terbaru lainnya? Bagaimana kita tahu apakah kecerdasan model induknya benar-benar dipertahankan, atau hanya di-fine-tune agar cocok dengan benchmark?
    Saya bukan bermaksud meremehkan; saya benar-benar berharap ini hasil yang menakjubkan. Namun dengan pengetahuan saya yang terbatas, tampaknya grafik perbandingan yang adil tidak ada, dan grafik yang ada pun bisa menyesatkan. Saya ingin ada yang menjelaskan bagian mana yang saya salah pahami

    • Pemahaman saya, PrismML tidak melakukan kuantisasi seperti biasa, yaitu memotong bit dari model yang dilatih dalam FP16 untuk mengurangi VRAM, melainkan melatih dari awal dengan bobot 1-bit
      Artikelnya menjelaskan lebih rinci, termasuk teknik seperti menempatkan satu bobot FP16 untuk setiap blok 128 bobot 1-bit agar dapat memuat lebih banyak informasi

  • Apple disebut sedang bernegosiasi dengan PrismML: https://www.cnbc.com/2026/07/14/apple-prismml-ai-compression...

    • Ini dikatakan langsung oleh CEO PrismML Babak Hassibi kepada CNBC, jadi bisa saja itu bohong, atau dengan membocorkan kabar negosiasi, ia sendiri telah mengakhiri kemungkinan terwujudnya hubungan tersebut

  • Mungkin ini cuma mencari-cari kesalahan kecil, tetapi hidangan yang disarankan model dalam demo tidak terlihat terlalu enak, dan perhitungan makronutriennya juga tampaknya benar-benar salah. ‘Spageti, wortel, paprika, bawang putih, herba’ mengandung 25g protein?

    • Spageti yang bagus punya rasio protein 15%, yaitu 15g per 100g, dan bahkan produk dengan kualitas paling rendah pun mengandung setidaknya 12g per 100g
    • Secara pribadi saya tidak terlalu suka wortel, tetapi kelihatannya tidak buruk. Akan jauh lebih baik kalau ada saus tomat, tetapi sepertinya pada gambar yang diberikan itu bukan salah satu pilihannya
      25g protein mungkin diasumsikan sebagai pasta tinggi protein seperti pasta buncis arab, tetapi jelas terlihat seperti angka yang salah
    • 200g spageti sebenarnya memang mengandung sekitar 25g protein
    • Saya tidak mengerti kenapa pertanyaan seumum ini harus ditangani oleh AI di ponsel. Untuk hal seperti ini, AI saja tidak perlu, apalagi AI lokal; sejak dulu pencarian Google dasar sudah cukup
      Agar AI berukuran ponsel berguna, ia harus menangani tugas yang hanya bisa dilakukan AI. Bisakah ia menerima dokumen yang dipindai dengan kamera ponsel? Bisakah ia menerjemahkan secara real time? Saran resep sudah diselesaikan secara berlimpah dengan cara lain, jadi tidak ada alasan khusus untuk menanyakannya

  • Model-modelnya diunggah di Hugging Face: https://huggingface.co/prism-ml/models
    Saya mencoba model GGUF dan MLX masing-masing di LM Studio, tetapi keduanya tidak berjalan. Mungkin LM Studio perlu lebih dulu meng-upgrade llama.cpp atau engine MLX; saya penasaran apakah ada yang berhasil menjalankannya

    • Model sebelumnya dijalankan dengan https://github.com/PrismML-Eng/llama.cpp, yaitu custom fork llama.cpp milik PrismML. Model yang ini belum saya coba, tetapi saya berencana meluangkan waktu minggu ini untuk melakukan benchmark
      Katanya patch untuk backend Metal dan CPU juga sudah masuk ke mainline llama.cpp, jadi kalau punya Mac atau CPU dan memori yang cukup cepat, sepertinya cukup memakai llama.cpp terbaru saja
    • Bergantung pada model yang ingin dijalankan, mungkin diperlukan custom fork; detailnya ada di https://github.com/PrismML-Eng/Bonsai-demo/blob/main/README....
    • Saya tidak tahu apakah ada cara menjalankan fork llama.cpp milik PrismML di dalam LM Studio
      Fork itu sendiri berjalan baik, tetapi dalam satu pengujian sederhana modelnya terjebak parah dalam loop reasoning. Bisa jadi ini masalah yang sama seperti saat intensitas reasoning disetel tinggi
      Di M1 Max, MoE Qwen 3.6 dan Gemma 4 masih tampak sebagai pilihan terbaik. Saya juga belum yakin dengan klaim bahwa 35B sebenarnya lebih buruk; dalam lingkungan pemakaian saya, model itu jauh lebih jarang terjebak dalam loop reasoning dibanding 27B
    • Saya mengunduh dua model resmi di LM Studio dan keduanya berukuran 3.6GB, tetapi tak satu pun bisa dimuat
    • Di Unsloth juga belum berfungsi, tetapi kemungkinan besar akan diperbaiki dalam satu atau dua hari setelah kumpulan pembaruan berikutnya keluar

  • Keren! Saya sudah menunggu scaling model ternary selama lebih dari setahun[1]. Qwen 27B biasa terlalu berat untuk dijalankan dengan kecepatan yang layak di hardware lokal, jadi saya antusias untuk mencobanya langsung
    [1] https://jackson.dev/post/dont-sleep-on-bitnet/

    • Saya juga. Saya berharap ini bisa menjadi model yang cukup layak dipakai di laptop 16GB

  • Mencapai 90% performa dengan model 1-bit pertama-tama adalah hasil yang menakjubkan
    Namun dalam dua minggu terakhir ini sudah menjadi peluncuran produk kelima, dan semuanya menyatakan bahwa cara menggunakan AI sedang berubah serta trade-off masing-masing adalah jawaban sempurna. Pergeseran paradigma tidak terjadi di pengumuman peluncuran produk
    Saya rasa membuat setiap tulisan peluncuran terdengar seperti pergeseran paradigma adalah semacam gaya penulisan khas AI

    • Semua pengumuman teknologi juga begitu. Terlepas dari kenyataan, orang marketing akan tetap ber-marketing

  • Bahkan pada panjang konteks penuh, penggunaan memori KV cache terlihat sangat rendah. Karena itu, ini bisa sangat berguna untuk workflow coding multi-agent
    Saya berharap pengumuman dan demo model baru membahas penggunaan memori KV cache serta optimisasi terkait dengan lebih jelas

    • Menguantisasi KV cache akan memperburuk performa attention dan recall, dan dampaknya juga merusak tugas-tugas teks panjang. Setiap keluarga dan ukuran model memiliki tingkat toleransi yang berbeda terhadap kuantisasi di tiap bagian, dan ini juga bergantung pada tugas yang ditargetkan

  • Hal yang saya pelajari hari ini: model 1-bit sebenarnya adalah model 1,58-bit yang menggunakan tiga nilai +1, 0, -1

    • Ada dua varian di sini. Kalau bercanda, bisa dibilang nilai bit-nya dibuat sangat besar
      Ternary Bonsai 27B menggunakan bobot ternary {-1, 0, +1} dan scaling per grup FP16, sehingga bit efektif per bobotnya adalah 1,71 bit. 1-bit Bonsai 27B menggunakan bobot binary {-1, +1} dan scaling per grup yang sama, sehingga bit efektif per bobotnya adalah 1,125 bit
    • Jika dihitung dengan cara paling praktis untuk memasukkan lima angka 3-state ke dalam 1 byte, hasilnya 1,6 bit. Namun dalam praktiknya biasanya empat angka 4-state yang dikelompokkan
    • Ini adalah konvensi yang agak disayangkan yang bermula dari model ‘1-bit’ pertama. Meski begitu, Bonsai memiliki versi ternary dan versi 1-bit sungguhan