SuperGemma4 - model Gemma 4 26B Google yang tidak disensor/dipercepat/dikuantisasi

 (huggingface.co)
39 poin oleh xguru 4 hari lalu | 7 komentar | Bagikan ke WhatsApp
  • Model khusus teks berbasis Gemma 4 26B IT yang dioptimalkan untuk Apple Silicon MLX dan dikuantisasi 4-bit, dengan ukuran sekitar 13GB
  • Lebih pintar dari versi asli, lebih cepat di mesin yang sama, serta merupakan model tidak disensor yang stabil untuk kode, penggunaan tool, dan bahasa Korea
  • Sebagai flagship khusus teks, fokus pada pemrosesan teks cepat alih-alih multimodal
  • Quickbench meningkat ke 95.8 (asli 91.4) dan kecepatan generasi 8.7% lebih cepat (46.2 tok/s), sehingga waktu tunggu respons terasa jauh lebih singkat
  • Sambil mempertahankan sifat inti uncensored (tidak disensor), model ini tetap menghasilkan output yang stabil untuk kode, penggunaan tool, dan prompt bahasa Korea
    • Skor generasi kode 98.6 (+6.3), menunjukkan hasil yang jauh lebih akurat daripada versi asli saat dipakai secara lokal untuk menulis dan merefaktor fungsi Python
    • Skor prompt bahasa Korea 95.0 (+4.3), sehingga tetap utuh dan bisa langsung dipakai meski ditanya dalam bahasa Korea
    • Kinerja pemrosesan bahasa Korea dan prompt bergaya agen lebih baik daripada versi asli
    • Karena ini model tidak disensor, nol jawaban yang terblokir filter konten, sambil tetap menjaga output tidak tidak stabil atau rusak
  • Dapat langsung dipakai untuk workload/pipeline agen lokal seperti otomasi browser, pemanggilan tool, dan perencanaan
  • Cara menjalankan:
    • mlx_lm.server --model Jiunsong/supergemma4-26b-uncensored-mlx-4bit-v2 --port 8080
    • Otomatis mendukung serving kompatibel OpenAI, tanpa perlu pengaturan template tambahan (bahkan jika memasukkan path ke --chat-template, respons bisa rusak)
  • MLX 4-bit, tensor BF16·U32, format Safetensors

Bacaan terkait

7 komentar

 
kohs100 3 hari lalu

Saya sedang memakai Heretic 31b yang ada di Hugging Face, tapi sepertinya saya juga harus mencoba yang ini.
 
jjangdww 4 hari lalu

Saya juga harus mencobanya sekali.
Terima kasih atas informasinya yang bagus.
 
asdfg 4 hari lalu

Lisensinya berbeda dengan gemma4 yang asli.
 
fanotify 4 hari lalu

Benar juga, ternyata bukan Apache 2.0
 
caniel 3 hari lalu

Di tab lisensi ada tautan ke Gemma 4, bisa dicek di mana?
 
sea715 4 hari lalu

Hehe, menarik juga karena ini model yang dibuat oleh komunitas lokal.