- Alat open source yang mendukung menjalankan dan melatih secara lokal berbagai model AI seperti teks, audio, embedding, dan vision dalam satu antarmuka
- Di Mac/Windows/Linux, model GGUF/safetensor dapat dijalankan secara lokal, dan saat pelatihan mampu mencapai kecepatan hingga 2x lebih cepat dengan penggunaan VRAM 70% lebih sedikit
- Berbasis llama.cpp + Hugging Face dengan dukungan inferensi multi-GPU dan sebagian besar model
- Kernel Unsloth mengoptimalkan LoRA, FP8, FFT, PT untuk mendukung lebih dari 500 model teks, vision, TTS/audio, dan embedding
- Mendukung fine-tuning LLM terbaru seperti Qwen3.5, NVIDIA Nemotron 3, dengan dukungan multi-GPU otomatis
- Mendukung berbagai metode pelatihan seperti full fine-tuning, pelatihan 4bit/16bit/FP8, reinforcement learning (GRPO), dan lainnya
- Teknologi optimisasi terus ditambahkan, seperti melatih MoE LLM 12x lebih cepat, atau melatih model 20B dengan panjang konteks lebih dari 500K pada GPU 80GB
- Semua model termasuk model hasil fine-tuning dapat diekspor ke safetensors/GGUF untuk digunakan di llama.cpp, vLLM, Ollama, LM Studio, dan lainnya
- Menyertakan fitur Data Recipes yang otomatis mengubah dokumen tak terstruktur seperti PDF, CSV, JSON menjadi dataset, serta panggilan alat self-healing dan eksekusi kode bawaan
- Termasuk fitur observabilitas untuk melacak loss pelatihan dan penggunaan GPU secara real-time
- Di Model Arena, output dari 2 model dapat dibandingkan berdampingan, termasuk model dasar dan model hasil fine-tuning
- Berjalan 100% offline secara lokal untuk menjamin privasi, dengan dukungan Apple MLX, AMD, dan Intel yang akan segera ditambahkan
- Alur kerja :
Jalankan Studio →
Muat model dari file lokal atau integrasi yang didukung →
Impor data pelatihan dari PDF, CSV, JSONL, dan lainnya atau buat dataset dari nol →
Rapikan dan perluas dataset di Data Recipes → mulai pelatihan dengan preset rekomendasi atau pengaturan kustom →
Bandingkan output model terlatih dan model dasar →
Simpan secara lokal atau ekspor ke stack yang sudah digunakan
- Lisensi
- Paket utama Unsloth menggunakan lisensi Apache 2.0
- Hanya beberapa komponen opsional seperti UI Unsloth Studio yang menggunakan lisensi open source AGPL-3.0
2 komentar
https://github.com/unslothai/unsloth/…
Ternyata langsung diperbaiki ya!
Komentar Hacker News
Saya masih belum berhasil menyiapkan unsloth studio dengan benar di MacBook
Karena masalah tooling terkait Python
Sebagai gantinya, saya sudah menjalankan server llama.cpp di dalam container Docker, jadi saya mencoba eksperimen perbandingan dengan tiga codebase
Kode perbandingan pertama, kode perbandingan kedua
Hasilnya cukup menarik. Jika unsloth studio bisa berjalan dengan baik, saya berencana mencoba lagi minggu depan
Bisa dipasang dengan perintah di bawah ini
Saya penasaran dengan model bisnis unsloth. Mereka membuka banyak hal secara gratis, tetapi struktur pendapatannya tidak terlihat jelas
Saya rasa alasan closed source lebih populer adalah karena kualitas tooling. Masih banyak yang akan kami buka ke depan
Fitur pelatihannya menarik, tetapi saya kecewa karena tertulis ‘on NVIDIA’
Saya penasaran apakah ada alternatif atau tutorial untuk melakukan SFT dengan stack Metal di macOS
Saya juga memakai lingkungan AMD jadi ikut menantikannya. ROCm memang menyakitkan, tapi saya suka AMD itu sendiri
Unsloth benar-benar proyek yang bagus
Jika Anda menjalankan engine AI sendiri, ini layak dicoba
Karena berlisensi Apache, saya berencana mencobanya juga di perusahaan
LMStudio memakai lisensi proprietari sehingga sulit mendapat persetujuan
Saya sangat berharap ada dukungan AMD
Saat ini saya memakai konfigurasi workaround yang rumit dengan GPU AMD
Saya mencoba build dari source di macOS, tetapi muncul error TypeScript seperti di bawah ini
'status' is declared but its value is never readMemasang lewat pip di macOS tidak direkomendasikan karena berisiko merusak sistem
Perlu paket Homebrew atau file zip untuk instalasi manual
Kalau dipasang dengan
uv tool install unsloth, pengelolaannya jadi lebih mudahSaya terutama berasal dari ekosistem Python jadi pengalaman packaging saya masih kurang. Dukungan Homebrew adalah target berikutnya
Dependensi dikelola dengan
pyproject.toml, dan lingkungan yang reproducible bisa dibuat dengan satu perintahSaya pernah memasang unsloth dengan versi unreleased berbasis ROCm, dan itu selesai hanya dengan satu baris
uv syncKomentar issue terkait
Dokumentasi instalasi pipx
Saya akan kembali mengecek saat dukungan AMD sudah ada
Saya penasaran apakah di Mac ini menggunakan GPU
Saat setup tertulis khusus CPU