32 poin oleh xguru 2026-03-18 | 2 komentar | Bagikan ke WhatsApp
  • Alat open source yang mendukung menjalankan dan melatih secara lokal berbagai model AI seperti teks, audio, embedding, dan vision dalam satu antarmuka
  • Di Mac/Windows/Linux, model GGUF/safetensor dapat dijalankan secara lokal, dan saat pelatihan mampu mencapai kecepatan hingga 2x lebih cepat dengan penggunaan VRAM 70% lebih sedikit
  • Berbasis llama.cpp + Hugging Face dengan dukungan inferensi multi-GPU dan sebagian besar model
  • Kernel Unsloth mengoptimalkan LoRA, FP8, FFT, PT untuk mendukung lebih dari 500 model teks, vision, TTS/audio, dan embedding
  • Mendukung fine-tuning LLM terbaru seperti Qwen3.5, NVIDIA Nemotron 3, dengan dukungan multi-GPU otomatis
    • Mendukung berbagai metode pelatihan seperti full fine-tuning, pelatihan 4bit/16bit/FP8, reinforcement learning (GRPO), dan lainnya
    • Teknologi optimisasi terus ditambahkan, seperti melatih MoE LLM 12x lebih cepat, atau melatih model 20B dengan panjang konteks lebih dari 500K pada GPU 80GB
  • Semua model termasuk model hasil fine-tuning dapat diekspor ke safetensors/GGUF untuk digunakan di llama.cpp, vLLM, Ollama, LM Studio, dan lainnya
  • Menyertakan fitur Data Recipes yang otomatis mengubah dokumen tak terstruktur seperti PDF, CSV, JSON menjadi dataset, serta panggilan alat self-healing dan eksekusi kode bawaan
  • Termasuk fitur observabilitas untuk melacak loss pelatihan dan penggunaan GPU secara real-time
  • Di Model Arena, output dari 2 model dapat dibandingkan berdampingan, termasuk model dasar dan model hasil fine-tuning
  • Berjalan 100% offline secara lokal untuk menjamin privasi, dengan dukungan Apple MLX, AMD, dan Intel yang akan segera ditambahkan
  • Alur kerja :
    Jalankan Studio →
    Muat model dari file lokal atau integrasi yang didukung →
    Impor data pelatihan dari PDF, CSV, JSONL, dan lainnya atau buat dataset dari nol →
    Rapikan dan perluas dataset di Data Recipes → mulai pelatihan dengan preset rekomendasi atau pengaturan kustom →
    Bandingkan output model terlatih dan model dasar →
    Simpan secara lokal atau ekspor ke stack yang sudah digunakan
  • Lisensi
    • Paket utama Unsloth menggunakan lisensi Apache 2.0
    • Hanya beberapa komponen opsional seperti UI Unsloth Studio yang menggunakan lisensi open source AGPL-3.0

2 komentar

 
wedding 2026-03-20

https://github.com/unslothai/unsloth/…

Ternyata langsung diperbaiki ya!

 
GN⁺ 2026-03-19
Komentar Hacker News
  • Saya masih belum berhasil menyiapkan unsloth studio dengan benar di MacBook
    Karena masalah tooling terkait Python
    Sebagai gantinya, saya sudah menjalankan server llama.cpp di dalam container Docker, jadi saya mencoba eksperimen perbandingan dengan tiga codebase
    Kode perbandingan pertama, kode perbandingan kedua
    Hasilnya cukup menarik. Jika unsloth studio bisa berjalan dengan baik, saya berencana mencoba lagi minggu depan

    • Semoga Anda bisa mencobanya lagi. Saya baru saja merilis rilis PyPI baru
      Bisa dipasang dengan perintah di bawah ini
      curl -LsSf https://astral.sh/uv/install.sh | sh  
      uv venv unsloth_studio --python 3.13  
      source unsloth_studio/bin/activate  
      uv pip install unsloth==2026.3.7 --torch-backend=auto  
      unsloth studio setup  
      unsloth studio -H 0.0.0.0 -p 8888
      
  • Saya penasaran dengan model bisnis unsloth. Mereka membuka banyak hal secara gratis, tetapi struktur pendapatannya tidak terlihat jelas

    • Saat ini tujuan utamanya adalah menyediakan tooling yang berguna untuk komunitas open source
      Saya rasa alasan closed source lebih populer adalah karena kualitas tooling. Masih banyak yang akan kami buka ke depan
    • Kalau ukuran timnya sekitar 8 orang, sepertinya mereka belum sedang tertekan masalah pendanaan saat ini
  • Fitur pelatihannya menarik, tetapi saya kecewa karena tertulis ‘on NVIDIA’
    Saya penasaran apakah ada alternatif atau tutorial untuk melakukan SFT dengan stack Metal di macOS

    • Di bagian bawah dokumentasi tertulis bahwa dukungan non-Nvidia sedang disiapkan
      Saya juga memakai lingkungan AMD jadi ikut menantikannya. ROCm memang menyakitkan, tapi saya suka AMD itu sendiri
    • Tertulis jelas, “Mac: hanya bisa chat berbasis CPU, dukungan pelatihan MLX akan segera hadir”
    • Menyewa GPU Nvidia untuk dipakai dari Mac itu mungkin bisa menjadi alternatif yang realistis
    • wkwk
  • Unsloth benar-benar proyek yang bagus
    Jika Anda menjalankan engine AI sendiri, ini layak dicoba

  • Karena berlisensi Apache, saya berencana mencobanya juga di perusahaan
    LMStudio memakai lisensi proprietari sehingga sulit mendapat persetujuan

    • Hanya beberapa komponennya yang Apache
  • Saya sangat berharap ada dukungan AMD
    Saat ini saya memakai konfigurasi workaround yang rumit dengan GPU AMD

    • Katanya mereka juga sedang menyiapkan dukungan AMD. Saya juga sedang menunggu
  • Saya mencoba build dari source di macOS, tetapi muncul error TypeScript seperti di bawah ini
    'status' is declared but its value is never read

    • Sudah diperbaiki. Disarankan untuk mencoba lagi dengan perintah di bawah ini
      curl -LsSf https://astral.sh/uv/install.sh | sh  
      uv venv unsloth_studio --python 3.13  
      source unsloth_studio/bin/activate  
      uv pip install unsloth --torch-backend=auto  
      unsloth studio setup  
      unsloth studio -H 0.0.0.0 -p 8888
      
    • Mereka bilang akan segera mengecek dan memperbaikinya
  • Memasang lewat pip di macOS tidak direkomendasikan karena berisiko merusak sistem
    Perlu paket Homebrew atau file zip untuk instalasi manual

    • Setuju. Saat ini saya rasa lebih baik memasang dengan “uv” atau “mise”
      Kalau dipasang dengan uv tool install unsloth, pengelolaannya jadi lebih mudah
    • Terima kasih atas masukannya, dan proses instalasinya sedang terus diperbaiki
      Saya terutama berasal dari ekosistem Python jadi pengalaman packaging saya masih kurang. Dukungan Homebrew adalah target berikutnya
    • Disarankan memasang uv dulu, lalu mengisolasi paket Python di dalam virtual environment
    • Dengan uv sync hasilnya jauh lebih rapi
      Dependensi dikelola dengan pyproject.toml, dan lingkungan yang reproducible bisa dibuat dengan satu perintah
      Saya pernah memasang unsloth dengan versi unreleased berbasis ROCm, dan itu selesai hanya dengan satu baris uv sync
      Komentar issue terkait
    • Mungkin bisa diselesaikan dengan pipx
      Dokumentasi instalasi pipx
  • Saya akan kembali mengecek saat dukungan AMD sudah ada

  • Saya penasaran apakah di Mac ini menggunakan GPU
    Saat setup tertulis khusus CPU