Nativ - Menjalankan model terbuka kelas frontier secara lokal di Mac

 (blaizzy.github.io)
1 poin oleh GN⁺ 3 jam lalu | 1 komentar | Bagikan ke WhatsApp
  • Nativ adalah aplikasi open-source berlisensi MIT yang mengunduh model AI terbuka dan menjalankannya di Apple Silicon Mac tanpa akun, langganan, atau cloud
  • Menyediakan model dari Google, Cohere, Liquid AI, dan lainnya, merekomendasikan model yang cocok untuk hardware Mac, serta menghasilkan semua respons secara lokal
  • Mendukung streaming, Markdown, penyorotan kode, dan input gambar dalam chat, serta memungkinkan pemantauan status performa seperti token per detik dan tekanan memori secara real-time
  • Dioptimalkan untuk memori terpadu dan Metal pada seri M dengan MLX-VLM untuk menangani tugas bahasa, visi, video, kode, dan audio
  • Server model lokal dapat dihubungkan dengan Pi, Codex, Claude Code, Hermes, dan OpenCode, serta seluruh kode aplikasi dan pemuat model juga dibuka

Menjalankan model lokal yang dioptimalkan untuk Mac

  • Aplikasi macOS universal yang mendukung Apple Silicon M1 atau lebih baru, menjalankan model langsung di Mac tanpa cloud atau lapisan konversi tambahan
  • Dari pustaka terkurasi, pengguna dapat memilih model terbuka dari Google, Cohere, dan Liquid AI, serta menerima rekomendasi model yang sesuai dengan hardware
  • Antarmuka chat menyediakan fitur berikut
    • Respons streaming dan metrik performa per pesan
    • Markdown dan penyorotan sintaks kode
    • Input gambar
  • Melalui pengukuran performa real-time, pengguna dapat melihat token per detik, tekanan memori, kondisi panas, dan waktu hingga token pertama dihasilkan
  • Berbasis MLX-VLM dan disetel untuk memori terpadu dan Metal pada seri M
  • Mendukung chat LLM, pembuatan caption gambar, ringkasan video, pelengkapan otomatis kode, konversi suara, dan pembuatan audio
  • Tidak memerlukan akun, kredit, atau langganan, dan tidak menjual data pengguna

Integrasi alat pengembang dan prinsip open-source

  • Melalui satu endpoint lokal milik Nativ, agen coding yang sudah ada dapat dihubungkan ke model lokal yang berjalan di Mac
    • Pi
    • Codex
    • Claude Code
    • Hermes
    • OpenCode
  • Seluruh kode, termasuk aplikasi desktop, pemuat model, dan grafik pengukuran performa, dibuka untuk ditinjau, di-fork, dan menerima Pull Request
  • Didistribusikan di bawah lisensi MIT tanpa roadmap ala VC, tanpa kelas enterprise, dan tanpa dark pattern yang mengubah prompt menjadi data pelatihan
  • Pustaka model lengkap dapat dilihat di Hugging Face

Bacaan terkait

1 komentar

 
GN⁺ 3 jam lalu
Komentar Hacker News

  • Aplikasi berlisensi MIT ini dibuat oleh Prince Canuma, yang mengelola library populer MLX-VLM. MLX-VLM sudah lama digunakan sebagai dependensi untuk LM Studio dan lainnya karena dapat memberikan inferensi yang lebih cepat daripada llama.cpp di perangkat Apple
    Ekosistem MLX memang lebih kecil daripada CUDA, tetapi sangat cepat mendukung model-model baru, khususnya model multimodal seperti visi, pengenalan suara, sintesis suara, dan pembuatan video. mlx-audio-swift juga layak dilihat, dan tidak akan mengejutkan bila model seperti ini diintegrasikan ke UI ini
    Halaman landasnya mungkin menunjukkan jejak vibe coding, tetapi sebagian besar aplikasi ditulis dalam Swift, jadi stack inferensi ini juga tampak mudah dipindahkan ke iPad dan iPhone

    • Belakangan ini, di Hugging Face sudah ada versi MLX untuk hampir semua model populer. Misalnya, dari halaman utama Qwen 3.6 35B-A3B, cukup ikuti tautan kuantisasi lalu pilih varian MLX yang bereputasi baik dan populer
    • Senang melihat blaizzy di domainnya. Pekerjaan MLX dari Prince Canuma memang secara konsisten berkualitas tinggi
    • Di repositori GitHub tertulis bahwa dukungan untuk model khusus audio dan model khusus pembuatan gambar akan segera ditambahkan. Prince Canuma juga sangat cepat merespons di X dan issue GitHub, dan saya hampir setiap hari memakai mlx-audio dan mlx-community/Qwen3-TTS-12Hz-1.7B-Base-bf16 untuk kloning suara
    • Pertanyaan pertama yang muncul adalah apa bedanya dibanding Unsloth
    • mlx-vlm, tidak seperti vllm atau sglang, sangat buruk dalam mendukung sampler terbaru, jadi berpindah justru bisa merugikan. Saya adalah salah satu penulis makalah min_p, dan jika min_p adalah opsi terbaik ketika llama.cpp mendukung top-n-sigma yang jauh lebih unggul, maka meskipun lebih cepat tetap tidak ada alasan untuk pindah
      Untuk mendukung sampler terbaru, Anda bisa mulai melihat makalah 1, makalah 2, makalah 3

  • Istilah frontier tampaknya dipakai terlalu berlebihan. Saya kira itu berarti model kelas teratas seperti Fable saat ini, tetapi model seperti itu membutuhkan RAM besar dan GPU mahal sehingga sulit di-host sendiri

    • Di sini tampaknya yang dimaksud adalah Pareto frontier, yaitu himpunan solusi terbaik untuk masalah optimasi multi-tujuan. Jika dilihat dari kecerdasan dan harga, maka model termasuk frontier bila tidak ada model lain yang memberi kecerdasan setara atau lebih tinggi dengan harga lebih murah, dan juga tidak ada model yang lebih cerdas pada harga yang sama atau lebih rendah
      Ini cukup intuitif jika melihat grafik Artificial Analysis. Misalnya, tidak ada model yang secerdas DeepSeek V4 Pro namun lebih murah, jadi itu bisa dianggap model frontier. Solusi pada Pareto frontier adalah yang terbaik di kelasnya karena tidak bisa ditukar dengan alternatif yang lebih baik tanpa mengorbankan hal lain
    • Saya sulit setuju dengan penggunaan istilah ini karena membingungkan, tetapi secara umum frontier bisa ada lebih dari satu, dan menurut saya frontier untuk model lokal kecil dengan bobot terbuka justru yang paling penting dan menarik
      Setiap kali memakai Gemma 4 12B, saya merasa model ini kecil, cerdas, dan efisien, tetapi energi industri AI justru sepenuhnya diarahkan ke arah yang salah. Jika dana riset difokuskan pada peningkatan model yang berjalan di sistem dengan memori terpadu 16GB, kemajuan penting bisa dicapai
      Qwen 3.6 dan model fine-tuning 27B dari BottleCap juga bagus, tetapi performa mengejutkan dari model Gemma 4 kecil belum cukup dikenal. Meski situs ini memakai istilah frontier untuk Qwen 3.6 27B terasa kurang tepat, dari sisi performa itu bukan istilah yang sepenuhnya meleset
    • Frontier didefinisikan sebagai kombinasi optimal di banyak dimensi seperti jumlah parameter, performa per tugas, kecepatan generasi token pada hardware yang sama, kebutuhan memori aktif, dan sebagainya. Model yang termasuk frontier adalah model yang, dalam pilihan saat ini, hanya bisa meningkatkan satu metrik dengan memperburuk satu atau lebih metrik lain
    • Frontier itu berupa kurva, yakni Pareto front
    • Kesenjangan antara open source dan frontier memang menyempit dengan model seperti Kimi K3, tetapi Kimi K3 punya lebih dari 2 triliun parameter. Model seperti Gemma 4 yang benar-benar bisa dijalankan di Mac biasa jelas bukan kelas yang sama

  • Mengejutkan karena beranda ini diperkenalkan seolah aplikasi yang sudah ada seperti LM Studio tidak eksis. Sekilas, tidak jelas apa bedanya, dan Open WebUI juga tidak disebut
    Saya sudah beberapa minggu menjalankan DeepSeek V4 Flash secara lokal dengan Open WebUI dan DS4 di MacBook Pro

    • LM Studio adalah perangkat lunak tertutup yang dibuat berdasarkan kode yang dipublikasikan oleh pengembang Nativ
    • LM Studio juga melakukan hal yang sama, tetapi bukan open source. Jadi memang ada pembeda yang ditawarkan Nativ
    • Kalimat “aplikasi AI lokal lain yang pernah Anda dengar adalah shell proprietari di atas engine open source yang bukan milik mereka” adalah ungkapan yang secara tidak langsung menyasar LM Studio
    • Saya penasaran spesifikasi MacBook-nya. Di Strix Halo saya, DeepSeek V4 Flash terlalu lambat untuk dipakai sebagai agen

  • Sekarang frontier sudah menjadi kata yang terlalu sering disalahgunakan, seperti load-bearing yang mungkin dikenal pengguna Claude Code. Tolong hentikan, apalagi aplikasi ini sebenarnya tidak bisa menjalankan model top-tier sesungguhnya secara lokal di Mac

  • Saya tidak suka frasa pemasaran seperti “mengapa kami open source sementara tidak ada yang lain”. Saya memakai oMLX yang open source, dan tampaknya sudah menyediakan semua fitur Nativ
    Seharusnya mereka membandingkannya dengan baik terhadap produk kompetitor open source yang sudah ada, alih-alih menganggapnya tidak eksis

    • Mungkin maksudnya adalah menjelaskan kenapa opsi seperti LM Studio bukan open source

  • Penasaran model lokal kecil sebenarnya dipakai untuk apa. Memang sudah cukup mumpuni, tetapi masih sulit dipercaya untuk diberi pekerjaan nyata selain beberapa proyek mainan yang dibuat sekadar untuk iseng
    Penasaran apakah benar-benar dipakai untuk agen coding, atau justru lebih sering untuk kegunaan lain

    • Pernah mendeploy kode yang dihasilkan Qwen3.6 27B ke production di OpenCode. Cakupan pengetahuannya tidak seluas Opus, tetapi jika bisa menyimpulkan perubahan sepenuhnya hanya dari prompt dan kode di sekitarnya, hasilnya sangat bagus
      Sulit menulis dari nol kode yang memerlukan pengetahuan khusus, seperti mesin inferensi berperforma tinggi untuk GPU Blackwell, tetapi untuk PR umum yang menambahkan use case ke proyek yang sudah ada, levelnya mirip Sonnet. Tetap perlu konfigurasi yang tepat seperti pengaturan temperature dan top-p yang direkomendasikan, kuantisasi yang tidak berlebihan, serta konteks minimal 150 ribu token
    • Menggunakan Gemma 4 secara lokal untuk ekstraksi memory graph pada agen pribadi. Pesan dipecah menjadi topik, sumber, fakta, entitas, dan sebagainya, lalu dimasukkan ke graph untuk pencarian dengan NLEmbeddings
      Agen target memakai DeepSeek V4 Flash, dan model lokal terlalu lambat untuk dipakai sebagai agen chat, tetapi bekerja cukup baik untuk ekstraksi memori sehingga mengurangi penggunaan API di setiap giliran percakapan
    • Tidak memakainya sebagai agen coding, tetapi sangat berguna untuk transformasi teks, ringkasan, dan ekstraksi informasi. Jika sudah berlangganan model berbayar, mungkin tidak ada keuntungan besar selain privasi, tetapi itu pun tetap bukan hal sepele
    • Bahkan model kecil pun cukup mampu menangani tugas berulang seperti update dependensi, menyelesaikan konflik merge, --help, menulis Markdown, dan README. Kalau gagal, cukup kembalikan dengan git restore atau tolak PR lalu serahkan lagi ke model yang lebih baik
    • Qwen35ba3b bisa melakukan pembersihan data skala besar bahkan di hardware yang relatif biasa. Dengan dua GPU 3090, sudah memproses sekitar 100 miliar token

  • Penasaran apa kelebihannya dibanding LM Studio, dan apakah juga bisa menjalankan model MTP. Setahu saya model MTP berformat GGUF

  • Saya pernah mencoba MLX lewat Rapid MLX, tetapi Qwen terus tersendat dan mengulang hal yang sama. Setelah pindah ke llama.cpp, pembuatan token di MTP jadi lebih cepat dan modelnya juga lebih stabil
    Penasaran hasil orang lain saat membandingkan MLX dan llama.cpp

    • Di M1 Max saya hampir tidak melihat keuntungan dari MLX. Berkat perubahan Apple Neural Engine, mungkin manfaatnya lebih besar di M3 ke atas
      Pada model yang saya uji, kadang performa GGUF di llama.cpp justru lebih baik. MTP di Gemma 4 tidak terlalu bernilai, tetapi pada Qwen 3.6 MoE ada perbedaan yang terukur, dan di hardware terbaru mungkin akan lebih berarti
    • Saya sudah dua kali mencoba MLX pada waktu yang berbeda, tetapi setiap kali hasilnya menunjukkan performa yang jauh lebih rendah daripada llama.cpp

  • Penasaran spesifikasi Mac kelas menengah yang cocok untuk kebutuhan ini. Saya sedang bimbang antara M5 Pro 64GB dan membeli M5 Air murah plus membayar biaya token cloud
    Daripada menghabiskan 2.000~3.000 dolar tambahan untuk menjalankan model lokal yang performanya lebih rendah, uang itu bisa dipakai membeli cukup banyak token cloud

    • Bahkan di M1 Max 64GB pun cukup banyak model seperti ini yang bisa dijalankan

  • Penasaran kenapa tidak menjalankan DeepSeek V4 di atas ds4. Sepertinya hasilnya akan cukup bagus

    • Tampaknya Nativ tidak mendukung streaming SSD seperti DwarfStar