Sidekick - aplikasi chatbot LLM local-first open source untuk Mac

• Menyediakan informasi berdasarkan file, folder, dan situs web pengguna, serta tetap berfungsi sepenuhnya saat offline
• Dilengkapi mesin inferensi model terpasang, dan bila perlu dapat menghubungkan API key yang kompatibel dengan OpenAI untuk memanfaatkan model eksternal
• Dirancang agar LLM dapat memberikan jawaban yang lebih akurat berdasarkan informasi konteks
• Berbasis llama.cpp

Fitur utama

• Chatbot local-first

  • Semua percakapan berlangsung secara offline, tanpa kekhawatiran kebocoran data
  • Mencari informasi langsung dari file, folder, dan situs web tanpa instalasi tambahan
  • Dapat digunakan tanpa pengetahuan tentang prompt GPT maupun pengaturan apa pun
  • Berjalan cepat di Apple Silicon dengan mesin inferensi bawaan

• Manajemen konteks berbasis pakar (Expert System)

  • Dapat membuat pakar per topik (Computer Science, History, dll.)
  • Setiap pakar dapat didaftarkan dengan materi tak terbatas (berbasis RAG)
  • Menambahkan dokumen dengan mudah lewat drag-and-drop
  • Bila perlu, dapat menyertakan pencarian web untuk mencerminkan informasi terbaru

• Dukungan berbagai model

  • Mendukung berbagai model inferensi lokal seperti QwQ-32B dari Alibaba dan DeepSeek-R1
  • Dapat memanggil model eksternal saat API key kompatibel OpenAI dimasukkan

• Interpreter kode bawaan

  • Dapat menjalankan langsung kode yang ditulis model lalu mencerminkan hasilnya
  • Meningkatkan akurasi untuk pertanyaan berbasis matematika dan logika

• Canvas

  • Dapat membuat dan mengedit situs web, kode, dan teks secara visual
  • Setelah memilih teks, dapat meminta pengeditan selektif kepada LLM

• Pembuatan gambar

  • Membuat gambar otomatis melalui prompt teks
  • Mengenali secara otomatis hanya dari prompt tanpa perlu berpindah mode
  • Berjalan berbasis CoreML pada macOS 15.2 atau lebih baru

• Asisten penulisan inline

  • Dukungan inline di aplikasi mana pun dengan Command + Control + I
  • Dapat menjawab otomatis setelah memasukkan pertanyaan tugas di Microsoft Word

• Rendering Markdown lanjutan

  • Mendukung rendering rumus LaTeX
  • Visualisasi data: pembuatan grafik otomatis berbasis tabel (bar chart, line chart, pie chart, dll.)
  • Mendukung code highlighting, salin/ekspor kode

• Kumpulan alat Toolbox

  • Detector: mendeteksi apakah konten dibuat AI dan memberi panduan penulisan ulang
  • Diagrammer: membuat diagram hubungan kompleks dari prompt
  • Slide Studio: membuat slide dari satu baris prompt, dapat diekspor ke PDF/PowerPoint

• Optimalisasi performa dan inferensi

  • Inferensi berbasis llama.cpp memberikan kecepatan sangat tinggi di Apple Silicon
  • Speculative decoding dapat semakin meningkatkan kecepatan
  • Menyediakan perpanjangan daya tahan baterai dan fitur distribusi komputasi di MacBook

Instalasi dan persyaratan

• Mac + Apple Silicon (M1 atau lebih baru)
• RAM 8GB atau lebih
• Unduh .dmg dari halaman Releases lalu jalankan

Tujuan pengembangan

• Asisten AI lokal pribadi yang mudah digunakan siapa saja
• Sistem offline sepenuhnya yang tetap berfungsi tanpa koneksi internet
• Langsung mengenali folder, file, dan situs web tanpa pengaturan
• Perlindungan privasi, tanpa pelacakan isi percakapan
• Menjamin transparansi dan ekstensibilitas sebagai proyek open source

[galadbran]

Sepertinya saya harus menginstal dan mencobanya.