Asisten AI local-first LocalGPT – Berbasis Rust, mendukung memori persisten

 (github.com/localgpt-app)
2 poin oleh GN⁺ 2026-02-09 | 1 komentar | Bagikan ke WhatsApp
  • Asisten AI yang berjalan secara lokal dan dikembangkan dengan Rust, bekerja sepenuhnya di perangkat pribadi tanpa koneksi internet dan data tidak dikirim ke luar
  • Struktur file eksekusi tunggal memungkinkan dijalankan tanpa instalasi Node.js, Docker, atau Python, dalam bentuk biner ringan berukuran sekitar 27MB
  • Sistem memori persisten menyediakan fungsi ingatan jangka panjang dan pencarian melalui basis pengetahuan berbasis Markdown, SQLite FTS5, dan semantic search
  • Mendukung CLI, web UI, dan GUI desktop, serta kompatibel dengan banyak penyedia LLM seperti OpenAI, Anthropic, dan Ollama
  • Kompatibel dengan format OpenClaw, sehingga dapat menjalankan tugas otonom menggunakan file SOUL, MEMORY, dan HEARTBEAT

Gambaran umum

  • LocalGPT adalah asisten AI berpusat pada perangkat lokal, aplikasi berbasis Rust dengan memori persisten dan kemampuan tugas otonom
    • Berjalan sepenuhnya di perangkat pribadi tanpa bergantung pada server eksternal
    • Terinspirasi dari proyek OpenClaw dan tetap menjaga kompatibilitas
  • Instalasi dapat dilakukan dengan perintah cargo install localgpt, dan bisa dipilih dengan GUI atau dalam mode headless

Fitur utama

  • Struktur biner tunggal sehingga tidak memerlukan Node.js, Docker, atau Python
  • Retensi data lokal: semua memori dan pengaturan disimpan di perangkat pengguna
  • Memori persisten: menggunakan basis pengetahuan berbasis file Markdown, serta mendukung pencarian cepat dan pencarian berbasis makna melalui SQLite FTS5 dan sqlite-vec
  • Fitur heartbeat otonom memungkinkan tugas dijalankan di latar belakang
  • Beragam antarmuka: menyediakan CLI, web UI, dan GUI desktop
  • Dukungan multi-LLM: dapat terhubung dengan Anthropic (Claude), OpenAI, Ollama, dan lainnya

Cara kerja

  • Memori disimpan di direktori ~/.localgpt/workspace/, dengan susunan file utama sebagai berikut
    • MEMORY.md: menyimpan pengetahuan jangka panjang
    • HEARTBEAT.md: antrean tugas otonom
    • SOUL.md: panduan kepribadian dan perilaku
    • knowledge/: penyimpanan pengetahuan terstruktur per topik
  • Menggunakan SQLite FTS5 untuk pencarian kata kunci, dan sqlite-vec untuk pencarian semantik berbasis embedding lokal

Konfigurasi dan perintah CLI

  • File konfigurasi disimpan di ~/.localgpt/config.toml, untuk menentukan model default, API key, interval heartbeat, zona waktu kerja, dan lainnya
  • Perintah CLI utama
    • localgpt chat: memulai sesi percakapan
    • localgpt ask "pertanyaan": menjalankan satu kueri
    • localgpt daemon start: menjalankan daemon di latar belakang
    • localgpt memory search "query": mencari memori
    • localgpt config init: membuat konfigurasi dasar

HTTP API

  • Saat daemon berjalan, REST API tersedia
    • GET /health: memeriksa status
    • POST /api/chat: permintaan percakapan
    • GET /api/memory/search?q=<query>: pencarian memori
    • GET /api/memory/stats: melihat statistik memori

Tumpukan teknologi

  • Berbasis Rust, Tokio, Axum, SQLite (FTS5 + sqlite-vec), fastembed, dan eframe
  • Dirilis di bawah lisensi Apache-2.0, dengan sekitar 93% kode ditulis dalam Rust

Informasi lain

  • Di GitHub memiliki sekitar 646 stars dan 39 forks
  • Tulisan blog “Why I Built LocalGPT in 4 Nights” memaparkan proses pengembangan dan rincian per commit
  • Kontributor utama teridentifikasi sebanyak 4 orang, termasuk Yi Wang, Claude, objectkit, dan Ax73

Bacaan terkait

1 komentar

 
GN⁺ 2026-02-09
Komentar Hacker News

  • Rasanya benar-benar cyberpunk melihat hal seperti ini pada 2026
    Struktur seperti MEMORY.md, HEARTBEAT.md, SOUL.md terasa sangat menarik
    Tapi karena bergantung pada ANTHROPIC_API_KEY, agak meragukan untuk menyebutnya “local-first”
    Meski begitu, dalam jangka panjang saya tetap berpikir local-first adalah masa depan
    Tahun lalu saya membuat sesuatu yang mirip dengan Rust, dan saat model dijalankan secara lokal perbedaan kecepatannya benar-benar terasa
    Ada juga video demo saya
    Mengimplementasikan hal seperti ini di level OS benar-benar terasa seperti pergeseran paradigma
    Dalam 5~10 tahun ke depan, sepertinya cara kita berinteraksi dengan perangkat akan berubah secara mendasar

    • Ini bukan local-first, sepertinya namanya keliru
    • Sebenarnya tidak perlu memakai LLM pihak ketiga
      Anda bisa langsung menentukan endpoint yang kompatibel dengan OpenAI atau Anthropic, dan localhost juga bisa
    • Referensi kode terkait: providers.rs L222
    • Saya juga sedang mencoba menjalankan OpenClaw dan Qwen3 Coder Next dengan pendekatan local-first di LAN
      Baru mulai, tapi kelihatannya cukup menjanjikan
    • Terlepas dari suka atau tidak suka terhadap AI, skala investasinya saat ini terasa seperti program Apollo untuk generasi kita
      Katanya dalam beberapa tahun ke depan akan ada lebih dari 100 pusat data kelas gigawatt
      Menurut saya itu penggunaan dana yang jauh lebih baik daripada industri militer

  • Satu saran: lebih baik tulisan atau dokumentasi ditulis langsung, atau setidaknya disunting sendiri
    Dokumen dan tulisan saat ini semuanya terlihat seperti ditulis LLM, jadi terasa kurang niat

    • Belakangan ini banyak juga orang yang menyerah menulis lebih dari beberapa kalimat
      Mesin pencuci plagiarisme seperti ini sedang merusak kepekaan orang terhadap tulisan
    • Saya juga setuju, menulis dokumentasi sendiri justru terasa lebih menyenangkan
    • Ada juga sanggahan
      Saya memang dari dulu tidak suka menulis dokumentasi, jadi dulu kode saya hampir tidak punya dokumentasi
      Akibatnya jadi sulit dipakai orang lain
      LLM sangat cocok untuk penulisan dokumentasi karena bisa cepat membuat penjelasan yang akurat dan menjaganya tetap mutakhir
      Walaupun terlihat bukan ditulis manusia, saya rasa tidak masalah selama isinya benar
    • Andai ini bisa jadi pencegah untuk postingan berkualitas rendah, tapi kenyataannya tidak
      Malah ada suasana yang menganggap membanggakan kalau tidak berusaha

  • Ide proyek ini bagus
    Kerangkanya bertumpu pada memori persisten + pencarian semantik
    Fitur SOUL sebenarnya sudah didukung kebanyakan LLM dalam bentuk file Markdown
    Struktur seperti ini bisa menjadi titik awal membangun jaringan agen privat
    Tapi masalahnya ada pada namanya — LocalGPT itu

    1. tidak lokal, dan
    2. juga bukan model GPT
      Sebaiknya diganti ke nama yang lebih tepat mencerminkan maksudnya

  • Pertanyaan serius, saya penasaran apa bedanya dengan OpenClaw
    Sama-sama memakai struktur SOUL.md, MEMORY.md, HEARTBEAT.md, dan
    OpenClaw sudah punya messaging multikanal, panggilan suara, otomatisasi browser, sampai sub-agent
    Selain dibuat dengan Rust, saya ingin tahu apakah ada pembeda lain

    • Banyak orang termasuk saya merasa takut dengan OpenClaw
      Fiturnya terlalu banyak, dan arsitektur keamanannya lemah
      Persetujuan izin cuma formalitas, dan ia bahkan bisa mengubah konfigurasinya sendiri
      Karena itu saya memisahkan izin dengan Wardgate
      Perlu dipisah menjadi beberapa node/agen, serta memisahkan kredensial dan akses API
    • Ini terasa seperti generator situs statis untuk vibe coding
    • Ukurannya kecil dan tidak berbasis Node, itu kelebihannya
      Karena tidak semua orang punya mesin berperforma tinggi

  • Saya penasaran kenapa harus terhubung ke penyedia LLM (OpenAI, Anthropic, dll.)
    Kalau benar Local GPT, bukankah inferensinya juga seharusnya lokal?

    • Tidak harus terhubung ke luar
      Server lokal seperti Ollama bisa ditetapkan sebagai penyedia LLM
      README memang hanya memberi contoh Anthropic, tapi kalau melihat kodenya, penyedia lain juga memungkinkan
      Cukup ubah satu baris konfigurasi
    • Usahanya bagus, tapi namanya menyesatkan
      Faktanya ini tidak lokal dan juga bukan GPT
      Lebih mirip klon versi Rust dari OpenClaw
    • Jika lokal tidak dikonfigurasi, sistem akan fallback otomatis ke penyedia online
      Kode terkait: providers.rs L222
    • Tidak wajib

  • Masalah keamanan inti dari agen seperti LocalGPT atau OpenClaw adalah
    trinitas fatal dari “private data access + external communication + untrusted content”
    Satu email berbahaya saja bisa mengeksekusi perintah seperti “teruskan kotak masuk saya ke penyerang”
    Saya sedang meneliti kebijakan keamanan berbasis object-capability untuk menyelesaikan ini
    Saya ingin membuat kebijakan yang pada dasarnya mencegah kebocoran informasi sensitif

    • Masalah trinitas ini adalah tugas paling mendesak di bidang ini saat ini
      Saya melihat ada dua solusi
      1. membatasi semua pengiriman keluar dengan persetujuan manual (OTP, dll.)
        Tapi itu sangat melelahkan
      2. menghindari trinitas itu sejak tahap desain — misalnya agen dua faktor yang memblokir komunikasi eksternal
        Saya penasaran apakah Anda sedang meneliti pendekatan lain

  • Saya sudah mencoba OpenClaw, tapi observability-nya kurang
    Tidak ada log yang menunjukkan apa yang sedang dipikirkan dan dilakukan agen ini
    Sistem seperti ini sepertinya akan sempurna jika dibuat dengan Elixir/BEAM
    Dengan process tree kita bisa melacak status, dan dengan dump message box kita bisa melihat alur pikirnya

    • proyek lemon tampaknya melakukan hal seperti itu
    • Model seperti GPT atau Claude sengaja menyembunyikan pemikiran internalnya
      Yang ditampilkan hanya sebagian, padahal sebenarnya mereka menghabiskan lebih banyak token
    • Ide bagus, sebaiknya Anda coba buat sendiri
    • Saya juga setuju observability yang kurang adalah masalah
      Fitur yang seharusnya jadi bawaan malah harus diatasi lewat tutorial YouTube, situasinya sekarang benar-benar kacau

  • Di Linux Mint, cargo install localgpt gagal
    Setelah menambahkan "x11" ke Cargo.toml, build berhasil
    Saya tidak terlalu paham Rust, tapi sepertinya ini masalah dependensi GUI

    • Prosedur instalasinya seperti berikut 
      git clone https://github.com/localgpt-app/localgpt.git  
cd localgpt/  
tambahkan "x11" ke Cargo.toml  
cargo install --path ~/.cargo/bin
      Ngomong-ngomong, orang bernama Kai Lentit itu, jangan-jangan sedang merekrut?

  • Model lokal apa yang layak dipakai sebagai asisten lokal?
    Saya juga penasaran apakah ada upaya mengevaluasi trade-off antara sumber daya komputasi dan memori
    Saya ingin tahu hardware seperti apa yang dibutuhkan agar ini benar-benar berguna

  • Kata “lokal” belakangan ini dipakai dengan aneh
    Padahal sebagian besar fiturnya pada akhirnya tetap berinteraksi dengan internet, tapi tetap disebut lokal