Anything-LLM - asisten desktop AI all-in-one open source

• Aplikasi AI full-stack untuk membangun ChatGPT privat dengan menggunakan LLM komersial atau LLM open source serta solusi vectorDB
  • Dapat di-host secara lokal atau jarak jauh
  • Mengubah semua dokumen dan sumber daya yang Anda sediakan menjadi konteks yang dapat dirujuk
• Dapat memilih LLM atau vectorDB yang akan digunakan, serta mendukung manajemen multi-pengguna dan izin akses
  • OpenAI, llama.cpp, AWS Bedrock, ANthropic, Google Gemini, Ollma, Together, Mistral, Groq, Cohere..
• Mendukung multi-modal (baik untuk LLM komersial maupun open source)
• Menyediakan widget chat kustom yang dapat di-embed ke situs web Anda (versi Docker)
• Dokumen dibagi ke dalam entitas bernama Workspaces dan dikontainerkan agar berjalan seperti satu thread
  • Dapat dibagikan, tetapi tidak saling bercakap-cakap, sehingga konteks antar-workspace masing-masing dapat dipertahankan

Pembagian komponen di dalam monorepo

• frontend: frontend yang dibangun dengan viteJS + React
• server: server NodeJS express untuk mengelola vectorDB dan menangani interaksi LLM
• collector: server NodeJS express yang memproses dan melakukan parsing dokumen
• docker: perintah Docker dan informasi proses build
• embed: submodul untuk membuat dan mengelola widget embed web
• browser-extension: submodul ekstensi browser Chrome

[xguru]

Pendapat Hacker News

• Sedang mencoba menerapkan instance AnythingLLM yang dikustomisasi di lingkungan enterprise. TimC dan tim pengembangnya sangat hebat dan responsif. Sedang menunggu integrasi EntraID, dan dengan itu sepertinya sebagian besar use case dasar akan terpenuhi. Terima kasih kepada TimC dan tim
• Awalnya saya kira ini hanya wrapper Ollama/WebGenUI, tetapi ternyata mendukung jauh lebih banyak fitur. Bukan hanya LLM, tetapi juga model embedding, basis data vektor, dan TTS/STT. Ini mencakup semua yang dibutuhkan untuk membangun chatbot suara yang lengkap
• Sangat bagus. Saya merasa istilah "Language Learning Model" itu lucu. Bercanda bahwa penulisnya tampak mengerjakan proyek ini tanpa tahu arti LLM
• Saya sudah mengunduh dan mencobanya, dan sejauh ini sangat bagus. Saya memakainya dengan GPT-4o untuk membaca PDF regulasi. Umpan balik awal:
  • Sitasi agak kurang meyakinkan. Responsnya umumnya akurat, tetapi isi jendela sitasinya agak membingungkan
  • Saya berharap ada fitur pencarian teks di dalam isi chat yang sudah ada. Misalnya, jika saya mencari tentang jerapah saat sedang chat, saya ingin bisa berpindah ke riwayat chat tersebut
• Sebagai orang yang tidak tahu apa itu embedding atau vektor, ini adalah satu-satunya alat AI offline yang bisa saya pasang dan gunakan di PC kantor standar
• LLM di masa depan akan menjadi gratis dan open source seperti framework web. Akan ada opsi berbayar juga, tetapi untuk sebagian besar pekerjaan, opsi gratis akan cukup
• Saya sudah menyiapkan AnythingLLM pada tingkat enterprise, dan sangat terkesan dengan sebagian besar fiturnya. Saya berharap ada opsi untuk menyertakan custom CSS dengan baik. Antarmuka bawaannya terlihat agak kuno. Teruskan kerja bagusnya
• Saya mengalami error saat instalasi Linux, tetapi teratasi dengan perintah berikut:

  sudo chown root:root /home/hn/AnythingLLMDesktop/anythingllm-desktop/chrome-sandbox
  sudo chmod 4755 /home/hn/AnythingLLMDesktop/anythingllm-desktop/chrome-sandbox
  

  Selain itu, semuanya berjalan sangat baik
• AnythingLLM sangat memudahkan penggunaan LLM baik secara lokal maupun melalui API. Ada banyak pilihan untuk embedder dan vector store. Pengemasan desktop dalam satu instalasi sangat rapi. Menantikan fitur-fitur baru yang akan datang