Show HN: Membuat klon 'Perplexity' yang berjalan secara lokal

 (github.com/nilsherzig)
2 poin oleh GN⁺ 2024-04-04 | 1 komentar | Bagikan ke WhatsApp

Apa itu LLocalSearch

  • Mesin pencari yang sepenuhnya berjalan secara lokal dan menggunakan agen LLM.
  • Saat pengguna mengajukan pertanyaan, sistem mencari jawaban dengan menggunakan rantai LLM.
  • Pengguna dapat melihat progres agen dan jawaban akhirnya.
  • Tidak memerlukan API key OpenAI atau Google.
  • Kini ditambahkan fitur pertanyaan lanjutan: demo.mp4

Fitur

  • 🕵️ Berjalan sepenuhnya secara lokal sehingga tidak memerlukan API key.
  • 💸 Berjalan pada perangkat keras LLM "berspesifikasi rendah" (video demo menggunakan model 7b).
  • 🤓 Menyediakan log progres agar proses pencarian lebih mudah dipahami.
  • 🤔 Mendukung pertanyaan lanjutan.
  • 📱 Antarmuka yang ramah seluler.
  • 🚀 Deployment cepat dan mudah dengan Docker Compose.
  • 🌐 Antarmuka web yang mudah diakses dari perangkat apa pun.
  • 💮 UI buatan tangan yang mendukung mode terang dan gelap.

Status

  • Proyek ini masih berada pada tahap awal. Mungkin masih ada beberapa bug.

Cara kerja

  • Untuk mendapatkan informasi paling terbaru, lihat dokumentasi infra.

Self-hosting & pengembangan

Persyaratan

  • Server Ollama yang sedang berjalan dan dapat diakses dari container.
  • GPU tidak wajib, tetapi direkomendasikan.
  • Docker Compose

Menjalankan rilis terbaru

  • Direkomendasikan jika Anda tidak berniat mengembangkan proyek ini. 
    git clone https://github.com/nilsherzig/LLocalSearch.git
cd ./LLocalSearch
# 🔴 Periksa variabel lingkungan di file compose dan tambahkan host:port server ollama
docker-compose up 🎉
  • Sekarang, secara default Anda dapat membuka antarmuka web di http://localhost:3000.
  • Secara default, tidak ada hal lain yang diekspos.

Menjalankan versi git saat ini

  • Anda bisa menggunakan fitur yang lebih baru, tetapi stabilitasnya mungkin lebih rendah. 
    git clone https://github.com/nilsherzig/LLocalsearch.git
# 1. Pastikan untuk memeriksa variabel lingkungan di `docker-compose.dev.yaml`.
# 2. Pastikan Anda memeriksa file compose dev, bukan file compose biasa.
# 3. Build container dan jalankan layanan
make dev
  • Jika make tidak terpasang, Anda dapat menjalankan perintah di Makefile secara manual.
  • Sekarang Anda dapat mengakses frontend di http://localhost:3000.

Opini GN⁺

  • LLocalSearch layak diperhatikan sebagai alternatif mesin pencari modern yang menekankan privasi pengguna. Dengan menyediakan kemampuan pencarian tanpa mengirim data pengguna ke server eksternal, proyek ini dapat meredakan kekhawatiran terkait privasi.
  • Proyek ini menawarkan peluang menarik bagi para pengembang di komunitas open source. Dengan berkontribusi pada proyek ini, pengembang dapat memperdalam pemahaman tentang teknologi mesin pencari dan memperkuat portofolio mereka.
  • Namun, karena ini masih proyek tahap awal, bisa ada bug dan masalah stabilitas. Artinya, perlu kehati-hatian saat mempertimbangkan penerapannya di lingkungan penggunaan nyata.
  • Jika LLocalSearch berkembang dengan sukses, proyek ini dapat menjadi momentum untuk mengurangi ketergantungan pada mesin pencari besar yang sudah ada dan menambah keberagaman di pasar mesin pencari.
  • Dari sisi teknis, pencarian yang menggunakan agen LLM sangat inovatif, tetapi untuk memanfaatkannya secara efektif tetap dibutuhkan sumber daya komputasi yang memadai dan pengetahuan teknis.

Bacaan terkait

1 komentar

 
GN⁺ 2024-04-04
Opini Hacker News
  • Ringkasan kumpulan komentar Hacker News:

    • 🤖 Kombinasi LLMs dan mesin pencari: Penjelasan tentang sistem di mana LLMs dapat mengakses mesin pencari dan melakukan kueri ke basis data vektor. Hasil teratas sebanyak n dari kueri pencarian yang diinisialisasi LLM di-scrape lalu disimpan dalam potongan-potongan kecil ke basis data vektor, dan LLM dapat mengueri basis data ini untuk mendapatkan potongan yang relevan. Memang tidak selengkap LLM berkonteks 128k yang merangkum semuanya, tetapi pada perangkat keras lokal jauh lebih cepat dan menggunakan sumber daya yang lebih sedikit. Demo di GitHub berjalan pada GPU konsumen biasa (amd rx 6700xt).

    • 👍 Pujian untuk arsitektur: Ada rencana untuk menggunakannya bersama LLMs yang sudah ada, dan senang melihatnya juga berjalan secara lokal. Mengucapkan terima kasih atas pembagiannya dan menyukai arsitekturnya.

    • ❓ Pertanyaan tentang kaitannya dengan Perplexity: Menunjukkan bahwa tidak jelas apa kaitan sistem ini dengan Perplexity, dan sebagai gantinya diperlukan referensi ke model dasar yang digunakan.

    • 🌟 Fitur khusus model lokal: Belum pernah melihat model lokal memanggil modul khusus, dan menilai local 7b open-hermes yang digunakan secara pribadi sangat bagus.

    • 🚀 Kemungkinan integrasi dengan mesin pencari internal perusahaan: Belum dijalankan, tetapi tampak sangat menjanjikan dan diperkirakan akan sangat berguna jika dihubungkan dengan mesin pencari internal perusahaan. Senang melihat lebih banyak produk tanpa API key yang terhubung ke LLMs lokal dibuat.

    • 🛠️ Pertanyaan tentang proses pengambilan keputusan di dalam infrastruktur: Pertanyaan tentang bagaimana blok 'perlu penggunaan alat' dan 'menemukan jawaban' diputuskan di dalam infrastruktur, serta dari demo terlihat butuh waktu untuk mengembalikan hasil; pada tahap mana yang paling memakan waktu di antara pencarian, vector store, atau pencarian basis data vektor.

    • 🕵️ Cara kerja mesin pencari lokal: Meski disebut sebagai 'mesin pencari yang berjalan secara lokal', muncul pertanyaan tentang bagaimana sistem menemukan situs dan halaman lalu mengindeksnya.

    • 🤫 Rahasia tentang Perplexity: Pendapat bahwa Perplexity tidak melakukan banyak hal selain menggunakan model yang sudah jadi.

    • 🏭 Pesaing chatbot Perplexity: Ada pandangan bahwa Perplexity tampak seperti pesaing chatbot.

    • ✨ Usulan integrasi dengan Plandex: Saran bahwa akan luar biasa jika dihubungkan dengan Plandex yang dibagikan hari ini untuk membuat alat kolaborasi AI dengan kode yang tidak pernah meninggalkan komputer.

Pengetahuan latar: LLMs (Large Language Models) adalah model bahasa berskala besar yang digunakan untuk pemrosesan bahasa alami, dan basis data vektor adalah basis data yang menyimpan data dalam bentuk vektor agar pencarian bisa dilakukan dengan cepat. Perplexity juga merupakan metrik untuk mengevaluasi kinerja model di bidang pemrosesan bahasa alami, tetapi di sini tampaknya merujuk pada produk atau layanan tertentu.