Local Deep Research - Menjalankan asisten riset pribadi Anda sendiri secara lokal

 (github.com/LearningCircuit)
16 poin oleh GN⁺ 2025-03-12 | 4 komentar | Bagikan ke WhatsApp
  • Alat riset bertenaga AI yang kuat, menggunakan beberapa LLM dan pencarian web untuk melakukan analisis iteratif yang mendalam
    • Mengintegrasikan fitur pencarian seperti ArXiv, Wikipedia, Google, PubMed, DuckDuckGo, SerpAPI, RAG lokal, The Guardian, dan lainnya
  • Dapat dijalankan secara lokal untuk memperkuat perlindungan privasi, atau Anda dapat mengatur LLM berbasis cloud untuk meningkatkan performa

Fitur riset lanjutan

  • Riset mendalam otomatis: menghasilkan pertanyaan lanjutan yang cerdas
  • Pelacakan dan verifikasi sumber: pelacakan sitasi dan sumber secara otomatis
  • Analisis iteratif: memberikan cakupan komprehensif melalui analisis iteratif multi-tahap
  • Analisis konten seluruh halaman web: analisis berbasis konten penuh, bukan hanya snippet

Dukungan LLM yang fleksibel

  • Dukungan model lokal: pemrosesan AI lokal berbasis Ollama
  • Dukungan model cloud: mendukung LLM cloud seperti Claude, GPT, dan lainnya
  • Kompatibilitas model Langchain: mendukung beragam model Langchain
  • Pilihan model: model dapat diatur berdasarkan performa, kecepatan respons, dan lainnya

Opsi keluaran yang kaya

  • Hasil riset terperinci: menyediakan laporan detail dengan sitasi
  • Laporan riset komprehensif: menyediakan hasil riset yang menyeluruh
  • Ringkasan cepat: dapat merangkum poin-poin utama
  • Pelacakan dan verifikasi sumber: mendukung pelacakan dan verifikasi sumber

Desain yang berfokus pada privasi

  • Dapat dijalankan secara lokal: saat menggunakan model lokal, semua data disimpan di perangkat pengguna
  • Pengaturan pencarian yang dapat dikonfigurasi: memperkuat perlindungan privasi
  • Pemrosesan data yang transparan: secara jelas mengungkapkan cara data diproses

Integrasi pencarian yang ditingkatkan

  • Pemilihan mesin pencari otomatis: memilih mesin pencari secara otomatis sesuai isi kueri
  • Integrasi Wikipedia: pencarian fakta yang tepercaya
  • Integrasi arXiv: pencarian makalah ilmiah dan riset akademik
  • Integrasi PubMed: pencarian materi riset medis dan biomedis
  • Integrasi DuckDuckGo: pencarian web umum (dapat terkena pembatasan kecepatan)
  • Integrasi SerpAPI: menyediakan hasil pencarian Google (memerlukan API key)
  • Google Programmable Search: pengaturan pencarian kustom (memerlukan API key)
  • Integrasi The Guardian: pencarian konten berita dan jurnalisme (memerlukan API key)
  • Pencarian RAG lokal: dapat mencari dokumen pribadi (menggunakan vector embedding)
  • Pencarian konten seluruh halaman web: dapat mencari isi penuh halaman web
  • Pemfilteran dan verifikasi sumber: dapat memfilter ke sumber yang tepercaya
  • Parameter pencarian yang dapat dikonfigurasi: dapat mengatur cakupan pencarian, periode, dan lainnya

Pencarian dokumen lokal (RAG)

  • Pencarian berbasis vector embedding: dapat mencari konten dalam dokumen pribadi
  • Membuat koleksi dokumen kustom: dokumen dapat dikelompokkan berdasarkan topik
  • Perlindungan privasi: semua dokumen diproses secara lokal
  • Chunking dan pencarian cerdas: melakukan chunking dan pencarian pada isi dokumen
  • Kompatibel dengan berbagai format dokumen: mendukung PDF, teks, Markdown, dan lainnya
  • Penerapan otomatis meta-search terintegrasi: dapat menggabungkan pencarian lokal dan web

Antarmuka web

  • Menyediakan dashboard: antarmuka yang intuitif
  • Pembaruan progres secara real-time: menampilkan status progres riset secara langsung
  • Manajemen riwayat riset: dapat mengakses dan mengelola catatan riset sebelumnya
  • Ekspor laporan PDF: dapat mengunduh laporan riset sebagai PDF
  • Manajemen riset: dapat menghentikan atau menghapus riset yang sedang berlangsung

Opsi mesin pencari yang didukung

  • Auto: memilih mesin secara otomatis sesuai kueri
  • Wikipedia: cocok untuk pencarian informasi umum dan fakta
  • arXiv: cocok untuk pencarian makalah ilmiah dan akademik
  • PubMed: cocok untuk riset biomedis dan medis
  • DuckDuckGo: pencarian web umum yang berfokus pada privasi
  • The Guardian: pencarian berita dan jurnalisme (memerlukan API key)
  • SerpAPI: menyediakan hasil pencarian Google (memerlukan API key)
  • Google Programmable Search: pencarian kustom (memerlukan API key)

Bacaan terkait

4 komentar

 
zxshinxz 2025-03-13
  • Sebagai seseorang yang bekerja di bidang ilmu hayati, saya ingin membagikan hasil penggunaan singkat saya.

Mode research tersedia dalam 2 jenis.

  1. Quick summary
  • Waktu yang dibutuhkan sekitar 5~6 menit (berdasarkan 4070 ti super, 16GB, Mistral dan Gemma 3:12b)
  • Ada gejala halusinasi sehingga Reference dibuat sendiri, tetapi Ref yang ditautkan di dokumen tampaknya memiliki sumber yang jelas.
  • Ada kecenderungan untuk menjawab pertanyaan dengan fokus pada teknologi baru. Terutama mencoba mengaitkannya dengan AI.
  1. Detailed Report
  • Waktu yang dibutuhkan sekitar 1 jam (4070 ti super 16GB, Gemma 3:12b)
  • Ini seperti membuat satu paper ulasan. Namun, ada masalah jumlah Reference berkurang drastis. Meskipun isinya benar, tanpa dasar yang bisa ditunjukkan jadi perlu sedikit perbaikan. (Sepertinya proses iterasi dilakukan untuk meningkatkan kualitas tulisan, tetapi dalam proses ini Ref link tampaknya hilang.)
  • Namun, jelas memberikan konten dengan kualitas lebih tinggi daripada Quick summary.

Di file config, berbagai pengaturan bisa dilakukan. Database pencarian bisa dibatasi hanya ke PubMed sehingga kualitas materi dapat ditingkatkan lebih jauh. Kita juga bisa mengatur teks yang dicari sekaligus atau berapa banyak chunk yang akan dibuat saat menggunakan RAG.

Mengingat saat ini masih 0.01V, sangat mengejutkan bahwa mesin lokal bisa menghasilkan laporan sampai tingkat seperti ini. Khususnya di bidang ilmu hayati, chatbot sering menggunakan deskripsi yang digeneralisasi, tetapi laporan yang dibuat melalui program ini menggunakan deskripsi yang sangat ilmiah.

Program ini saat ini belum mendukung bahasa Korea. Bahkan jika pertanyaan diajukan dalam bahasa Korea, laporan tetap keluar dalam bahasa Inggris.
Selain itu, saat menerima jawaban sebagai file PDF melalui ekspor PDF, ada masalah bahwa bahasa Korea tidak muncul.

Saya rasa ini akan menjadi alat yang sangat kuat jika masalah Ref yang hilang di tengah pembuatan laporan dan masalah halusinasi bisa diselesaikan.
 
zxshinxz 2025-03-14

Setelah dipakai lebih lama, di Ollama sepertinya yang bekerja paling baik di antara berbagai model adalah Qwen2.5. Deepseek-r1 saat melakukan pencarian membuat kueri yang aneh sehingga mengambil konten rujukan yang keliru, dan model keluarga Gemma menganggap prompt yang dijadikan contoh sebagai prompt yang sebenarnya sehingga cenderung memaksakan memasukkan konten topik terkait tersebut.
 
GN⁺ 2025-03-12
Komentar Hacker News

  • Salut untuk upaya menghadirkan ruang yang lokal dan low-fi. Namun setelah membaca contoh di dokumen, hasilnya terasa agak membingungkan

    • Menurut saya perlu ada satu atau lebih tahap perantara. Misalnya, menggunakan graph database agar LLM bisa menyimpan informasi, memeriksa keterkaitan, dan mengajukan pertanyaan ke dirinya sendiri untuk menghasilkan laporan akhir
    • Laporan akhirnya bisa berupa file HTML interaktif yang dapat ditanyai atau diedit langsung oleh pengguna
    • Ada alat open deep research serupa bernama Onyx, dan UI/UX-nya tampak lebih baik. Penulis bisa mempertimbangkan untuk mem-porting alat itu ke lingkungan lokal
    • Bukan berarti proyek ini buruk, tetapi saya khawatir banyak proyek open deep research akan menghilang. Akan lebih baik jika orang-orang berkolaborasi dengan fokus pada bagian yang paling diminati

  • Proyek ini keren

    • Jika ingin menambahkan embedding dengan internet sebagai sumber, saya sarankan mencoba exa.ai. Ini mencakup Wikipedia, ribuan feed berita, Github, dan lebih dari 70 juta makalah
    • Catatan: saya salah satu pendirinya

  • Saya sudah mencobanya, tetapi banyak error terjadi sehingga saya tidak bisa menghasilkan laporan. Tidak ada cara untuk melanjutkan saat pembuatan gagal, jadi jika panggilan API gagal, harus mulai lagi dari awal

  • Untuk pencarian web, pertimbangkan juga API Kagi dan Tavily

  • Terlihat sangat keren. Saya penasaran bagaimana perbandingannya dengan fitur RAG di open-webui

    • Ada metode pencarian web dan embedding dokumen, tetapi hasilnya kurang memadai karena detail hilang di embedding. Saya penasaran apakah metode ini lebih baik

  • Saya penasaran apakah ada orang yang menggunakan LLM (lokal) untuk menelusuri langsung materi dalam kumpulan referensi tanpa bergantung pada pencarian vektor

  • Kerja bagus

    • Belakangan ini saya berpikir bahwa koleksi lokal yang telah diproses sebelumnya dengan informasi terstruktur yang dikurasi untuk RAG bisa menjadi pelengkap yang baik untuk pendekatan pencarian dinamis ini
    • Saya melihat Anda menggunakan LangChain, dan mungkin layak juga memeriksa txtai

  • Saya penasaran apakah ada alat yang bisa memberikan pengalaman pencarian AI dan mencampurkan isi bookmark untuk menghasilkan laporan. Saat ini bookmark saya praktis tidak berguna. Ini bisa membuatnya menjadi berguna

    • Mode kegagalan yang sering terjadi pada deep research OpenAI saat ini adalah mengambil jawaban dari sumber berotoritas rendah lalu memberikan referensi seolah-olah itu jurnal ilmiah. Sumber seperti ini hampir tidak pernah memuat sesuatu yang bernilai, dan meskipun sumber lain berkualitas tinggi, satu sumber berkualitas rendah bisa merusak semuanya
    • Menekankan konten yang sudah Anda kurasi sendiri (bookmark) bisa sangat meningkatkan signal-to-noise ratio (SNR)

  • Saya pikir orang yang membuat GUI seperti game 3D untuk LLM akan menjadi Jobs/Gates/Musk berikutnya sekaligus peraih Nobel. Ini akan memungkinkan jutaan orang melihat bagian dalam LLM dan menyelesaikan masalah alignment. Komputer baru menjadi populer setelah OS dengan GUI muncul, dan chatbot saat ini mirip command line. Saya memulai ASK HN untuk berbagi ide tentang keamanan AI
 
zhniee 2025-03-13

Saya tidak paham. Jangankan level akademik, ini bahkan tidak sampai level coding anak SD, jadi kenapa dibagikan...