RLama - DocumentAI open source yang memanfaatkan Ollama

• Alat tanya jawab berbasis AI untuk dokumen yang digunakan dengan terhubung ke model Ollama lokal
• Dapat membuat, mengelola, dan berinteraksi dengan sistem RAG (Retrieval-Augmented Generation) sesuai kebutuhan dokumentasi
• Tersedia untuk macOS, Linux, dan Windows
• Pengindeksan folder dokumen: Dapat mengindeks folder dokumen untuk pencarian dan kueri yang cerdas, serta mendukung berbagai format dokumen seperti teks, kode, PDF, dan DOCX
• Pemrosesan lokal: Menggunakan model Ollama untuk memproses semua data secara lokal, sehingga data tidak bocor ke luar
• Sesi RAG interaktif: Dapat membuat sesi interaktif untuk mengueri basis pengetahuan dokumen
• Kemudahan pengelolaan : Menyediakan perintah sederhana untuk membuat, menampilkan daftar, dan menghapus sistem RAG
• Ramah pengembang: Dirancang dengan bahasa Go untuk pengembang dan pengguna teknis

[GN⁺]

Komentar Hacker News

• Sistem ini mengirim seluruh dokumen ke Ollama untuk permintaan embedding tanpa membaginya menjadi chunk. Karena itu, ini hanya berguna ketika dokumennya kecil

  • Model embedding bge-m3 memiliki panjang sekuens 8192 token. rlama mencoba meng-embedding seluruh buku, tetapi Ollama hanya bisa memasukkan beberapa halaman pertama ke dalam permintaan embedding
  • Saat pencarian, yang diambil adalah seluruh dokumen alih-alih bagian yang relevan, lalu dipotong hingga 1000 karakter. Akibatnya, meskipun kata "Buddha" muncul 44.121 kali dalam dokumen, model tetap menjawab "tidak ada penyebutan langsung tentang Buddha"
  • Solusi yang lebih baik adalah membagi dokumen menjadi chunk yang sesuai dengan konteks model embedding, lalu mengambil chunk tersebut bersama metadata-nya

• Disarankan untuk menampilkan hasil pencarian kepada pengguna. Bahkan mesin pencari vektor saja sudah sangat berguna

  • Ubah prompt agar memberikan referensi (misalnya berdasarkan metadata chunk seperti nomor halaman)

• Pujian untuk proyek ini, beserta beberapa catatan singkat

  • Hal-hal utama yang dikhawatirkan untuk aplikasi yang menggunakan file system
    • Siapa yang bisa membacanya, dan apakah aplikasi membagikan data
    • Perlu hard block yang memutus akses internet. Apakah rlama masih tetap berfungsi dengan baik
    • Apakah aplikasi bisa mengubah/menghapus file
    • Sebaiknya hanya mengizinkan izin baca, bukan akses ke seluruh file system

• Catatan kode: agak mengejutkan bahwa .ts (typescript) tidak ada di daftar

• Situs web-nya sangat rapi. Penasaran apakah dibuat dari nol atau berbasis template

• Sangat mudah membuat RAG sendiri. Ollama punya tutorial quick start. Prosesnya bisa disesuaikan dengan kebutuhan

• Skeptis soal kegunaan alat seperti ini. Karena masalah halusinasi, saya penasaran seberapa bisa diandalkan dan seberapa baik ia mengutip sumber

  • Mendapatkan data yang akurat adalah yang paling penting. Saya kadang memakai alat AI untuk coding, tetapi untuk penggunaan lain saya tidak yakin dengan hasilnya

• Tidak ada informasi tentang arsitektur/tech stack proyek ini. Tidak ada juga di github readme maupun situs web-nya

  • Saya suka karena ini ditulis dalam Go dan cukup kecil untuk dibaca sekilas saat akhir pekan. Namun saya pernah membuang waktu pada alat-alat ekosistem llm, jadi saya ragu menjelajahi kodenya tanpa melihat informasi dasar terlebih dahulu
  • Jika ada gambaran tingkat tinggi tentang arsitektur proyek, lebih banyak orang kemungkinan akan mengadopsi alat ini

• Sebagai sejarawan amatir, saya memindai dokumen dari arsip dan menyimpannya sebagai file JPG. Saya penasaran apa cara terbaik untuk memahami kumpulan pengetahuan ini

  • Saat ini saya sedang merakit solusi sendiri dengan Gemini, tetapi saya tidak yakin apakah ada cara untuk menyelesaikannya tanpa membangun sistem RAG dari nol

• Penasaran apakah ini bisa bekerja dengan llama.cpp, engine di balik Ollama

  • Biasanya saya membangun llama.cpp dari source dan mengunduh model terkuantisasi dari Huggingface. Saya belum pernah memakai Ollama

• Akan bagus jika ada antarmuka API sehingga bisa diintegrasikan ke sistem lain

• Proyek yang keren. Penasaran dirilis dengan lisensi apa. Itu tidak didokumentasikan

• Penasaran dengan performa RAG-nya. Hanya melempar vector database saja tidak membuatnya berguna