OneRAG - Sumber RAG buatan PM chatbot, dengan penggantian vector DB/LLM dan lainnya hanya lewat satu baris konfigurasi
(github.com/notadev-iamaura)Sebagai non-developer, saya beberapa kali mengerjakan produk terkait chatbot, dan pada suatu titik saya ingin mencoba membuat produk sesuai yang saya bayangkan sendiri.
Karena itu saya mulai mengembangkan chatbot di Kmong.
Belakangan ini ada banyak proyek Kmong dari non-developer, dan saya juga berhasil menghasilkan sekitar 14 juta won selama 5 bulan sejak September tahun lalu hanya dengan satu andalan, yaitu chatbot RAG.
Kebutuhan para klien pada dasarnya mirip-mirip, dan karena merepotkan harus memodifikasi kode untuk menyesuaikan sedikit perbedaan pada pipeline RAG, penggunaan vector DB, dan sebagainya, saya pun membuat OneRAG.
Ide inti: cukup ubah satu baris di file konfigurasi, komponen apa pun bisa diganti
Komponen yang didukung:
- Vector DB: Weaviate, Chroma, Pinecone, Qdrant, pgvector, MongoDB
- LLM: Gemini, OpenAI, Claude, OpenRouter
- Reranker: Jina, Cohere, Google, OpenAI, Local
- Cache: Memory, Redis, Semantic
- Extra: GraphRAG, PII Mask, Agent
Quickstart 5 menit:
git clone https://github.com/notadev-iamaura/OneRAG
cd OneRAG && make quickstart
Berbasis FastAPI, menyertakan Docker Compose, dan mendukung NLP bahasa Korea secara bawaan.
(Saya telah bekerja di bidang layanan AI Korea)
Lisensi MIT. Saya akan sangat berterima kasih jika Anda bisa memberi masukan soal arsitektur atau saran komponen apa yang sebaiknya ditambahkan.
8 komentar
Belakangan ini saya juga samar-samar merasa layanan seperti ini memang dibutuhkan. Saya penasaran, apakah Anda juga berencana menambahkan model Tiongkok seperti GLM dari zhipu atau kimi?
Terima kasih atas masukannya!
Saat ini pun pemanggilan model sudah bisa dilakukan berbasis OpenRouter, jadi jika Anda menggunakan konfigurasi pemanggilan berbasis OpenRouter, model yang Anda sebutkan bisa dipanggil hanya dengan mengganti nama modelnya.
Jika yang Anda maksud adalah struktur agar model tersebut berjalan secara lokal, kami ingin menambahkannya melalui pembaruan di masa mendatang.
Namun, waktunya kemungkinan setelah model itu terlihat sudah berada pada tingkat yang layak digunakan untuk RAG berbahasa Korea.
Sebelum itu, kami berencana menambahkan pipeline yang lebih sederhana agar mereka yang baru pertama kali mencoba RAG bisa bereksperimen dengan mudah.
Misalnya, kami sedang mempertimbangkan fitur agar RAG bisa dilakukan dengan lebih sederhana dan dengan pengaturan yang lebih sedikit menggunakan Grok Collections API :)
Terima kasih atas jawabannya. Yang Anda maksud dengan OpenRouter apakah layanan https://openrouter.ai/ ini? Soal bagian bahwa ini adalah model yang cukup layak untuk digunakan pada RAG berbahasa Korea, saya memang tidak terlalu paham, tetapi dalam pengalaman saya, GLM 4.7 secara konsisten memberikan jawaban bahasa Korea yang lebih baik untuk prompt yang saya inginkan dibanding sonnet 4.5, jadi tingkat kepercayaan saya sedikit meningkat. Karena itu, sepertinya layak juga untuk Anda perhatikan dengan minat.
Ya, benar! Berdasarkan API OpenRouter di tautan tersebut, penggantian model cukup mudah.
(Namun, ada biaya tambahan sekitar 5% pada biaya pengisian, jadi nyaman digunakan untuk proyek mainan)
Saya juga akan mengecek performa GLM4.7 sambil benar-benar menggunakannya, lalu merencanakan agar bisa diterapkan :)
Aplikasi webnya bisa dibuat cantik, dan sepertinya cocok dipakai sebagai backend untuk chatbot.
Ya, untuk proyek pribadi sepertinya lumayan oke kalau dipakai dengan frontend yang dibuat rapi :)
Terima kasih sudah membagikannya!
Ya! Semoga ini bisa sedikit membantu saat menguji produk RAG dengan mudah!