AutoRAG: alat otomatis untuk menemukan pipeline RAG yang optimal

• AutoRAG secara otomatis mengoptimalkan RAG, seperti AutoML yang mengoptimalkan ML secara otomatis
• RAG (Retrieval-Augmented Generation), yang memungkinkan LLM menjawab pengetahuan yang tidak diketahuinya melalui pencarian di dalam ribuan dokumen (pdf, Word, dan lain-lain), sedang mendapat banyak perhatian.
• Menyusun pipeline RAG berperforma tinggi dari dokumen nyata adalah hal yang sulit.
• Kombinasi yang cocok untuk RAG berbeda-beda tergantung data dan tujuan, dan untuk menemukan kombinasi terbaik perlu mengulang banyak eksperimen serta evaluasi.
• Kombinasi pipeline RAG sangat beragam; hanya dari 12 modul yang saat ini didukung AutoRAG saja sudah menghasilkan 960 kombinasi.
  (model embedding dan bahasa tidak termasuk dalam kombinasi)
• AutoRAG secara otomatis mengoptimalkan RAG, seperti AutoML yang mengoptimalkan ML secara otomatis
• Dapat digunakan hanya dengan memodifikasi file YAML secara sederhana.
• RAG optimal yang ditemukan dapat langsung dijalankan sebagai server fastAPI untuk digunakan.

---

Saat mempelajari RAG, membuat berbagai pipeline, dan menguji performanya, kesulitan terbesar yang saya rasakan adalah “mengoptimalkan untuk setiap data”.
Di dunia akademik, modul atau pipeline RAG baru diajukan setiap hari, tetapi setelah susah payah dibawa dan diterapkan ke data nyata, sering kali performanya sama sekali tidak meningkat. Selain itu, proses membangun dataset evaluasi dari dokumen seperti pdf, lalu bereksperimen dan mengevaluasi dengan berbagai modul, terasa merepotkan dan berat.

Karena kami memperkirakan sebagian besar tim pengembang RAG mengalami kesulitan yang sama, tim kami membuat AutoRAG sebagai open source. Jika Anda melihat GitHub dan Docs kami lalu mengikutinya, Anda akan bisa menggunakannya dengan mudah.

Baik bagi yang sudah lama serius membangun RAG maupun yang baru mulai mengenal RAG, semuanya dapat menggunakannya dengan puas!