Proyek kode evaluasi model RAG yang ringan dan efisien
(github.com/instructkr)Retriever Simple Benchmark dibuat dengan tujuan menjadi proyek benchmark yang ringan dan efisien yang dirancang untuk mengevaluasi reranker yang dibutuhkan untuk RAG.
Saya membuatnya karena saya membutuhkannya, dan mengembangkannya sebagai open source.
Why?
Banyak umpan balik mengatakan bahwa alat benchmark yang sudah ada (misalnya MTEB) sulit digunakan karena pemasangan dependensi dan cara kerjanya merepotkan.
Tujuannya adalah agar dapat dijalankan dengan sangat mudah, dengan dependensi minimal, secara ringan, dan langsung menampilkan hasil seketika.
Pengenalan repositori
- Saat ini mendukung cross-encoder berbasis bahasa Korea, dan model bi-encoder juga akan ditambahkan ke depannya.
- Agar proyek Python dapat dipelihara dengan baik, proyek ini ditulis ulang menggunakan astral-uv.
Cara penggunaan 💻
1️⃣ Pengaturan lingkungan
make init
2️⃣ Menjalankan (saat ini hanya mendukung single GPU)
make run TYPE=cross-encoder MODEL_NAME=sigridjineth/ko-reranker-v1.1 MODEL_CLASS=huggingface DATATYPE_NAME=AutoRAG
Rencana ke depan 📈
-
Model dukungan tambahan
- Model bi-encoder berbasis HuggingFace dan FlagEmbedding
-
Dataset tambahan
- Saat ini mendukung AutoRAG, KURE akan ditambahkan
Belum ada komentar.