Status teknologi Retrieval-Augmented Generation (RAG) untuk model bahasa skala besar

PyTorchKR

• Seiring popularitas LLM, minat terhadap RAG juga semakin meningkat. Komunitas pengguna PyTorch Korea telah merangkum makalah survei tentang teknologi RAG yang diperkenalkan dalam makalah ML utama minggu 18/12~24/12 lalu.

• Karena isinya cukup panjang, materi ini diposting dalam 2 artikel. Bagian 1 membahas paradigma teknologi RAG, sedangkan Bagian 2 merangkum komponen utama, evaluasi, dan tugas penelitian ke depan.

Di bawah ini hanya kutipan poin-poin utama yang berfokus pada daftar isi

---

Pengenalan teknologi Retrieval-Augmented Generation (RAG)

Model bahasa skala besar (LLM) menunjukkan kemampuan yang sangat baik, tetapi untuk penggunaan nyata masih perlu mengatasi masalah seperti halusinasi, pembaruan pengetahuan yang lambat, dan kurangnya transparansi jawaban. RAG (Retrieval-Augmented Generation) adalah teknologi yang diusulkan untuk mengatasi masalah-masalah tersebut.

RAG adalah metode pada model bahasa skala besar (LLM) yang terlebih dahulu mencari informasi relevan dari kumpulan dokumen yang luas sebelum menghasilkan jawaban atas pertanyaan atau membuat teks, lalu menggunakan informasi tersebut untuk menghasilkan respons. Pendekatan ini berfokus pada penyelesaian masalah klasik LLM seperti pengetahuan yang sudah usang, kurangnya pengetahuan pada domain tertentu, dan kurangnya transparansi dalam respons.

RAG dapat sangat meningkatkan akurasi jawaban dan khususnya membantu mengurangi halusinasi model pada tugas yang padat pengetahuan. Pengguna dapat memverifikasi ketepatan jawaban dengan mengutip sumber, sehingga meningkatkan kepercayaan terhadap keluaran model. Selain itu, pendekatan ini juga memudahkan pembaruan pengetahuan dan penerapan pengetahuan khusus bidang tertentu.

Selain RAG, fine-tuning juga dapat digunakan agar model bahasa skala besar berfokus pada pengetahuan tertentu. Namun, fine-tuning semacam ini membutuhkan waktu untuk mencerminkan informasi yang diperbarui secara real-time, dan pelatihan ulang model juga memerlukan sumber daya tambahan. Sebaliknya, RAG mirip dengan memberikan sebuah 'buku referensi' kepada LLM agar dapat mencari informasi untuk kueri tertentu.

Tiga paradigma utama RAG - Ikhtisar

Paradigma penelitian teknologi RAG terus berkembang seiring waktu. Tiga paradigma utamanya adalah RAG dasar, RAG lanjutan, dan RAG modular. RAG dasar pada masa awal bersifat hemat biaya dan memberikan performa lebih baik dibanding hanya menggunakan LLM saja, tetapi memiliki banyak kekurangan. Kemunculan RAG lanjutan dan RAG modular bertujuan untuk mengatasi cacat tertentu pada RAG dasar.

Tiga paradigma utama RAG - RAG dasar (Naive RAG)

RAG dasar mengacu pada metodologi awal dalam penelitian RAG, yang mencakup proses pengindeksan, pencarian, dan generasi tradisional. RAG dasar terutama berfokus pada metode pencarian dan generasi yang sederhana, dan penting untuk menjelaskan konsep serta prinsip dasar RAG.

Namun, masalah seperti akurasi pencarian yang rendah, kualitas generasi respons yang buruk, dan kesulitan dalam proses augmentasi dapat menimbulkan pengulangan yang tidak perlu, informasi yang tidak akurat, dan integrasi konteks yang keliru. Karena itu, penggunaan RAG dasar mungkin tidak cocok untuk skenario yang kompleks atau menantang.

Tiga paradigma utama RAG - RAG lanjutan (Advanced RAG)

RAG lanjutan adalah paradigma yang dikembangkan untuk memperbaiki kekurangan RAG dasar. Ini terutama mencakup metode pra-pencarian dan pasca-pencarian untuk meningkatkan kualitas pencarian dan generasi. Secara umum, RAG lanjutan dapat dibagi menjadi tiga tahap: proses pra-pencarian (Pre-Retrieval Process), proses pasca-pencarian (Post-Retrieval Process), dan optimasi pipeline RAG (RAG Pipeline Optimization):

Tiga paradigma utama RAG - RAG modular (Modular RAG)

RAG modular merupakan bentuk pengembangan dari RAG lanjutan, yang melangkah lebih jauh dari kerangka kerja RAG yang ada dengan mengintegrasikan beragam modul dan fungsi untuk memberikan keragaman serta fleksibilitas yang lebih besar. Pendekatan ini mencakup berbagai modul dan pola baru yang memungkinkan sistem RAG disesuaikan dengan beragam skenario dan kebutuhan.

Komponen utama teknologi RAG: retriever

Retriever adalah komponen penting dalam sistem, sampai-sampai mewakili huruf R di akronim RAG, karena berperan dalam menemukan informasi. Retriever bertugas mencari informasi relevan dari himpunan data berskala besar dan menyiapkan data untuk generasi teks​​. Retriever digunakan untuk menjembatani kesenjangan antara pengetahuan umum LLM dan kebutuhan akan informasi yang aktual serta tepat secara kontekstual. Hal ini sangat penting terutama dalam skenario yang membutuhkan data real-time, keahlian domain tertentu, atau verifikasi fakta​​.

Komponen utama teknologi RAG: generator

Jika peran retriever yang dibahas sebelumnya adalah mengekstrak dokumen kandidat dari input pengguna, maka peran generator adalah menghasilkan jawaban yang akan diberikan kepada pengguna dengan memanfaatkan hasil pencarian tersebut. Untuk menghasilkan jawaban yang akurat dan relevan dengan memanfaatkan informasi yang diambil secara efektif, dilakukan proses pascapemrosesan untuk memampatkan informasi dan menyusun ulang peringkat, serta proses optimasi untuk menyesuaikan diri dengan data input.

Komponen utama teknologi RAG: metode augmentasi (Augmentation Methods)

Dalam bab ini, metode augmentasi dalam RAG akan ditinjau dari tiga aspek berikut.

• tahap augmentasi (the stage of augmentation)
• augmentasi sumber data (augmentation data sources)
• proses augmentasi (the process of augmentation)

Evaluasi RAG (RAG Evaluation)

Evaluasi RAG adalah penilaian terhadap seberapa efektif RAG bekerja. Secara umum evaluasi dibagi menjadi dua jenis besar: evaluasi independen (independent evaluation) untuk masing-masing modul seperti retriever atau generator, dan evaluasi end-to-end (end-to-end evaluation; evaluasi ujung ke ujung) yang menilai seluruh proses dari input hingga output. Artikel ini membahas masing-masing metode evaluasi, metrik yang digunakan, serta framework yang dapat dipakai.

Prospek masa depan RAG (Future Prospects)

Bagian ini membahas optimasi vertikal dan ekspansi horizontal RAG, serta ekosistem RAG.

---

⚠️Iklan: Apakah artikel yang dirangkum oleh Komunitas pengguna PyTorch Korea ini bermanfaat bagi Anda? Jika Anda mendaftar sebagai anggota, kami akan mengirimkan artikel-artikel utama melalui email! (Pengaturan default adalah Weekly, tetapi Anda juga dapat mengubahnya ke Daily.)

[959ma]

Terima kasih telah membagikan materi yang bagus.

[ninebow]

Ah, terima kasih sudah membacanya!
Kalau saat membaca Anda menemukan bagian yang terasa janggal atau keliru, mohon beri tahu saya. ^^;