Ringkasan Rekursif Memungkinkan Memori Percakapan Jangka Panjang pada LLM

• Makalah tentang metode baru untuk meningkatkan kemampuan memori jangka panjang pada model bahasa besar (LLM) yang digunakan dalam sistem percakapan terbuka
• Masalah penting pada sistem percakapan terbuka yang melupakan informasi penting dalam percakapan jangka panjang
• Solusi yang ada biasanya melatih retriever atau peringkas khusus untuk memperoleh informasi inti dari isi percakapan, tetapi ini memakan banyak waktu dan sangat bergantung pada kualitas data berlabel
• Metode yang diusulkan berupaya meredakan masalah ini dengan menghasilkan ringkasan atau memori secara rekursif menggunakan LLM
• Metode ini mula-mula membuat LLM mengingat konteks percakapan kecil, lalu secara rekursif menghasilkan memori baru menggunakan memori sebelumnya dan konteks berikutnya
• Dengan bantuan memori terbaru, LLM dapat menghasilkan respons yang sangat konsisten
• Metode ini dievaluasi menggunakan ChatGPT dan text-davinci-003, dan hasil eksperimen pada dataset publik yang banyak digunakan menunjukkan bahwa metode ini dapat menghasilkan respons yang lebih konsisten dalam percakapan berkonteks panjang
• Metode ini merupakan solusi potensial yang memungkinkan LLM memodelkan konteks yang sangat panjang
• Kode dan skrip untuk metode ini dijadwalkan akan dirilis di masa mendatang
• Penelitian ini didukung oleh Simons Foundation, institusi anggota, dan semua kontributor

[GN⁺]

Komentar Hacker News

• CodeRabbit menggunakan pendekatan yang mirip dengan yang dibahas dalam artikel untuk peninjauan PR, dengan membuat ringkasan dari ringkasan untuk setiap commit dan memperbaruinya secara bertahap saat commit tambahan dibuat.
• Beberapa pengguna menyatakan keraguan tentang efektivitas membangun memori di "ruang teks", dan mengusulkan bahwa memori akan lebih baik disimpan dalam ruang embedding padat yang dapat mempertahankan makna secara utuh.
• Ada tuntutan akan transparansi dan reproduksibilitas dalam riset, dan beberapa pengguna tidak mempercayai klaim tersebut tanpa akses ke kode dan skrip yang digunakan dalam eksperimen.
• Penggunaan ringkasan rekursif telah berhasil diterapkan di lingkungan kerja, dengan merangkum ribuan "briefing" menjadi teks lima paragraf dan mengklasifikasikan setiap briefing berdasarkan topik dan subtopik.
• Beberapa pengguna mengalami masalah terkait ringkasan rekursif, misalnya bit tertentu bertahan di semua putaran ringkasan sehingga model terjebak pada topik tertentu.
• Ada kritik terhadap kurangnya detail dalam makalah, dan beberapa pengguna menganggapnya mengecewakan serta tidak terlalu bernilai bagi pengembang LLM.
• Beberapa pengguna mempertanyakan kebaruan teknik ini, dengan berargumen bahwa peringkasan memori riwayat chat berbasis LLM sudah merupakan teknik yang mapan, dan bahwa meringkas setiap pesan seperti yang diusulkan dalam makalah merupakan hambatan kinerja utama.
• Muncul pertanyaan tentang implementasi yang menambahkan teks memori dari makalah sebagai bagian dari prompt, serta usulan untuk sistem penyimpanan/pengambilan yang tidak menghabiskan token context window.
• Teknik yang dibahas dalam makalah dibandingkan dengan fitur memori "summary" milik Langchain, yang dilaporkan sudah ada sejak Maret 2023.