Cara Mengatasi Masalah Konteks Panjang

• Saat menggunakan konteks panjang, ada berbagai isu pengelolaan informasi yang umum terjadi, seperti polusi konteks, kebingungan, konflik, dan distraksi
• Pengelolaan informasi adalah kuncinya, dan informasi yang salah secara langsung berdampak buruk pada kualitas hasil
• Sebagai solusi utama, taktik seperti RAG, Tool Loadout, Context Quarantine, Pruning, Summarization, Offloading terbukti efektif
• Perlu diperhatikan bahwa meskipun context window LLM terbaru besar, penyalahgunaan informasi yang tidak perlu tetap menimbulkan masalah nyata
• Masing-masing taktik sangat membantu perancang agen dalam mengelola konteks secara sistematis serta meningkatkan efisiensi dan akurasi

---

Masalah yang Terjadi pada Konteks Panjang dan Ringkasannya

Saat menggunakan konteks panjang, berikut adalah jenis kegagalan utama yang dapat muncul dalam sistem

• Polusi konteks: masalah ketika halusinasi (hallucination) atau kesalahan masuk ke dalam konteks dan terus dirujuk berulang kali
• Distraksi konteks: fenomena ketika konteks menjadi terlalu panjang sehingga model lebih berfokus pada konteks itu sendiri daripada pada pengetahuan yang dipelajarinya
• Kebingungan konteks: situasi ketika informasi yang tidak perlu ditambahkan sehingga menghasilkan respons berkualitas rendah
• Konflik konteks: ketika informasi atau tool yang baru ditambahkan bertentangan dengan informasi yang sudah ada

Semua masalah ini berasal dari pengelolaan informasi; seperti pepatah dalam pemrograman, “Garbage in, garbage out”, kualitas input sangat memengaruhi hasil.
Untungnya, berbagai taktik dapat secara efektif meredakan atau mencegah isu-isu di atas

Taktik Utama Pengelolaan Konteks

---

RAG (Retrieval-Augmented Generation)

• RAG adalah pendekatan yang memilih hanya informasi yang diperlukan lalu memberikannya ke LLM untuk meningkatkan kualitas respons
• Seiring membesarnya context window LLM, banyak upaya untuk “memasukkan semua informasi”, tetapi informasi yang tidak perlu justru merusak hasil
• RAG sampai sekarang tetap digunakan sebagai teknologi yang sangat penting

Tool Loadout (pemilihan susunan tool)

• Metode menyisipkan hanya tool yang diperlukan secara selektif ke dalam konteks
• Deskripsi tool dikelola dalam vector DB, lalu RAG digunakan per prompt untuk memilih tool yang paling sesuai
• Mulai dari lebih dari 30 tool, kebingungan muncul akibat deskripsi yang saling tumpang tindih, dan jika melebihi 100 tool, performa model menurun tajam
• Dalam paper “Less is More”, Llama 3.1 8b gagal saat diberi 46 tool, tetapi berhasil saat hanya diberi 19 tool
• Dengan menggunakan recommender berbasis LLM agar tool yang diperlukan bisa dipilih secara dinamis, performa, kecepatan, dan efisiensi daya semuanya meningkat

Context Quarantine (karantina konteks)

• Metode mengelola konteks secara terpisah di thread yang berbeda
• Masalah seperti riset atau eksplorasi dipecah menjadi beberapa bagian, lalu masing-masing ditangani oleh agen (Agent) yang terpisah
• Dalam sistem multi-agent milik Anthropic, setiap subagen menggunakan context window yang independen untuk meningkatkan efisiensi dan presisi
• Desain ini menunjukkan keunggulan yang sangat jelas terutama untuk tugas yang harus dieksplorasi ke banyak arah secara bersamaan

Context Pruning (pemangkasan konteks)

• Metode terus menyaring informasi yang tidak perlu atau yang sudah usang
• Di bidang NLP, berbagai teknik pruning telah lama digunakan
• Belakangan ini muncul model khusus “pembersihan” konteks yang ringan dan cepat seperti Provence (1.75GB, mampu mengompresi 95% dokumen)
• Jika konteks dikelola dalam bentuk terstruktur seperti dictionary, pemangkasan dan peringkasan (kompresi) menjadi lebih mudah

Context Summarization (peringkasan konteks)

• Pendekatan mengompresi dan merangkum keseluruhan konteks saat panjangnya bertambah
• Tidak hanya berguna untuk menjaga agar tidak melewati batas jendela, tetapi juga efektif mencegah pengulangan yang tidak perlu atau distraksi
• Pada tahap kompresi, penting untuk mendefinisikan informasi mana yang harus dipertahankan
• Melalui tahap peringkasan terpisah yang didukung LLM, data evaluasi dapat dikumpulkan dan ditingkatkan

Context Offloading (offload konteks)

• Strategi membuat ruang memori di luar konteks untuk menyimpan catatan
• Sebagai contoh, tool “think” dari Anthropic menyediakan scratchpad terpisah untuk mendorong LLM menyimpan catatan perantara yang diperlukan
• Ini berguna untuk analisis output tool, verifikasi kebijakan, pengambilan keputusan berurutan, dan sebagainya
• Dengan menyimpan hasil antara secara terpisah, konteks dapat dicegah dari polusi atau kompleksitas yang tidak perlu
• Peningkatan performa dan akurasi juga telah dikonfirmasi, dalam beberapa kasus mencapai 54%

Kesimpulan dan Hal yang Perlu Diperhatikan Saat Mendesain Agen

• Pengelolaan konteks adalah bagian paling sulit dalam desain agen
• Saat memprogram LLM, cara menggabungkan dan mengelola informasi, tool, serta konteks sangat menentukan keberhasilan
• Sebesar apa pun context window, tidak semua informasi akan membantu.
• Perlu memeriksa apakah tiap elemen benar-benar memberi manfaat, dan mengelola konteks secara aktif dengan 6 metode yang diperkenalkan di atas (RAG, Tool Loadout, Context Quarantine, Pruning, Summarization, Offloading)