- Ini adalah terjemahan ringkas dari Effective context engineering for AI agents yang dipublikasikan oleh Anthropic pada 29 September. Dalam tulisan blog ini, gambar dan tautan dari artikel asli dipertahankan sebanyak mungkin.
Rekayasa prompt vs rekayasa konteks
- Rekayasa prompt berfokus pada bagaimana membuat kueri tunggal bekerja lebih baik.
- Rekayasa konteks (terutama untuk agen) berfokus pada mengurasi hanya konteks yang benar-benar diperlukan dari berbagai konteks yang tersedia.
Mengapa rekayasa konteks penting dalam membangun agen
- Agen saat ini dikembangkan agar dapat menggunakan 'lebih lama, dengan lebih banyak tool'.
- Akibatnya, konteks hampir pasti menjadi lebih panjang, tetapi LLM, mirip seperti manusia, cenderung kehilangan fokus ketika konteks dipenuhi terlalu banyak data sehingga makin sulit mengambil informasi yang diinginkan.
- Karena itu, mengendalikan konteks secara efektif menjadi sangat penting dalam pengembangan agen.
Anatomi konteks yang efektif
Rekayasa konteks yang baik berarti menemukan sekumpulan token bersinyal tinggi sekecil mungkin yang memaksimalkan kemungkinan hasil yang diinginkan.
> Smallest possible set of high-signal tokens that maximize the likelihood of some desired outcome
1) Prompt sistem
- Prompt sistem harus ditulis dengan bahasa yang sangat jelas, sederhana, dan langsung, pada tingkat yang tepat. Jika terlalu spesifik, ia tidak akan mampu menangani beragam kasus; jika terlalu abstrak, LLM harus menebak terlalu banyak hal.
- Mulailah dengan deskripsi minimum tentang perilaku yang diharapkan, lalu tingkatkan secara bertahap dengan menambahkan instruksi dan contoh yang jelas hanya untuk kasus-kasus di mana frontier model gagal.
- Pisahkan bagian-bagian menggunakan teknik seperti XML atau Markdown, tetapi tidak perlu terlalu terpaku pada sintaks yang sangat ketat.
2) Tools
- Tools harus mengembalikan informasi secara efisien dari sisi token, sekaligus mendorong agen bekerja secara efisien dari sisi token juga. Bentuknya harus mudah dipahami oleh LLM, dan tumpang tindih fungsi antar-tool harus seminimal mungkin.
- Kesalahan yang paling umum adalah satu tool mencakup terlalu banyak fungsi, atau muncul situasi di mana LLM sulit menentukan tool mana yang harus dipakai. Jika insinyur manusia saja sulit memutuskan kapan harus memakai apa, maka itu juga akan sulit bagi agen AI.
- Few-shot prompting dengan memberikan contoh hampir selalu sangat direkomendasikan. Namun, memasukkan terlalu banyak edge case justru mengurangi generalitas. Sertakan beragam contoh yang menunjukkan perilaku yang diharapkan dan dipilih dengan cermat.
Pengambilan konteks dan pencarian agentic
- Agen adalah entitas yang menjalankan tool secara otonom dalam sebuah loop untuk mencapai tujuan. Semakin kuat modelnya, semakin banyak otoritas (otonomi) yang dapat diberikan kepada agen.
- Seiring pendekatan agentic berkembang, strategi yang semakin sering terlihat adalah memberikan konteks secara JIT (Just in Time). Claude Code menggunakan ini dengan sangat baik. Misalnya, ia melihat path file dan tautan di dalam prompt lalu mengambilnya saat itu juga.
- Agar konteks yang baik bisa dipanggil secara JIT, informasi harus disimpan dengan struktur yang baik sejak awal. Ini juga mencakup bagaimana menyimpan metadata yang membantu pengambilan. Struktur folder, konvensi penamaan, timestamp, dan sinyal lain yang penting serta bermakna bagi manusia juga sangat membantu agen dalam memanfaatkan informasi.
Rekayasa konteks untuk tugas jangka panjang (long-horizon tasks)
Tugas yang memakan waktu lama umumnya dengan mudah melampaui context window LLM. Karena itu, menjadi sangat penting untuk merancang bagaimana agen dapat mempertahankan konteks yang baik sambil terus bergerak menuju pencapaian tujuan.
Secara umum ada tiga teknik besar yang dapat digunakan tergantung karakteristik tugas.
- Kompresi cocok untuk mempertahankan alur percakapan dalam tugas yang membutuhkan komunikasi dua arah yang luas.
- Pencatatan terstruktur cocok untuk mengembangkan tugas dengan milestone yang jelas melalui iterasi berulang.
- Arsitektur subagen cocok untuk menangani riset dan analisis kompleks di mana eksplorasi paralel efektif.
1) Kompresi
- Saat mendekati batas context window, konten penting diringkas lalu diteruskan ke window baru. Di Claude Code, ini dilakukan dengan meneruskan riwayat pesan untuk diringkas. Misalnya keputusan arsitektur, bug yang belum terselesaikan, detail implementasi, dan sebagainya.
- Inti dari kompresi pada akhirnya adalah menentukan apa yang dipertahankan dan apa yang dibuang. Hal yang paling mudah dibuang adalah pemanggilan tool dan hasilnya. Jika sudah masuk ke riwayat pesan, hampir tidak perlu menyimpannya lagi.
- Dengan memory tool yang diperkenalkan mulai Sonnet 4.5, Context Editing menjadi memungkinkan: https://www.anthropic.com/news/context-management
2) Pencatatan terstruktur
- Ini juga disebut memori agentic. Teknik ini secara berkala meninggalkan catatan di luar context window (yakni di file system) lalu mengambilnya kembali nanti.
- Demikian pula, mulai Sonnet 4.5, penggunaan memory tool membuat teknik ini lebih mudah diterapkan.
3) Arsitektur subagen
- Agen utama merencanakan dan mengoordinasikan dari gambaran besar, sementara subagen menangani pekerjaan teknis yang mendalam atau menggunakan tool untuk mencari informasi yang relevan.
- Lihat tulisan tentang bagaimana sistem riset multi-agen dibangun.
Kesimpulan
- Seiring model menjadi semakin kuat, tantangan penting kini bukan lagi sekadar membuat prompt yang baik, tetapi juga menyeleksi informasi mana yang akan masuk ke dalam 'anggaran perhatian' pada setiap tahap.
- Baik saat mengimplementasikan kompresi untuk tugas jangka panjang, merancang tool yang efisien secara token, maupun memungkinkan agen menjelajahi lingkungan pada saat yang tepat, prinsip panduannya tetap sama: menemukan sekumpulan token bersinyal tinggi terkecil yang memaksimalkan kemungkinan hasil yang diinginkan.
- Teknik-teknik dalam tulisan ini akan terus berkembang seiring peningkatan model dan pergerakan menuju otonomi yang lebih tinggi, tetapi sudut pandang bahwa 'konteks adalah sumber daya yang berharga dan terbatas' akan tetap menjadi inti dalam membangun agen yang andal dan efektif.
- Untuk pembahasan lebih lanjut, silakan merujuk ke cookbook memori dan manajemen konteks.
Belum ada komentar.