- Panduan praktis untuk tim produk dan engineering yang baru pertama kali mengembangkan agen (agent) berbasis LLM
- Agen adalah sistem yang, tidak seperti sistem otomasi konvensional, dapat menilai dan mengambil tindakan sendiri bahkan dalam situasi yang kompleks dan ambigu
- Menjelaskan berbagai pola desain mulai dari sistem agen tunggal hingga orkestrasi multi-agen
- Menekankan penetapan guardrail dan strategi intervensi manusia (human intervention) demi keandalan dan keamanan
- Merekomendasikan pendekatan memulai dari cakupan kecil lalu memperluasnya secara bertahap berdasarkan umpan balik pengguna
Apa itu agen
- Agen adalah sistem yang menjalankan tugas atas nama pengguna
- Model yang hanya memberi satu respons, seperti chatbot sederhana atau penganalisis sentimen, tidak termasuk agen
- Agen memiliki dua fungsi inti berikut
- Pengelolaan eksekusi workflow dan pengambilan keputusan: menilai apakah tugas telah selesai, memperbaiki error, dan mengembalikan kendali kepada pengguna saat terjadi kegagalan
- Penggunaan alat (tool): berinteraksi dengan sistem eksternal untuk mengumpulkan data atau melakukan tindakan
Kapan sebaiknya membangun agen
- Cocok untuk area di mana pendekatan otomasi tradisional gagal atau sulit dipelihara
- Contoh kasus yang sesuai
- Pengambilan keputusan kompleks: saat dibutuhkan penilaian yang cermat, seperti persetujuan refund pelanggan
- Sistem berbasis aturan yang sulit dipelihara: saat aturannya kompleks, seperti otomasi review keamanan
- Pemrosesan data tidak terstruktur: saat dibutuhkan analisis dokumen dan pemahaman bahasa alami
Elemen dasar desain agen
- Model: LLM yang menangani penalaran dan pengambilan keputusan
- Tools: fungsi API yang berinteraksi dengan sistem eksternal
- Instructions: instruksi yang jelas untuk mendefinisikan perilaku agen
Panduan memilih model
- Kembangkan prototipe dengan model berperforma terbaik → lalu coba ganti ke model yang lebih kecil dengan mempertimbangkan biaya dan latensi
- Tetapkan kriteria evaluasi (evals), verifikasi akurasi, lalu lakukan optimasi
Cara mendefinisikan tools
- Rancang tools dengan cara yang terstandarisasi untuk meningkatkan reusabilitas
- Jenis tools
- Pengambilan data: pencarian DB, membaca dokumen, pencarian web
- Menjalankan tindakan: mengirim email, memperbarui CRM
- Orkestrasi: memanggil agen lain untuk membagi pekerjaan
Best practice menulis instructions
- Gunakan dokumen operasional atau dokumen kebijakan yang sudah ada untuk menulis instruksi langkah demi langkah yang jelas
- Pecah pekerjaan menjadi bagian-bagian kecil dan nyatakan dalam unit tindakan yang spesifik
- Wajib sertakan cara menangani error atau situasi pengecualian (edge case)
Pola orkestrasi
Sistem agen tunggal
- Satu agen menangani banyak tugas melalui run loop yang berulang
- Menggunakan template prompt untuk merespons berbagai situasi
- Disarankan tetap memakai agen tunggal selama kompleksitasnya masih dapat dikelola
Sistem multi-agen
Pola manajer (Manager Pattern)
- Agen manajer pusat mengoordinasikan workflow dengan memanggil beberapa agen spesialis seperti tool
- Menjaga antarmuka dengan pengguna tetap konsisten
Pola terdistribusi (Decentralized Pattern)
- Agen saling melakukan handoff dan menyerahkan kendali satu sama lain
- Agen dengan keahlian bidang tertentu memegang kendali saat dibutuhkan
- Cocok untuk triage tugas sederhana pada tahap awal
Guardrail
Tujuan
- Melindungi privasi data dan mencegah penyalahgunaan sistem
- Menjaga konsistensi brand dan memblokir respons yang tidak pantas
Jenis utama
- Pemfilteran relevansi: memblokir input yang tidak terkait topik
- Pemfilteran keamanan: mendeteksi upaya jailbreak
- Filter perlindungan data pribadi (PII): memblokir paparan informasi sensitif
- Moderation: memblokir kekerasan dan ujaran kebencian
- Manajemen risiko tool: verifikasi tambahan saat memanggil tool berisiko tinggi
Strategi pembangunan
- Jadikan privasi data dan keamanan konten sebagai prioritas utama
- Terus tambahkan perlindungan sesuai risiko baru yang ditemukan saat penggunaan nyata
- Menyeimbangkan keamanan dan pengalaman pengguna
Intervensi manusia (Human-in-the-loop)
- Serahkan kendali kepada manusia saat agen gagal atau ketika menangani tugas berisiko tinggi
- Trigger yang umum
- Melebihi ambang kegagalan
- Permintaan tugas dengan sensitivitas tinggi (refund, pembayaran, dll.)
Kesimpulan
- Agen adalah sistem inovatif yang dapat mengotomasi workflow dalam situasi yang kompleks dan tidak pasti
- Bangun kerangka model-tools-instructions yang kuat lalu perluas orkestrasi secara bertahap
- Sistem guardrail dan intervensi manusia wajib dibangun untuk memastikan keamanan dan keandalan
- Memulai dari kecil, memvalidasi dengan cepat, dan memperluas fungsi secara bertahap adalah kunci deployment yang sukses
1 komentar
https://notebooklm.google.com/notebook/…
Saya membuatnya dengan NotebookLM.