5 Jebakan dalam Rekayasa Agen AI

Kebiasaan rekayasa perangkat lunak tradisional (deterministik, kontrol ketat) justru dapat menghambat pengembangan agen AI (probabilistik, berfokus pada fleksibilitas).

• Menurut Philipp Schmid dari Hugging Face, semakin senior seorang pengembang, semakin ia cenderung mencoba “menghilangkan” ketidakpastian LLM dengan kode, sehingga justru bekerja lebih lambat dibanding junior.
• Analogi: perlu pergeseran peran dari pengendali lalu lintas udara (tradisional) menjadi dispatcher (agen).

1. Teks adalah state baru
   • Jebakan: memaksa input bahasa alami menjadi data terstruktur (misalnya true/false) akan membuat konteks hilang.
   • Solusi: simpan umpan balik (misalnya “disetujui, fokus pada pasar AS”) sebagai teks agar penyesuaian dinamis tetap memungkinkan.

2. Serahkan kendali
   • Jebakan: meng-hardcode alur (misalnya rute pembatalan langganan) membuat sistem gagal menangani interaksi yang tidak linear.
   • Solusi: percayakan agen (LLM) untuk menilai niat berdasarkan konteks.

3. Error hanyalah input
   • Jebakan: menghentikan program saat error terjadi (cara tradisional) membuang eksekusi yang mahal.
   • Solusi: berikan error sebagai umpan balik agar agen dapat mencoba memulihkan diri.

4. Dari unit test ke Eval
   • Jebakan: menerapkan pengujian biner (TDD) pada sistem probabilistik menjadi tidak bermakna (jawaban valid tak terbatas).
   • Solusi: kelola variabilitas dengan reliabilitas (Pass@k), kualitas (LLM Judge), dan pelacakan (Eval).

5. Agen berevolusi, API tidak
   • Jebakan: menggunakan API yang berpusat pada manusia (konteks implisit) memicu halusinasi pada agen.
   • Solusi: perjelas dengan semantic typing yang rinci (misalnya user_email_address) dan docstring. Agen dapat beradaptasi terhadap perubahan alat.

Kesimpulan

Terima probabilitas, lalu kelola dengan Eval dan koreksi diri. “Percaya, tetapi verifikasi” — kuncinya adalah membangun sistem yang tangguh dan lentur, bukan sistem yang serba kaku. (Sumber teks asli: “Why (Senior) Engineers Struggle to Build AI Agents” oleh Philipp Schmid)