Mengapa AI agent terus gagal — masalahnya bukan pada model, melainkan pada desain ‘dunia (World)’

Saat benar-benar membangun AI agent berbasis LLM,
pada suatu titik kita selalu menabrak tembok yang mirip.

• Jelas modelnya makin pintar
• tetapi eksekusinya tetap tidak stabil
• dan sulit menjelaskan mengapa ia bertindak seperti itu
• bahkan dengan input yang sama, hasilnya bisa berbeda

Karena itu, biasanya kita sampai pada kesimpulan seperti ini.

“Berarti modelnya masih kurang. Coba pakai model yang lebih besar.”

Namun setelah melewati berbagai trial and error, saya merasa inti masalahnya bukan kecerdasan model,
melainkan ‘dunia (World)’ tempat agent beroperasi tidak pernah benar-benar dirancang.

---

Hakikat masalah: dunia hanya ada di dalam kepala model

Dalam banyak arsitektur agent,
hal-hal seperti status, aturan, dan kemungkinan tindakan
semuanya tersimpan secara implisit di dalam penalaran model.

Artinya,

• apa yang mungkin dilakukan
• mengapa suatu tindakan gagal
• kapan status berubah

semua itu diharapkan agar model “mengingat dan menalar sendiri”.

Dalam struktur seperti ini,
sebagus apa pun modelnya,
sulit untuk mendapatkan debugging, reproduktibilitas, dan explainability.

---

Perubahan sudut pandang: World-Centric Architecture

Karena itu, tulisan ini membalik sudut pandang,
yaitu mengusulkan cara merancang agent yang bukan
berpusat pada model (Intelligence-Centric), melainkan
berpusat pada dunia (World-Centric).

Ide intinya sederhana.

• dunia harus ada secara eksplisit di luar model
• status dibekukan sebagai Snapshot
• perubahan status hanya boleh terjadi lewat satu jalur, yaitu Patch/Apply
• dan “apakah tindakan ini mungkin?” harus dihitung secara struktural

Dan prinsip terpentingnya adalah kalimat ini.

> kecerdasan tidak mengeksekusi, hanya boleh mengusulkan

Model boleh mengusulkan “apa yang ingin dicoba”,
namun tidak memiliki otoritas untuk benar-benar mengubah status.

---

Mengapa ini penting?

Dalam struktur ini, terjadi hal yang menarik.

• tindakan yang mustahil bahkan tidak akan sampai ke tahap eksekusi
• kegagalan dijelaskan bukan sebagai “modelnya bodoh”, melainkan karena alasan struktural
• bahkan jika pemilihan tindakan bersifat acak, sistem tetap tidak rusak

Sebab
correctness dijamin bukan oleh penalaran model,
melainkan oleh aturan dunia dan model status.

Menurut saya, ini lebih dekat ke pendekatan untuk
“sistem yang bisa dioperasikan” daripada sekadar demo riset.

---

Tulisan ini bukan tentang apa

• tutorial framework agent baru ❌
• artikel perbandingan performa model ❌
• pembahasan prompt engineering ❌

Sebaliknya,

> “Mengapa kita membuat AI agent dengan cara yang begitu tidak stabil?”

Itulah pertanyaan yang ingin saya ajukan.

---

Saya juga penasaran bagaimana pendekatan ini
akan dilihat dari sudut pandang state machine, workflow engine, DSL, atau bahkan PL yang sudah ada.

Pendapat atau kritik dari sudut pandang
“pada akhirnya ini bisa direduksi menjadi apa?”
juga sangat saya sambut.