agents.txt — usulan standar sitemap dokumentasi untuk agen AI

Saat agen AI umum yang tidak dituning mencari isi di dokumentasi web, cara yang dipakai saat ini adalah membuka halaman satu per satu seperti manusia.
Karena setiap halaman HTML membawa sidebar, header, dan footer, noise jauh lebih banyak daripada isi yang benar-benar dibutuhkan,
dan untuk menelusuri situs dokumentasi dengan 651 halaman, token yang terpakai bisa mencapai jutaan.

robots.txt memberi tahu crawler "jangan masuk ke sini",
sedangkan sitemap.xml memberikan daftar URL kepada mesin pencari,
namun keduanya tidak banyak membantu agen AI menemukan halaman yang diinginkan dengan cepat.
llms.txt juga berupa penjelasan berformat bebas, sehingga kurang cocok untuk navigasi terstruktur.

agents.txt adalah berkas indeks terstruktur yang ditempatkan situs dokumentasi di jalur /.well-known/agents.txt.
Agen AI cukup membaca satu berkas ini saja, dan untuk acuan 651 halaman hanya membutuhkan sekitar 3.200 token
untuk langsung menjawab pertanyaan seperti "halaman tentang prompt caching ada di mana" atau "apa itu quickstart Python SDK"
tanpa harus merayapi halaman-halaman tersebut.

Dalam proyek usulan ini, navigasi untuk dokumentasi resmi claude-code dan gpt-codex mendukung empat format: TXT, MD, JSON, dan XML.
Ada juga 12 jenis anotasi tipe halaman serta fitur kompresi pola SDK.
Idenya mirip dengan pendekatan Vercel yang mengurangi penggunaan token sebesar 93% lewat agent-browser, tetapi dicoba pada level standar web, bukan aplikasi individual.

Karena sepertinya demo dengan agen adalah cara terbaik, saya menyiapkan agen bernama NAVIGATOR.md di root proyek.
Implementasi referensinya bisa dilihat di https://agentnav.baekenough.com.

Saya akan sangat berterima kasih atas masukannya.