- Cara agen coding AI mengonsumsi dokumentasi pada dasarnya berbeda dari manusia, sehingga optimisasi yang hanya berpusat pada manusia membuat semakin banyak trafik AI hilang tanpa tercatat di alat analitik
- Agen mengambil dokumen lewat satu permintaan HTTP, menghitung jumlah token, lalu membuangnya diam-diam jika tidak muat di context window, sehingga metrik analitik lama seperti kedalaman scroll, waktu tinggal, dan klik sama sekali tidak tercatat
- Untuk menanggapi hal ini, diperkenalkan konsep Agentic Engine Optimization (AEO), yaitu cara menyusun, memformat, dan menyajikan dokumen agar benar-benar bisa digunakan oleh agen
- Inti AEO adalah discoverability, kemudahan parsing, efisiensi token, capability signaling, dan access control; jika salah satunya gagal, agen bisa melewati konten atau menghasilkan output yang keliru
- Tim yang merespons lebih awal akan memperoleh keunggulan karena API mereka direkomendasikan dan diintegrasikan oleh agen, dan dokumentasi untuk agen pada akhirnya juga menghasilkan dokumen yang lebih baik bagi pembaca manusia
Apa itu AEO
- Agentic Engine Optimization (AEO) adalah praktik menyusun, memformat, dan menyajikan konten teknis agar benar-benar dapat dimanfaatkan oleh agen coding AI
- Jika SEO adalah optimisasi untuk crawler pencarian dan pola klik manusia, maka AEO menargetkan konsumen baru berupa agen AI yang secara otonom mengambil, mem-parsing, dan menalar konten
- Faktor pertimbangan utama
- Discoverability – bisakah agen menemukan dokumen tanpa rendering JavaScript
- Parsability – bisakah dokumen dibaca mesin tanpa menafsirkan tata letak visual
- Token efficiency – bisakah konten masuk ke context window agen yang umum tanpa terpotong
- Capability signaling – apakah API memberi tahu apa yang dilakukannya, bukan hanya cara memanggilnya
- Access control – apakah
robots.txt benar-benar mengizinkan trafik AI
Cara agen membaca dokumentasi
- Pola manusia: tiba di beranda dokumentasi, berpindah antarbagian, memindai judul, menjalankan contoh kode, membuka 2–3 tautan internal, tinggal 4–8 menit per sesi → semuanya tercatat oleh alat analitik
- Pola agen: menurut makalah yang menganalisis trafik HTTP dari 9 agen coding utama seperti Claude Code, Cursor, Cline, Aider, VS Code, dan Junie, penjelajahan banyak halaman dikompresi menjadi 1–2 permintaan HTTP
- Menerima seluruh halaman lewat satu permintaan
GET lalu lanjut bergerak; konsep "user journey" runtuh menjadi satu peristiwa server-side
- Kedalaman scroll, waktu tinggal, klik tombol, penyelesaian tutorial, perpindahan tautan, interaksi formulir, dan seluruh peristiwa client-side menjadi tak terlihat
Sidik jari trafik AI
- Ada signature unik di log server yang dapat dipakai untuk mengidentifikasi trafik agen
- Aider: Headless Chromium (Playwright), GET on-demand, user-agent penuh Mozilla/Safari
- Claude Code: Node.js/Axios, GET on-demand,
axios/1.8.4
- Cline: curl, sweep GET + OpenAPI/Swagger,
curl/8.4.0
- Cursor: Node.js/got, probe HEAD → GET,
got (sindresorhus/got)
- Junie: curl, GET multi-halaman berurutan,
curl/8.4.0
- OpenCode: Headless Chromium (Playwright), GET on-demand
- VS Code: Electron/Chromium, gaya Chromium dengan penanda Electron
- Windsurf: Go/Colly,
colly
- Selain agen coding, layanan web asisten AI seperti ChatGPT, Claude, Google Gemini, dan Perplexity juga memicu fetch server-side saat pengguna membagikan URL, dan menghasilkan sidik jari unik
Masalah token: dokumentasi bisa tidak terlihat oleh agen
- Agen umumnya punya batas praktis 100K–200K token, dan pengelolaan konteks menjadi batas aktif dalam semua tugas
- Contoh di makalah: Cisco Secure Firewall Management Center REST API Quick Start Guide (Version 10.0) memiliki 193.217 token dan sekitar 718.000 karakter, sehingga satu dokumen saja sudah menghabiskan atau melampaui context window yang tersedia pada sebagian besar agen
- Saat dokumen terlalu panjang, yang dapat terjadi
- Pemotongan diam-diam menyebabkan hilangnya informasi penting
- Dokumen dilewati karena agen memilih dokumen yang lebih pendek
- Upaya chunking meningkatkan latensi dan permukaan kesalahan
- Fallback ke pengetahuan parametrik — yaitu menghasilkan halusinasi
- Kesimpulan: jumlah token kini menjadi metrik kelas satu untuk dokumentasi, sehingga pelacakan token per halaman menjadi wajib
Target token yang praktis
- Halaman quick start / getting started: di bawah 15.000 token
- Halaman referensi API individual: di bawah 25.000 token
- Referensi API lengkap: lakukan chunking per resource/endpoint, bukan per produk
- Panduan konseptual: di bawah 20.000 token, detail dihubungkan lewat tautan alih-alih di-embed
Stack AEO: apa yang benar-benar perlu dibangun
- AEO bukan satu teknik tunggal, melainkan sekumpulan sinyal dan standar berlapis dari fondasi hingga permukaan
Layer 1: access control (robots.txt)
- Banyak agen memeriksa
robots.txt terlebih dahulu sebelum mengambil konten, jadi konfigurasi yang salah dapat memblokir akses dokumentasi secara diam-diam tanpa error
- Tahap eksekusi
- Audit pemblokiran yang tidak disengaja terhadap user-agent agen AI
- Tinjau pemberian izin eksplisit untuk pola yang dikenal seperti crawler Anthropic, OpenAI, Google, dan Perplexity
- Jika perlu kontrol yang lebih rinci, gunakan
agent-permissions.json (spesifikasi baru untuk mendeklarasikan cakupan interaksi otomatis yang diizinkan, rate limit, endpoint API pilihan, dan sebagainya)
Layer 2: llms.txt untuk discovery
- File teks datar berformat Markdown yang di-host di
yourdomain.com/llms.txt, berfungsi sebagai sitemap untuk agen AI
- Dengan menyediakan direktori dokumentasi terstruktur dan deskripsi, agen dapat memahami konten yang relevan tanpa harus merayapi seluruh situs
- Contoh struktur: Getting Started (Quick Start Guide, Authentication, Core Concepts), API Reference (REST API Overview, Users API 12K token, Events API 8K token), MCP Integration (MCP Server)
- Ciri
llms.txt yang baik
- Deskripsi yang memberi tahu apa yang bisa ditemukan, bukan sekadar nama halaman
- Menyertakan jumlah token per halaman bila berguna
- Disusun berdasarkan task, bukan hierarki produk
- Ukurannya sendiri dijaga di bawah 5.000 token (indeks tidak boleh melampaui anggaran)
Layer 3: capability signaling lewat skill.md
- Jika
llms.txt memberi tahu "di mana sesuatu berada", maka skill.md memberi tahu "apa yang dapat dilakukan produk"
- Agen tidak perlu lagi menyimpulkan kapabilitas dari dokumentasi prosa, karena niat (intention) dipetakan secara deklaratif ke endpoint dan resource
- Contoh konfigurasi layanan autentikasi
- What I can accomplish: autentikasi OAuth 2.0 (authorization code, client credentials, PKCE), penerbitan dan verifikasi token JWT, pengelolaan sesi dan rotasi refresh token, integrasi SSO (SAML, OIDC)
- Required inputs: Client ID/Secret, Redirect URI yang telah didaftarkan sebelumnya, scope yang diminta (
read:user, write:data, admin)
- Constraints: 1000 permintaan token per menit per aplikasi, access token 1 jam dan refresh token 30 hari, PKCE wajib untuk public client
- Key documentation: OAuth 2.0 Guide, Token Reference, Postman Collection
- Sebelum menghabiskan anggaran konteks untuk membaca dokumentasi lengkap, agen dapat menilai apakah API mampu memenuhi niat pengguna
Layer 4: format konten untuk parsing agen
- Sediakan Markdown, bukan hanya HTML — izinkan akses ke Markdown asli dengan menambahkan
.md pada URL atau lewat query parameter; tanpa tag, navigasi, dan noise footer, overhead token berkurang drastis
- Susun untuk dipindai, bukan sekadar dibaca
- Hierarki judul yang konsisten (H1 → H2 → H3, tanpa lompatan)
- Setiap bagian dimulai dengan hasil (outcome), bukan latar belakang
- Contoh kode diletakkan tepat setelah penjelasan
- Referensi parameter memakai tabel yang lebih padat daripada daftar prosa
- Hilangkan noise navigasi seperti sidebar, breadcrumb, dan tautan footer
- Dalam 500 token pertama tiap halaman, jawab "apa ini, apa yang bisa dilakukan, dan apa yang dibutuhkan untuk memulai"
Layer 5: eksposur token
- Tampilkan jumlah token pada indeks
llms.txt dan pada halaman itu sendiri (metadata atau header halaman)
- Contoh penilaian yang dipakai agen
- "Halaman ini 8K token — bisa dimuat penuh ke konteks"
- "Halaman ini 150K token — hanya bagian relevan yang harus diambil"
- "Melebihi context window — gunakan ringkasan dari llms.txt"
- Implementasi bisa dilakukan di server-side dengan menghitung jumlah karakter lalu membaginya kira-kira dengan 4, kemudian mengeksposnya lewat meta tag atau HTTP response header
Layer 6: "Copy for AI"
- Saat pengembang ingin memasukkan dokumentasi sebagai konteks ke asisten AI di dalam IDE, salinan HTML yang dirender turut membawa noise navigasi dan footer
- Tombol "Copy for AI" yang menyalin Markdown bersih ke clipboard secara signifikan meningkatkan kualitas konteks yang diterima agen
- Anthropic dan Cloudflare sudah merilis variasinya; biaya rendah, sinyal tinggi
AGENTS.md: standar dasar yang sedang naik daun
- Seperti
README.md yang menjadi titik masuk repositori bagi pengembang manusia, AGENTS.md muncul sebagai titik masuk bagi agen AI
- Saat proyek dibuka, agen coding mencari
AGENTS.md di direktori root dan menggunakannya sebagai panduan untuk semua pekerjaan berikutnya
- Isi yang sebaiknya ada di
AGENTS.md yang baik
- Struktur proyek dan lokasi file-file utama
- Tautan langsung ke dokumentasi API/layanan yang relevan
- Sandbox pengembangan dan lingkungan pengujian yang tersedia
- Rate limit dan batasan yang perlu diketahui agen
- Pola dan konvensi yang disukai di codebase
- Tautan ke server MCP jika tersedia
- Cisco DevNet telah mengadopsinya sebagai file default dalam template GitHub proyek open source, sehingga saat proyek baru dibuat,
AGENTS.md khusus proyek sudah terisi dengan tautan ke dokumentasi OpenAPI, sandbox DevNet, dan lingkungan pengujian
Monitoring trafik referral AI
- Yang bisa dilakukan sekarang juga: mulai melacak trafik referral AI di alat analitik
- Sumber referral yang perlu dipantau: labs.perplexity.ai/referral, chatgpt.com/(none), chatgpt.com/organic, link.edgepilot.com/referral, platform.openai.com/referral, perplexity/(not set), claude.ai/referral, copilot.microsoft.com/referral, gemini.google.com/referral
- Trafik agen langsung yang datang tanpa referrer dapat ditangkap lewat sidik jari HTTP yang disebutkan sebelumnya (
axios/1.8.4, curl/8.4.0, got (sindresorhus/got), colly)
- Membangun segmen trafik AI yang tepat memberi indikator awal untuk menilai efektivitas upaya AEO
Implikasi yang lebih luas terhadap developer experience
- Selama ini portal pengembang dirancang berdasarkan pola kognitif manusia, seperti progressive disclosure, hierarki visual, contoh interaktif, dan tutorial berpemandu
- Asumsi yang rusak di dunia berpusat pada agen
- Hierarki visual menjadi tidak bermakna — agen membaca teks, bukan tata letak
- Progressive disclosure menjadi hambatan — agen ingin semuanya sekaligus
- Contoh interaktif kehilangan nilai — tanpa padanan statis/API, ia menjadi tidak berguna
- User journey runtuh — tutorial multi-halaman berubah menjadi satu kali pemuatan konteks
- Desain berpusat pada manusia tidak hilang, tetapi manusia juga semakin sering membaca dokumentasi di dalam konteks asisten AI
- Dokumentasi terbaik ke depan harus mudah dipindai dan terstruktur baik untuk manusia, sekaligus terbaca mesin dan efisien token untuk agen
Checklist audit AEO
Discovery
- Ada
llms.txt di root yang berisi indeks dokumentasi terstruktur
robots.txt tidak memblokir user-agent agen AI yang dikenal secara tidak sengaja- Aturan akses untuk klien otomatis didefinisikan lewat
agent-permissions.json
- Ada
AGENTS.md yang menghubungkan dokumentasi terkait di repositori kode
Content structure
- Halaman dokumentasi disajikan dalam Markdown bersih, bukan HTML yang dirender
- Tiap halaman menempatkan pernyataan hasil yang jelas dalam 200 kata pertama
- Judul konsisten dan benar secara hierarkis
- Contoh kode ditempatkan tepat setelah penjelasan prosa
- Referensi parameter menggunakan tabel, bukan prosa bertingkat
Token economics
- Jumlah token dilacak untuk setiap halaman dokumentasi
- Tidak ada satu halaman pun yang melebihi 30.000 token tanpa strategi chunking
- Jumlah token halaman-halaman utama diekspos di
llms.txt
- Jumlah token disediakan lewat metadata halaman (meta tag atau HTTP header)
Capability signaling
- File
skill.md menjelaskan fungsi tiap layanan/API, bukan cara memanggilnya
- Setiap skill memuat capabilities, required inputs, constraints, dan key doc links
- Jika relevan, tersedia server MCP untuk integrasi agen langsung
Analytics
- Sumber referral AI disegmentasikan di analitik web
- Log server dipantau untuk sidik jari HTTP agen AI yang dikenal
- Baseline rasio trafik AI vs manusia ditetapkan
UX bridge
- Halaman dokumentasi menyediakan tombol "Copy for AI"
- Markdown asli dapat diakses lewat konvensi URL (misalnya menambahkan
.md)
Tooling
- Penulis merilis alat audit ringan bernama agentic-seo yang memindai
llms.txt, pemblokiran agen di robots.txt, jumlah token, ketersediaan Markdown, dan lain-lain — semacam konsep Lighthouse untuk kesiapan agen
Mulai dari mana
- Urutan yang direkomendasikan
- Audit
robots.txt — pekerjaan 10 menit, mencegah agen terkunci diam-diam
- Tambahkan
llms.txt — beberapa jam kerja, langsung meningkatkan discoverability
- Ukur dan tampilkan jumlah token — proyek akhir pekan dengan leverage tinggi
- Tulis
skill.md untuk 3 API teratas — mulai dari target yang paling sering diakses agen
- Tambahkan tombol "Copy for AI" — biaya rendah, sinyal tinggi
- Siapkan monitoring trafik AI — dapatkan data untuk membenarkan pekerjaan lainnya
Penutup
- Seperti SEO mengajarkan bahwa "konten hebat saja tidak cukup; konten harus dibuat mudah ditemukan sesuai pola trafik nyata pada zamannya", AEO membawa pelajaran yang sama untuk konsumen baru
- Agen coding AI sudah mengambil porsi yang signifikan dan terus tumbuh dari trafik dokumentasi, dan mereka beroperasi secara fundamental berbeda dari pembaca manusia
- Tim yang bergerak lebih awal akan memperoleh keunggulan karena API mereka direkomendasikan, berhasil diintegrasikan, dan digunakan ulang oleh agen
- Tim yang tidak merespons akan menghadapi mode kegagalan senyap yang sulit di-debug, ketika kesenjangan antara kualitas dokumentasi dan tingkat keberhasilan kerja agen makin melebar
- Membangun untuk agen pada akhirnya juga menciptakan dokumentasi yang lebih baik bagi manusia, dan kedua ranah ini lebih banyak tumpang tindih daripada berpisah
Belum ada komentar.