Optimisasi Mesin Agentik (AEO)

• Cara agen coding AI mengonsumsi dokumentasi pada dasarnya berbeda dari manusia, sehingga optimisasi yang hanya berpusat pada manusia membuat semakin banyak traffic AI hilang tanpa terlacak oleh alat analitik
• Agen mengambil dokumen lewat satu permintaan HTTP, menghitung jumlah token, lalu diam-diam membuangnya jika tidak muat di jendela konteks, sehingga metrik analitik lama seperti kedalaman scroll, waktu tinggal, dan klik sama sekali tidak tercatat
• Untuk menanggapi hal ini, diperkenalkan konsep Agentic Engine Optimization (AEO), yaitu menyusun, memformat, dan menyajikan dokumen agar benar-benar bisa dipakai agen
• Inti AEO adalah discoverability, kemudahan parsing, efisiensi token, capability signaling, dan access control; jika satu saja gagal, agen bisa melewati konten atau menghasilkan output yang salah
• Tim yang merespons lebih awal akan memperoleh keunggulan karena API mereka direkomendasikan dan diintegrasikan oleh agen, dan dokumentasi untuk agen pada akhirnya juga menghasilkan dokumen yang lebih baik bagi pembaca manusia

---

Apa itu AEO

• Agentic Engine Optimization (AEO) adalah praktik menyusun, memformat, dan menyajikan konten teknis agar dapat benar-benar dimanfaatkan oleh agen coding AI
• Jika SEO mengoptimalkan untuk crawler pencarian dan pola klik manusia, AEO menargetkan konsumen baru berupa agen AI yang secara otonom mengambil, mem-parsing, dan menalar konten
• Faktor pertimbangan utama
  • Discoverability – Bisakah agen menemukan dokumen tanpa rendering JavaScript
  • Parsability – Bisakah mesin membacanya tanpa harus menafsirkan layout visual
  • Token efficiency – Bisakah ia masuk ke jendela konteks agen umum tanpa terpotong
  • Capability signaling – Apakah API memberi tahu "apa yang dilakukan", bukan hanya "bagaimana memanggilnya"
  • Access control – Apakah robots.txt benar-benar mengizinkan traffic AI

Cara agen membaca dokumentasi

• Pola manusia: tiba di beranda dokumentasi, berpindah antarbagian, memindai judul, menjalankan contoh kode, membuka 2–3 tautan internal, bertahan 4–8 menit per sesi → semuanya tercatat oleh alat analitik
• Pola agen: menurut makalah yang menganalisis traffic HTTP dari 9 agen coding utama seperti Claude Code, Cursor, Cline, Aider, VS Code, dan Junie, navigasi banyak halaman dikompresi menjadi 1–2 permintaan HTTP
  • Menerima seluruh halaman lewat satu permintaan GET, lalu berpindah; konsep "user journey" runtuh menjadi satu peristiwa di sisi server
  • Seluruh event sisi klien seperti kedalaman scroll, waktu tinggal, klik tombol, penyelesaian tutorial, perpindahan tautan, dan interaksi formulir menjadi tidak terlihat

Fingerprint traffic AI

• Ada signature unik yang bisa dipakai untuk mengidentifikasi traffic agen di log server
  • Aider: Headless Chromium (Playwright), GET on-demand, user-agent penuh Mozilla/Safari
  • Claude Code: Node.js/Axios, GET on-demand, axios/1.8.4
  • Cline: curl, sweep GET + OpenAPI/Swagger, curl/8.4.0
  • Cursor: Node.js/got, probe HEAD → GET, got (sindresorhus/got)
  • Junie: curl, GET multi-halaman berurutan, curl/8.4.0
  • OpenCode: Headless Chromium (Playwright), GET on-demand
  • VS Code: Electron/Chromium, gaya Chromium dengan penanda Electron
  • Windsurf: Go/Colly, colly
• Selain agen coding, layanan web asisten AI seperti ChatGPT, Claude, Google Gemini, dan Perplexity juga memicu fetch sisi server dan membuat fingerprint unik saat pengguna membagikan URL

Masalah token: dokumentasi bisa tidak terlihat oleh agen

• Agen umumnya memiliki batas praktis 100K–200K token, dan manajemen konteks adalah kendala aktif di semua tugas
• Contoh di makalah: Cisco Secure Firewall Management Center REST API Quick Start Guide (Version 10.0) memiliki 193.217 token, sekitar 718.000 karakter, sehingga satu dokumen saja sudah menghabiskan atau melampaui jendela konteks yang tersedia pada kebanyakan agen
• Hal yang bisa terjadi saat dokumentasi terlalu panjang
  • Informasi penting hilang karena terpotong diam-diam
  • Dokumen dilewati karena agen lebih memilih dokumen yang lebih pendek
  • Upaya chunking menambah latensi dan permukaan error
  • Fallback ke pengetahuan parametrik — artinya menghasilkan halusinasi
• Kesimpulannya: jumlah token kini menjadi metrik kelas satu untuk dokumentasi, dan pelacakan token per halaman itu wajib

Target token praktis

• Halaman quick start / getting started: di bawah 15.000 token
• Halaman referensi API individual: di bawah 25.000 token
• Referensi API keseluruhan: lakukan chunking per resource/endpoint, bukan per produk
• Panduan konseptual: di bawah 20.000 token, detail tambahan dihubungkan lewat tautan alih-alih di-embed

Stack AEO: apa yang benar-benar perlu dibangun

• AEO bukan satu teknik tunggal, melainkan sekumpulan sinyal dan standar berlapis dari fondasi hingga permukaan

Layer 1: access control (robots.txt)

• Banyak agen memeriksa robots.txt terlebih dahulu sebelum mengambil konten, jadi konfigurasi yang salah bisa diam-diam memblokir akses ke dokumentasi tanpa error
• Tahap eksekusi
  • Audit pemblokiran yang tidak disengaja terhadap user-agent agen AI
  • Tinjau izin eksplisit untuk pola yang dikenal luas seperti crawler Anthropic, OpenAI, Google, dan Perplexity
  • Jika butuh kontrol yang lebih rinci, gunakan agent-permissions.json (spesifikasi baru untuk mendeklarasikan cakupan interaksi otomatis yang diizinkan, rate limit, endpoint API yang disukai, dll.)

Layer 2: llms.txt untuk penemuan

• File teks polos berformat Markdown yang di-host di yourdomain.com/llms.txt, berfungsi sebagai sitemap untuk agen AI
• Dengan menyediakan direktori dokumentasi terstruktur dan penjelasan, agen bisa memahami konten yang relevan tanpa harus crawl seluruh situs
• Contoh struktur: Getting Started (Quick Start Guide, Authentication, Core Concepts), API Reference (REST API Overview, Users API 12K token, Events API 8K token), MCP Integration (MCP Server)
• Ciri llms.txt yang baik
  • Deskripsinya menjelaskan apa yang bisa ditemukan, bukan sekadar nama halaman
  • Menyertakan jumlah token per halaman bila berguna
  • Disusun berdasarkan task, bukan hierarki produk
  • Ukurannya sendiri dijaga di bawah 5.000 token (indeks tidak boleh melebihi anggaran)

Layer 3: capability signaling melalui skill.md

• Jika llms.txt memberi tahu "di mana letaknya", maka skill.md memberi tahu "apa yang bisa dilakukan" oleh produk
• Ini memungkinkan agen memetakan intention ke endpoint dan resource secara deklaratif, tanpa harus menyimpulkan kemampuan dari dokumentasi prosa
• Contoh struktur untuk layanan autentikasi
  • What I can accomplish: autentikasi OAuth 2.0 (authorization code, client credentials, PKCE), penerbitan dan validasi token JWT, pengelolaan sesi dan rotasi refresh token, integrasi SSO (SAML, OIDC)
  • Required inputs: Client ID/Secret, Redirect URI yang telah didaftarkan sebelumnya, scope yang diminta (read:user, write:data, admin)
  • Constraints: 1000 permintaan token per menit per aplikasi, access token 1 jam dan refresh token 30 hari, PKCE wajib untuk klien publik
  • Key documentation: OAuth 2.0 Guide, Token Reference, Postman Collection
• Dengan begitu, agen dapat menilai apakah API bisa memenuhi niat pengguna sebelum menghabiskan anggaran konteks untuk membaca seluruh dokumentasi

Layer 4: format konten untuk parsing agen

• Sediakan Markdown, bukan hanya HTML — izinkan akses ke Markdown asli lewat penambahan .md pada URL atau query parameter; ini sangat mengurangi overhead token karena bebas dari noise tag, navigasi, dan footer
• Strukturkan untuk pemindaian, bukan sekadar dibaca
  • Hierarki judul konsisten (H1 → H2 → H3, tanpa lompatan)
  • Setiap bagian dimulai dengan outcome, bukan latar belakang
  • Contoh kode ditempatkan tepat setelah penjelasan
  • Referensi parameter memakai tabel yang lebih padat daripada daftar prosa
• Hapus noise navigasi seperti sidebar, breadcrumb, dan tautan footer
• Dalam 500 token pertama tiap halaman, jawab "apa ini, apa yang bisa dilakukan, dan apa yang dibutuhkan untuk mulai"

Layer 5: eksposur token

• Tampilkan jumlah token pada indeks llms.txt dan pada halaman itu sendiri (metadata atau header halaman)
• Contoh keputusan yang dapat diambil agen
  • "Halaman ini 8K token — bisa dimuat penuh ke konteks"
  • "Halaman ini 150K token — hanya bagian relevan yang perlu diambil"
  • "Melebihi jendela konteks — gunakan ringkasan llms.txt"
• Implementasinya bisa dilakukan di sisi server dengan menghitung jumlah karakter lalu membaginya kira-kira dengan 4, lalu mengeksposnya via meta tag atau header respons HTTP

Layer 6: "Copy for AI"

• Saat developer ingin memasukkan dokumentasi sebagai konteks ke asisten AI di dalam IDE, menyalin HTML yang sudah dirender juga akan membawa noise navigasi dan footer
• Tombol "Copy for AI" yang menyalin Markdown bersih ke clipboard secara signifikan meningkatkan kualitas konteks yang diterima agen
• Anthropic dan Cloudflare sudah merilis variasinya; biayanya rendah dengan sinyal tinggi

AGENTS.md: standar dasar yang sedang muncul

• Seperti README.md yang menjadi titik masuk bagi developer manusia ke sebuah repositori, AGENTS.md kini muncul sebagai titik masuk bagi agen AI
• Saat proyek dibuka, agen coding akan mencari AGENTS.md di direktori root dan menggunakannya sebagai instruksi untuk seluruh pekerjaan berikutnya
• Hal yang sebaiknya dimasukkan ke AGENTS.md yang baik
  • Struktur proyek dan lokasi file penting
  • Tautan langsung ke dokumentasi API/layanan terkait
  • Sandbox pengembangan dan lingkungan pengujian yang tersedia
  • Rate limit dan batasan yang perlu diketahui agen
  • Pola dan konvensi yang disukai dalam codebase
  • Tautan ke server MCP jika tersedia
• Cisco DevNet telah mengadopsinya sebagai file default dalam template GitHub proyek open source mereka; saat membuat proyek baru, AGENTS.md spesifik proyek yang berisi tautan ke dokumentasi OpenAPI, sandbox DevNet, dan lingkungan uji sudah terisi sebelumnya

Memantau traffic referral AI

• Hal yang bisa langsung dilakukan sekarang: mulai melacak traffic referral AI di alat analitik
• Sumber referral yang perlu dipantau: labs.perplexity.ai/referral, chatgpt.com/(none), chatgpt.com/organic, link.edgepilot.com/referral, platform.openai.com/referral, perplexity/(not set), claude.ai/referral, copilot.microsoft.com/referral, gemini.google.com/referral
• Traffic agen langsung yang datang tanpa referrer bisa ditangkap lewat fingerprint HTTP yang disebutkan sebelumnya (axios/1.8.4, curl/8.4.0, got (sindresorhus/got), colly)
• Membangun segmen traffic AI yang tepat memberi indikator awal untuk menilai dampak pekerjaan AEO

Implikasi yang lebih luas bagi developer experience

• Selama ini portal developer dirancang dengan fokus pada pola kognitif manusia seperti progressive disclosure, hierarki visual, contoh interaktif, dan tutorial berpemandu
• Asumsi yang runtuh di dunia yang berpusat pada agen
  • Hierarki visual menjadi tak berarti — agen membaca teks, bukan layout
  • Progressive disclosure menjadi hambatan — agen ingin semuanya sekaligus
  • Contoh interaktif kehilangan nilai — tanpa padanan statis/API, ia menjadi tidak berguna
  • User journey runtuh — tutorial multi-halaman berubah menjadi satu muatan konteks
• Ini bukan berarti desain yang berpusat pada manusia akan hilang, tetapi manusia pun semakin sering membaca dokumentasi di dalam konteks asisten AI
• Dokumentasi terbaik ke depan harus mudah dipindai dan terstruktur baik untuk manusia, serta mudah dibaca mesin dan efisien token untuk agen

Checklist audit AEO

Discovery

• Ada llms.txt di root yang memuat indeks dokumentasi terstruktur
• robots.txt tidak secara tidak sengaja memblokir user-agent agen AI yang dikenal
• Aturan akses untuk klien otomatis didefinisikan lewat agent-permissions.json
• Ada AGENTS.md yang menghubungkan dokumentasi terkait di repositori kode

Content structure

• Halaman dokumentasi disajikan sebagai Markdown bersih, bukan HTML yang telah dirender
• Setiap halaman menempatkan pernyataan outcome yang jelas dalam 200 kata pertama
• Judul konsisten dan secara hierarkis benar
• Contoh kode ditempatkan tepat setelah penjelasan prosa
• Referensi parameter menggunakan tabel, bukan prosa bertingkat

Token economics

• Jumlah token dilacak untuk tiap halaman dokumentasi
• Tidak ada satu halaman pun yang melebihi 30.000 token tanpa strategi chunking
• Jumlah token halaman penting diekspos di llms.txt
• Jumlah token disediakan lewat metadata halaman (meta tag atau header HTTP)

Capability signaling

• File skill.md menjelaskan fungsi tiap layanan/API, bukan cara pemanggilannya
• Tiap skill mencakup capabilities, required inputs, constraints, dan key doc links
• Jika relevan, tersedia server MCP untuk integrasi agen langsung

Analytics

• Sumber referral AI disegmentasi dalam web analytics
• Log server dipantau untuk fingerprint HTTP agen AI yang dikenal
• Baseline rasio traffic AI vs manusia telah ditetapkan

UX bridge

• Halaman dokumentasi menyediakan tombol "Copy for AI"
• Markdown asli dapat diakses lewat konvensi URL (mis. menambahkan .md)

Tooling

• Mereka merilis agentic-seo, alat audit ringan yang memindai llms.txt, pemblokiran agen di robots.txt, jumlah token, ketersediaan Markdown, dll. — semacam konsep Lighthouse untuk kesiapan agen

Mulai dari mana

• Urutan yang disarankan
  1. Audit robots.txt — pekerjaan 10 menit, mencegah agen terkunci secara diam-diam
  2. Tambahkan llms.txt — pekerjaan beberapa jam, langsung meningkatkan discoverability
  3. Ukur dan ekspos jumlah token — proyek akhir pekan, leverage tinggi
  4. Tulis skill.md untuk 3 API teratas — mulai dari target yang paling sering diakses agen
  5. Tambahkan tombol "Copy for AI" — biaya rendah, sinyal tinggi
  6. Siapkan pemantauan traffic AI — dapatkan data untuk membenarkan pekerjaan lainnya

Penutup

• Seperti SEO yang mengajarkan bahwa "konten yang hebat saja tidak cukup; ia juga harus bisa ditemukan sesuai pola traffic nyata pada zamannya", AEO membawa pelajaran yang sama untuk konsumen baru
• Agen coding AI sudah menyumbang porsi yang besar dan terus tumbuh dalam traffic dokumentasi, dan cara kerjanya pada dasarnya berbeda dari pembaca manusia
• Tim yang bergerak lebih awal akan memperoleh keunggulan karena API mereka direkomendasikan, berhasil diintegrasikan, dan digunakan ulang oleh agen
• Tim yang tidak merespons akan menghadapi mode kegagalan senyap yang sulit di-debug, di mana kesenjangan antara kualitas dokumentasi dan tingkat keberhasilan kerja agen terus membesar
• Membangun untuk agen pada akhirnya juga menghasilkan dokumentasi yang lebih baik bagi manusia, dan keduanya lebih banyak tumpang tindih daripada berpisah