Cloudflare menghadirkan fitur pengiriman konversi Markdown untuk agen

(blog.cloudflare.com)

13 poin oleh GN⁺ 2026-02-13 | Belum ada komentar. | Bagikan ke WhatsApp

Seiring meningkatnya trafik yang berpusat pada crawler AI dan agen, struktur web kini beralih agar konten web dapat dikonsumsi langsung oleh mesin, bukan hanya manusia
Mengonversi HTML ke markdown dapat mengurangi penggunaan token sekitar 80%, sehingga meningkatkan efisiensi biaya dan pemrosesan
Mendukung konversi HTML→Markdown secara real-time di level jaringan berdasarkan header Accept: text/markdown
Bersama header x-markdown-tokens dan Content-Signal, turut menyediakan perkiraan jumlah token dan kebijakan pemanfaatan AI
Cara bot AI mengonsumsi konten dapat dilacak di Radar, dan tersedia gratis dalam beta untuk paket Pro ke atas

Latar belakang: struktur trafik web yang bergeser ke agen AI

Cara menemukan konten online bergerak cepat dari model yang berpusat pada mesin pencari tradisional ke struktur yang berpusat pada crawler AI dan agen
- Dulu SEO menentukan trafik, tetapi kini sistem AI yang membutuhkan data terstruktur muncul sebagai konsumen utama
Perusahaan kini perlu mempertimbangkan bukan hanya pengunjung manusia, tetapi juga agen sebagai first-class citizen
Web yang ada saat ini dibangun dengan struktur HTML yang dirancang untuk manusia, sehingga memuat terlalu banyak elemen yang tidak perlu untuk diproses AI

HTML adalah struktur yang memboroskan token karena adanya <div>, <script>, elemen navigasi, dan lain-lain yang tidak terkait dengan makna semantik
- Contoh: ## About Us sekitar 3 token, sedangkan HTML yang setara <h2 class="section-title"...> menghabiskan 12~15 token
Berdasarkan artikel blog tersebut, HTML 16.180 token → Markdown 3.150 token, atau sekitar penghematan token 80%
Markdown memberikan struktur yang eksplisit sehingga meningkatkan efisiensi pemrosesan AI dan kualitas hasil
Saat ini sebagian besar pipeline AI memang sudah mencakup tahap konversi HTML→Markdown, tetapi
- biaya komputasi meningkat
- kompleksitas pemrosesan naik
- ada kemungkinan hasilnya berbeda dari maksud penulis

Jaringan Cloudflare mendukung konversi HTML→Markdown secara real-time
- Bekerja berdasarkan content negotiation pada zone yang diaktifkan
Saat klien mengirim permintaan dengan header Accept: text/markdown
- HTML asli diambil dari origin
- lalu dikonversi menjadi Markdown di jaringan dan dikembalikan
Contoh respons
- content-type: text/markdown
- vary: accept
- menyertakan header x-markdown-tokens: 725
x-markdown-tokens menyediakan perkiraan jumlah token untuk dokumen Markdown
- dapat digunakan untuk menghitung context window
- dan menentukan strategi chunking

Terintegrasi dengan framework Content Signals framework
Respons Markdown secara default menyertakan
- header Content-Signal: ai-train=yes, search=yes, ai-input=yes
Memungkinkan penandaan apakah penggunaan untuk pelatihan AI, pencarian, dan input agen diizinkan
Opsi kebijakan khusus pengguna akan disediakan di masa mendatang

Fitur diaktifkan pada Developer Documentation dan Blog
Permintaan curl -H "Accept: text/markdown" akan mengembalikan Markdown
Bagian atas respons menyertakan metadata YAML
- title
- description
- image dan informasi terstruktur lainnya

Workers AI AI.toMarkdown()
- Mendukung konversi dan peringkasan berbagai format dokumen termasuk HTML
Browser Rendering /markdown REST API
- Mendukung konversi ke Markdown setelah rendering di browser nyata
- Dapat menangani halaman dinamis

Di Radar AI Insights ditambahkan dimensi content_type
- Distribusi tipe MIME dari konten yang dikembalikan ke bot dan crawler AI dapat diperiksa
Permintaan Markdown dapat difilter per agen tertentu
- Contoh: OAI-Searchbot(GPTBot)
Data dapat diakses melalui API publik dan Data Explorer