- Cloudflare mengumumkan layanan baru yang memungkinkan pemilik konten mengenakan biaya saat diakses oleh crawler AI
- Kreator konten kini memiliki tiga pilihan: mengizinkan gratis, memblokir sepenuhnya, atau mengizinkan akses berbayar
- Penagihan bekerja berdasarkan respons standar HTTP 402 Payment Required, dengan Cloudflare menyediakan infrastruktur pembayaran dan penyelesaian
- Crawler dan pemilik konten memperoleh transparansi serta keamanan melalui autentikasi dan pembayaran terprogram
- Layanan ini dimulai sebagai private beta, dan ke depannya direncanakan mendukung lebih banyak use case serta penagihan dinamis
Perubahan lingkungan konsumsi AI
- Selama ini banyak penerbit, kreator konten, dan pemilik situs web hanya memiliki pilihan biner terhadap crawler AI: mengizinkan semua akses atau memblokir total
- Dengan prinsip dasar memperkuat kendali pemilik konten, Cloudflare menargetkan lingkungan di mana pemilik dapat memblokir semua crawler AI, mengizinkannya secara gratis, atau hanya memberi akses secara selektif kepada crawler yang diinginkan
- Melalui diskusi dengan ratusan perusahaan media, penerbit, dan platform sosial besar, Cloudflare menegaskan adanya kebutuhan kuat untuk mengizinkan akses crawler AI sambil tetap menerima kompensasi
- Sebelumnya, akses hanya bisa diberikan setelah negosiasi individual dengan crawler, tetapi bagi situs kecil hal itu praktis mustahil karena kurangnya skala dan daya tawar
Pengenalan model 'bayar per perayapan (pay per crawl)'
- Di luar pilihan ekstrem gratis atau blokir, Cloudflare menawarkan opsi ketiga berupa penagihan untuk akses
- Dengan ini, pemilik konten dapat memonetisasi aset digital mereka pada skala internet
- Landasan teknis utamanya adalah kode status yang hampir terlupakan, HTTP 402 Payment Required: jika crawler menyatakan niat membayar maka konten diberikan dengan 200 OK, jika tidak maka respons 402 menginformasikan harganya
- Cloudflare bertindak sebagai Merchant of Record dan bertanggung jawab atas pemrosesan pembayaran serta infrastruktur teknis
Kendali penerbit dan kebijakan harga
- Penerbit dapat menetapkan harga tetap untuk seluruh situs
- Izinkan (disediakan gratis)
- Kenakan biaya (disediakan jika dibayar sesuai harga yang ditetapkan)
- Blokir (akses tidak tersedia dan diinformasikan kemungkinan hubungan di masa depan)
- Mendukung kebijakan yang fleksibel seperti pengecualian penagihan per crawler, akses gratis, atau negosiasi individual
- Terintegrasi dengan kebijakan keamanan Cloudflare (WAF, manajemen bot, dll.), di mana firewall yang ada diterapkan lebih dulu sebelum aturan pay per crawl berjalan
Protokol autentikasi dan pembayaran: Web Bot Auth
- Dirancang agar hanya crawler tertentu yang dapat memperoleh hak pembayaran dan akses, sehingga mencegah manipulasi identitas crawler (spoofing)
- Crawler perlu membuat pasangan kunci Ed25519, mendaftarkan direktori public key dalam format JWK, lalu menyerahkan informasinya ke Cloudflare
- Identitas dan niat pembayaran dibuktikan melalui header tanda tangan pesan HTTP (Signature-Agent, Signature-Input, Signature)
Cara akses konten berbayar
- Mendukung dua protokol
- Reaktif (penemuan lebih dulu): saat crawler meminta URL berbayar, server mengembalikan respons 402 beserta harga → jika setuju, crawler mengirim ulang permintaan dengan header
crawler-exact-price
- Proaktif (niat lebih dulu): pada permintaan pertama, crawler mengirim batas maksimum pembayaran melalui header
crawler-max-price → jika masih di bawah ambang, server mengembalikan 200 OK beserta rincian penagihan
- Negosiasi harga dan penyampaian niat pembayaran didukung secara programmable
Penyelesaian dan pemrosesan keuangan
- Operator crawler dan pemilik konten perlu mendaftarkan informasi pembayaran ke akun Cloudflare
- Untuk setiap permintaan pembayaran yang terautentikasi dan respons 200 OK, peristiwa penagihan dicatat, lalu Cloudflare mengagregasikannya untuk menagih crawler dan menyelesaikan pembayaran kepada penerbit
Awal perubahan menuju era agen
- pay per crawl melambangkan evolusi teknologi pengendalian konten online
- Diharapkan dapat melindungi kreator dan memperluas BM (model bisnis) baru melalui pendekatan penilaian nilai aset yang dapat diprogram
- Ke depan, tengah dibahas berbagai perluasan seperti penagihan dinamis berdasarkan tipe konten/jalur, penentuan tarif berdasarkan skala trafik AI, dan manajemen lisensi skala besar
- Dengan adopsi HTTP 402, sistem ini bisa merespons masa depan ketika AI/agen menegosiasikan syarat akses ke sumber daya digital secara terprogram
Panduan memulai
- Fitur pay per crawl saat ini terlebih dahulu tersedia sebagai private beta
- Crawler dan kreator konten yang ingin menggunakannya dapat menghubungi melalui tautan pendaftaran terpisah
- Cloudflare juga mendukung perlindungan DDoS, percepatan akses internet, pembangunan aplikasi internet, pemblokiran peretas, dan implementasi Zero Trust
Informasi tambahan dan tren terkait
- Di tengah gerakan seperti 'Content Independence Day' untuk memblokir perayapan gratis oleh crawler, Cloudflare juga memperluas solusi manajemen robot miliknya
- Cloudflare mengumumkan bahwa antara 2024~2025, trafik crawler AI meningkat 18%, dengan GPTBot naik 305% dan Googlebot 96%
- Fitur penguatan autentikasi crawler melalui tanda tangan pesan berbasis public key juga diperkenalkan bersamaan
5 komentar
Terjemahan: https://rosettalens.com/s/ko/introducing-pay-per-crawl
Bagaimana cara membedakan apakah itu bot AI atau bukan?
Terlepas dari apakah itu AI atau bukan, kalau memang berniat melakukan crawling pun katanya tidak bisa dideteksi.
Cloudflare sedang mencari cara untuk menghasilkan uang
pada akhirnya orang-orang yang ingin mencari uang akan berkumpul ke sana
volume Cloudflare akan makin besar
dan kualitas data akan mengalami penurunan
Naver, Instagram, dan YouTube juga menunjukkan kecenderungan yang sama di tempat-tempat yang melibatkan uang
Opini Hacker News
Saya rasa ini adalah bentuk pembayaran mikro yang memang kita inginkan. Coinbase baru-baru ini memperkenalkan library yang menggunakan kripto dan kode status 402, yaitu x402 tautan GitHub x402
Saya rasa model bisnis web seharusnya seperti ini alih-alih lewat perantara iklan. Industri adtech telah mengeksploitasi data kita secara permanen, mencemari media, dan juga merusak demokrasi. Saya berharap beberapa dekade lagi kita menyadari betapa berbahayanya model iklan saat ini, lalu mengatur dan menghukum perusahaan terkait seperti kita mengatur Big Tobacco. BAT dari Brave juga upaya yang bagus, tetapi x402 terasa seperti solusi yang lebih universal. Hanya saja, karena persepsi negatif terhadap kripto dan kuatnya pengaruh industri iklan, pendekatan seperti ini tampaknya tidak akan mudah mengakar
Saya tidak ingin menggunakan kripto, tidak ingin menerima pembayaran konten dalam kripto, dan tidak ingin membayar biaya ke perantara. Menggunakan kripto untuk pembayaran mikro terasa pada praktiknya sebagai cara untuk mengangkat ekosistem kripto. Selain itu, sulit membuat semua pihak sepakat soal koin apa yang dipakai. Jika tiap situs hanya menerima koin berbeda-beda, atau kalau harus memakai satu stablecoin saja, itu juga sulit dikendalikan. Pendekatan Cloudflare lebih baik. Dalam model ini, pihak yang menghasilkan uang yang menanggung biaya, dan pengguna biasa tidak diminta membayar. Dan juga tidak memakai kripto
Saya harap saya salah, tetapi rasanya kita sudah melewatkan momentum untuk pembayaran mikro. Kalau dulu ada struktur seperti isi ulang prabayar di ponsel fitur, semacam “isi saldo internet 10 ribu won”, lalu situs memotongnya sebagai pembayaran mikro, mungkin itu bisa benar-benar mapan. Tetapi sekarang, untuk menerapkan sistem seperti ini dan membuat seluruh pasar ikut serta, dibutuhkan terlalu banyak infrastruktur dan kesepakatan, jadi rasanya momennya sudah lewat
Teknologi ini terasa sangat menarik. Kalau saya memahaminya dengan benar, saya penasaran kenapa protokolnya tidak dirancang untuk langsung merespons ketika alamat dan jumlah pembayaran dikirimkan. Jika percobaan berikutnya diblok sampai checksum dari jumlah dan alamat dompet dikembalikan, lalu checksum ini diverifikasi pihak ketiga, maka tiap server tidak perlu mengimplementasikan logika verifikasi sendiri. Untuk benar-benar membangun ekonomi digital, dibutuhkan dua hal: 1) konten hanya bisa dikonsumsi oleh peminta dan tidak bisa disalin/disimpan, 2) konten harus memiliki sistem reputasi atau penilaian yang diberikan manusia. Yang pertama bisa diselesaikan dengan DRM atau enkripsi homomorfik, yang kedua oleh lembaga pemeringkat yang di-DAO-kan. Untuk ikut sebagai evaluator dalam DAO, seseorang bisa membagikan bukti rekam jejak berbasis blockchain dan menyetor kripto mahal (= lisensi) untuk meningkatkan kepercayaan. Seperti indeks BitTorrent, konten dan evaluator bisa dihubungkan sehingga iklan perantara pun bisa dihapus. Jika struktur ini matang, orang-orang yang punya keahlian bisa ikut menciptakan nilai sambil menyingkirkan perantara, dan manusia bisa menjadi pusat ekonomi konten. Jika masalah pembayaran ganda untuk konten terselesaikan, tiap orang bisa terus diberi imbalan sambil mengembangkan keahlian offline mereka juga. Misalnya saat mencari buku atau film bagus, kita melihat rating Amazon atau Goodreads, tetapi penyedia rating saat ini tidak punya kepentingan sebesar itu. Jika konten rating semacam itu memperoleh otoritas layaknya lembaga pemeringkat, nilai karya individual juga bisa meningkat. Semua orang akan termotivasi untuk menjaga reputasi mereka sendiri
Konsep ini sendiri bukan hal baru. Saya juga pernah membuat proyek bernama ln-paywall pada 2018 yang memanfaatkan kode status 402
Menurut saya ini pendekatan yang sepenuhnya salah. Cloudflare pada dasarnya hanya berkata, “crawl seperti dulu, tapi sekarang harus bayar lebih,” tanpa memberi nilai yang sepadan. Crawling bukan keunggulan kompetitif bagi perusahaan AI atau mesin pencari baru. Itu pekerjaan yang hanya menambah biaya dan mengalihkan fokus. Masuk akal jika mereka bekerja sama dengan berbagi infrastruktur. Idealnya, tidak perlu tiap perusahaan mengakses situs secara terpisah; satu crawler saja mengunjungi semua situs, lalu perusahaan-perusahaan mengatur filter mereka sendiri dan berkontribusi proporsional terhadap URL yang cocok. Alih-alih banyak trafik berulang, punya satu crawler dan menegakkan aturan robots.txt secara teknis maupun kontraktual akan membuat konten yang tidak diinginkan tidak tersedia, dan untuk mengakalinya mereka harus memelihara crawler sendiri secara teknis, yang cukup membebani. Bahkan kalau pembayaran ditambahkan ke sini, kemungkinan besar mereka tetap akan membayar untuk banyak sekali halaman sampah yang belum pernah mereka lihat, jadi nilainya rendah. Dengan pendekatan ini, dari sudut pandang perusahaan AI atau mesin pencari, crawling bisa lebih murah dan mudah; dari sudut pandang situs, beban bisa sangat berkurang dan efek pemblokiran lebih kuat. Tetapi Cloudflare cuma bilang “bayar”, jadi terasa kurang imajinatif dan tidak meyakinkan
Saya rasa untuk melihat struktur insentif yang tepat di sini, kita perlu melihat sisi lain pasar. Bagi produsen konten, masalahnya bukan trafik yang datang ke situs, melainkan mereka tidak dibayar dengan layak untuk trafik itu. Kalau 8 perusahaan mengunjungi semua halaman di situs saya 10 kali sehari, tidak masalah selama saya dibayar sesuai harga pasar. Delapan perusahaan itu kemudian akan termotivasi untuk bekerja sama melakukan crawling terpadu karena biaya tidak lagi dieksternalisasi. Pendekatan ini justru terasa lebih masuk akal bagi semua pihak
Sebenarnya Common Crawl dimaksudkan untuk berperan seperti itu, tetapi ironisnya startup AI terlalu rakus mengambil datanya sehingga belakangan bebannya sangat berat sampai nyaris tidak bisa dipakai. Karena masalah seperti ini, ada peluang terbukanya pasar layanan outsourcing web crawling, dan dari sudut pandang perusahaan, mengalihdayakan crawler punya banyak keuntungan. Tentu belum jelas apakah kebutuhannya cukup besar untuk benar-benar membentuk pasar bisnis yang berarti, tetapi kebutuhan akan akses data web yang baik atau kemampuan crawling jelas nyata
Berbeda dengan pendapat bahwa web crawling bukan keunggulan kompetitif bagi perusahaan AI, kemampuan mencerminkan informasi terbaru atau sumber tertentu dengan cepat jelas merupakan keunggulan. Masalahnya, ketika mereka mengambil konten situs, mereka tidak memberi kompensasi apa pun kepada situs dan juga tidak mengirimkan trafik, sehingga merusak ekosistem web. Khususnya dari sisi situs, ketika bot AI membaca informasi saya, nilai yang kembali ke saya adalah nol
Bahkan jika trafik crawling memberi sejumlah uang, biaya infrastruktur bukan masalah. Dulu pun jarang sekali situs mati karena trafik besar. Belakangan ini, 1) makin banyak situs yang langsung memblokir bot, scraper, dan sebagainya, atau 2) situs yang tidak bisa melakukannya (karena kontrol akses sulit atau tidak punya model pendapatan) justru dibombardir. Jika dalam struktur seperti ini situs benar-benar dibayar, setidaknya beban dari trafik bot berlebihan bisa tertutup dan bahkan bisa lebih dari itu
Tetap saja saya rasa struktur biaya seperti ini bisa menjadi insentif langsung untuk kerja sama
Pada akhirnya inilah sebabnya Google akan terus unggul di AI juga. Kebanyakan orang ingin Googlebot merayapi situs mereka. Dari situ ada trafik yang masuk, dan Google memakai indeks tersebut juga untuk pelatihan AI. Mungkin itu monopolistis, tetapi saya rasa ada manfaat dua arah. Namun untuk perusahaan seperti OpenAI, Anthropic, dan Meta yang merayapi tanpa memberi kompensasi apa pun, rasanya hampir tidak ada orang yang ingin situsnya dirayapi. Jadi saya rasa kebijakan Cloudflare ini sangat tepat waktu. Jika kebijakan ini berhasil, ini juga peluang besar sekali bagi Cloudflare
CTR turun tajam karena “AI Overview” dari Google. Dulu kalau Google merayapi 2 halaman, datang 1 pengunjung; 6 bulan lalu 6:1, sekarang 18:1. Yang berubah adalah AI Overviews. OpenAI lebih parah lagi: 6 bulan lalu 250:1, sekarang 1.500:1, jadi AI menyedot hampir semua trafik link ke sumber asli. (Referensi Twitter: https://twitter.com/ethanhays/status/1938651733976310151)
Saya ini startup, jadi saya justru ingin situs saya dirayapi AI. Saat orang bertanya ke ChatGPT “apa itu $CompanyName”, saya ingin kelebihan dan pesan inti perusahaan kami tercermin dengan benar. Konten SEO tradisional juga bisa dipakai sebagai data pelatihan AI. Jika Anda meminta alat AI merangkum kelebihan dan kekurangan web, sumbernya sering berupa artikel daftar seperti "top 10 tools for X" yang dipublikasikan sendiri oleh perusahaan di blog mereka. Hal yang sama berlaku untuk perusahaan besar seperti badan pariwisata, atau organisasi yang ingin menyebarkan sudut pandang mereka ke dunia secara meyakinkan
Tadi disebutkan bahwa OpenAI, Anthropic, dan Meta merayapi konten yang benar-benar ditulis manusia tanpa memberi kompensasi apa pun, tetapi sebenarnya lembaga pemerintah atau perusahaan besar kadang justru diuntungkan ketika mereka dirayapi. Misalnya jika AI global menjawab pertanyaan “bagaimana cara melihat kanguru?” dengan merekomendasikan kebun binatang di Selandia Baru alih-alih Australia, itu jelas masalah. Informasi yang benar harus tercermin dalam model AI agar bisa memengaruhi audiens yang sangat luas
Google juga punya proyek seperti Google Books, jadi perusahaan Barat lain sulit mengumpulkan materi pelatihan dalam skala sebesar ini, sementara perusahaan Tiongkok tidak terlalu peduli soal hak cipta, sehingga ini menjadi perbedaan besar
Saya tidak yakin Google pasti unggul di AI. Dari sudut pandang konsumen, AI Overview Google sering sekali sangat salah. Secara teknis mereka mungkin bisa menyediakan API, kualitas, atau fitur yang unggul, tetapi pengalaman AI utama yang terlihat oleh pengguna umum tidak terlalu bagus
Teknologinya sendiri keren, tetapi saya tidak suka bahwa semua crawler harus memakai Cloudflare. Seingat saya para pengembang Google Chrome pernah mengusulkan Web Monetization API, dan jika struktur pembayaran yang terdesentralisasi diterapkan, kita tidak perlu bergantung pada satu perusahaan tertentu
Ini arah yang bagus, tetapi masih banyak yang kurang. Struktur yang paling ideal adalah tarif berbeda berdasarkan tujuan penggunaan. Misalnya jika sebuah situs dirayapi untuk “tujuan riset”, biayanya seharusnya hampir gratis. Kalau untuk “pelatihan AI yang akan dikomersialkan”, menurut saya harus sangat mahal. Sayang sekali kita sampai harus memikirkan model seperti ini, tetapi sekarang cara lama praktis sudah nyaris dilarang, jadi secara realistis keterbukaan gratis tanpa kompensasi tidak mungkin lagi. Sebenarnya saya pikir umat manusia akan sangat diuntungkan jika seseorang membangun perpustakaan dunia yang menyediakan semua informasi secara gratis, lengkap dengan sistem kompensasi IP yang sesuai. Sebagian besar keterbatasan teknis sebenarnya sudah teratasi, tetapi yang tersisa hari ini hanyalah pembatasan yang secara de facto mirip kartel. Jadi sekarang mau tak mau posisinya menjadi “kalau begitu setidaknya bayarlah”
Kalau jadi begini, orang-orang yang mengejar profit pada akhirnya akan menemukan dan menyalahgunakan segala celah, atau menjual ulang data dengan cara yang tidak sesuai maksud, atau menyusupi sistem. Misalnya ketika dikatakan “gratis untuk riset”, mereka bisa cuma mengklaim “saya masuk untuk riset!” padahal sebenarnya mengambil untung dengan menjual data itu ke afiliasi mereka sendiri
Walau “perpustakaan yang membagikan semua data secara gratis” tampak mungkin secara teknis, masalah kuncinya adalah keberlanjutan ekonomi. Jika biaya akses terlalu rendah, justru akan terjadi replikasi tanpa batas atau penyalahgunaan berlebihan dan sistemnya runtuh. Sebaliknya, tingkat pembatasan tertentu bisa memunculkan insentif yang lebih baik untuk kerja sama dan peningkatan kualitas. (Seperti strategi r/K dalam biologi.) Ketika ada kelangkaan, nilai per entitas lebih tinggi, sehingga informasi dan layanan berkualitas tinggi bisa berkembang. Pada akhirnya, perpustakaan umum offline tampaknya justru mendekati titik optimum itu
Menurut saya HN meremehkan isu ini, padahal ini perubahan yang sangat besar. 20% dari seluruh web ada di Cloudflare. Jika fitur ini diberikan ke semua pelanggan, bahkan operator blog gratis sekalipun, ini menjadi struktur yang menarik karena pemilik blog pun bisa mendapat uang
Saya khawatir tidak lama lagi akan berubah menjadi struktur yang meminta pembayaran mikro setiap kali memakai browser, dan internet seperti yang kita kenal akan hilang
Saya sudah menghabiskan banyak waktu gara-gara deteksi bot Cloudflare. Saya pakai kombinasi Chrome + uBlock, dan mungkin sebentar lagi saya juga akan melihat layar yang menyuruh bayar. Kalau CAPTCHA muncul, saya langsung tinggalkan situs itu dan pindah ke tempat lain
Sebenarnya itu mungkin masih lebih baik daripada disiksa puluhan iklan dan paywall
Kita juga perlu memikirkan situasi ketika crawler AI dipakai sebagai alat bantu navigasi web untuk penyandang disabilitas. Fitur otomatisasi UI saja sudah sering terhambat oleh berbagai prosedur verifikasi
Operator situs bisa mengizinkan crawler semacam ini. Masalah peserta jahat yang menyamar sebagai pihak baik sudah ada sejak dulu, misalnya ketika orang ingin mengizinkan crawler web Google tetapi memblokir pelatihan Gemini, jadi kita memang butuh solusi teknis untuk ini
Saya kurang paham apa tepatnya maksudnya bahwa pengguna individu bisa memakai crawler untuk ‘menjelajahi’ web. Browser AI tidak langsung sama dengan crawler. Crawler adalah alat untuk mengumpulkan (memanen) seluruh situs web dalam jumlah besar
Sudah ada teknologi aksesibilitas standar bernama ARIA, dan situs-situs besar sudah menerapkannya semua. Untuk keperluan aksesibilitas, AI seharusnya tidak perlu, dan juga tidak semestinya digunakan
Dulu saya menganggap perusahaan yang menyediakan pencarian berguna di internet sebagai ‘perusahaan baik’. Dan sekarang Cloudflare tampak melakukan ‘hal baik’ seperti perlindungan DDoS, CDN, dan perlindungan dari AI. Tetapi ada kemungkinan nanti saya juga akan membenci perusahaan seperti ini
Cloudflare memang belum jadi perusahaan yang dibenci semua orang, tetapi makin besar pengaruhnya, makin besar pula rasa tegangnya. Bluesky pernah bilang “the company is tomorrow's adversary”, dan Cloudflare juga sedang tumbuh menjadi ‘lawan’ yang kuat
Teman-teman saya di dunia nyata sudah membenci Cloudflare
Katanya Cloudflare melakukan ‘hal baik’ di internet, tetapi karena verification friction yang mereka terapkan, saya jadi lebih sering memakai LLM daripada Stack Exchange
Secara umum saya setuju dengan ide ini, tetapi perusahaan besar akan menemukan berbagai jalur pintas untuk mendapatkan data (terutama Google, dengan dalih mesin pencari bisa crawling gratis), dan kalau ini benar-benar berhasil, kemungkinan besar biayanya akan dibebankan ke pengguna akhir, yaitu kita
Bahkan jika Google merayapi data secara gratis dengan dalih pencarian, bagaimana kalau pada tahap kedua Google diwajibkan membayar biaya per halaman? Untuk tiap artikel, bagian yang tidak bisa diakses crawler bisa diatur terpisah berdasarkan tarif, misalnya berita utama dikenai biaya mahal, sedangkan informasi umum, pelatihan LLM, riset internal, dan tujuan lain masing-masing diberi lisensi dengan harga yang tercantum. Jika Cloudflare berperan sebagai hub perantara untuk jutaan situs, struktur seperti ini sepenuhnya mungkin
Lebih banyak penerbit akan memblokir Googlebot juga. Alasannya karena Google sudah mengambil pendapatan penerbit lewat jawaban pencarian AI mereka