Marketplace baru Cloudflare memungkinkan situs web mengenakan biaya kepada bot scraping AI

• Cloudflare mengumumkan rencana untuk meluncurkan tahun depan sebuah marketplace yang memungkinkan pemilik situs web menjual akses scraping konten situs kepada penyedia model AI
• Marketplace ini merupakan tahap terakhir dari rencana yang lebih besar dari CEO Cloudflare Matthew Prince, untuk membantu publisher mengontrol dengan lebih baik bagaimana dan kapan bot AI melakukan scraping pada situs web mereka
• Sebagai langkah pertama, Cloudflare meluncurkan AI Audit, alat observability gratis
  • Pemilik situs web akan mendapatkan dashboard yang menampilkan analitik tentang seberapa sering model AI melakukan scraping pada situs mereka
  • Melalui AI Audit, pemilik situs web dapat memblokir bot AI atau mengizinkan web scraper tertentu
  • Demo AI Audit memungkinkan pemilik situs web melihat dari mana masing-masing scraper berasal, serta menyediakan jendela opsional untuk melihat seberapa sering penyedia model AI seperti OpenAI, Meta, dan Amazon mengunjungi situs
• Menyelesaikan masalah industri AI
  • Penyedia model AI melakukan scraping terhadap ribuan situs web kecil dan menggunakannya sebagai informasi untuk menjalankan LLM
  • Sebagian besar situs web tidak menerima kompensasi apa pun, dan hal ini dapat merusak model bisnis banyak situs web
  • Cloudflare telah meluncurkan tombol yang memungkinkan pemilik situs web memblokir bot AI
• Mencerminkan kebutuhan pelanggan
  • Pelanggan Cloudflare meminta alat yang memungkinkan mereka memilih model AI mana yang dapat mengakses situs mereka
  • Alat baru Cloudflare memungkinkan beberapa crawler AI diblokir sementara crawler lain diizinkan
• Tujuan marketplace
  • Marketplace Cloudflare memungkinkan publisher kecil membuat kesepakatan dengan penyedia model AI
  • Situs web dapat menetapkan biaya scraping atau meminta kredit dari lab AI
• Dampak terhadap ekosistem AI
  • Kondisi saat ini, di mana beberapa perusahaan AI tidak membayar apa pun untuk konten, tidak berkelanjutan
  • CEO Cloudflare percaya marketplace ini pada akhirnya akan berdampak baik bagi ekosistem AI

Ringkasan GN⁺

• Cloudflare mengumumkan rencana meluncurkan marketplace yang memungkinkan pemilik situs web menjual akses scraping konten situs kepada penyedia model AI
• Melalui alat AI Audit, pemilik situs web dapat menganalisis seberapa sering model AI melakukan scraping pada situs mereka
• Marketplace ini memungkinkan publisher kecil membuat kesepakatan dengan penyedia model AI sehingga mereka bisa mendapatkan kompensasi atas konten mereka
• Hal ini dapat membantu meningkatkan keberlanjutan ekosistem AI

[yangeok]

Niatnya bagus.

[GN⁺]

Komentar Hacker News

• Common Crawl termasuk dalam daftar "Providers" bersama OpenAI dan Antropic

  • Common Crawl digunakan untuk berbagai tujuan selain pelatihan AI
  • Merupakan sumber konten utama untuk Wayback Machine
  • Tujuan proyek Common Crawl adalah agar Common Crawl mengumpulkan data dan menyediakannya dalam format standar, alih-alih banyak perusahaan menjalankan crawler mereka sendiri secara terpisah
  • Jika CloudFlare membatasi akses ke konten, dampaknya bisa besar
  • Kita mungkin akan memasuki dunia di mana sebagian besar situs web membatasi akses menggunakan produk keamanan

• OpenFoodFacts, OpenStreetMap, dan Wikipedia menerima serangan DDoS

  • Meskipun datanya bisa diunduh secara gratis, bot tetap men-scrape semuanya
  • Hal ini menimbulkan trafik yang tidak perlu dan meningkatkan biaya
  • Ini bukan masalah hak cipta, melainkan karena inefisiensi bot dan ketidakpedulian operator
  • Diperlukan solusi

• Mencegah crawling mungkin merupakan pekerjaan yang sia-sia

  • Fitur ini justru bisa semakin memperkuat pemain besar yang sudah lebih dulu meng-crawl banyak data
  • False positive dan CAPTCHA berlebihan dapat berdampak pada pengguna

• Cloudflare menyediakan layanan perlindungan dari penyalahgunaan dengan cara baru

  • Cloudflare bekerja sama dengan pelaku penyalahgunaan untuk membentuk "marketplace"
  • Jika tidak menggunakan layanan Cloudflare, penyalahgunaan akan terus berlanjut
  • Ini bisa mirip dengan tindakan meminta uang perlindungan

• Pertanyaan tentang masa depan World Wide Web

  • Dulu terasa akan bertahan selamanya, tetapi suatu hari bisa lenyap seperti IRC
  • Masa keemasannya mungkin sudah lewat, dan "AI" bisa menjadi awal dari akhirnya

• Detail lebih lanjut bisa dilihat di blog Cloudflare

  • Demo AI Audit memungkinkan pemilik situs web melihat bagaimana model AI men-scrape situs mereka
  • Bisa melihat berapa kali scraper dari OpenAI, Meta, Amazon, dan lainnya mengunjungi situs

• Contoh Bingeclock yang menggunakan AI Audit

  • Perubahan menarik selama 48 jam setelah pengumuman Cloudflare
  • Program pembayaran ini menarik, tetapi penurunan trafik bisa membuat situs web menjadi tidak efisien
  • Scraper AI kemungkinan hanya akan membayar seminimal mungkin

• Langkah berikutnya: menggunakan AI generatif untuk membuat konten, lalu menerima pembayaran saat Cloudflare memindainya

• Berulang kali men-scrape situs yang sama adalah pemborosan besar

  • Jika Cloudflare dapat mengelola perubahan dan pembaruan, banyak sumber daya bisa dihemat
  • Situs memberi tahu Cloudflare langsung tentang perubahan, lalu Cloudflare menyampaikannya ke AI
  • AI membeli perubahan tersebut, Cloudflare membayar situs, dan mempertahankan marginnya