Perdebatan Cloudflare vs Perplexity. Tapi Semua Pengguna Web Perlu Mengetahuinya.

🚨 Ringkasan Kejadian

Pada 4 Agustus 2025, Cloudflare secara terbuka mengkritik AI search engine Perplexity sebagai "pelanggar standar web".

⚔️ Klaim Kedua Pihak

Klaim Cloudflare: "Stealth Crawling"

• Perplexity melewati pemblokiran crawling dalam 4 tahap
  1. Mencoba mengakses sebagai bot resmi
  2. Segera mengubah taktik saat diblokir
  3. Menyamar sebagai browser Chrome
  4. Mengakses kembali sambil mengganti alamat IP
• Mengumpulkan situs yang diblokir lewat robots.txt secara tidak sah lalu menyajikan ringkasannya

Bantahan Perplexity: "Agen Perwakilan Pengguna"

• AI untuk memproses permintaan pengguna, bukan crawler tradisional
• Tidak menyimpan konten dan hanya digunakan untuk menjawab secara real-time
• Mengklaim bahwa Cloudflare menganalisis lalu lintas BrowserBase secara keliru

💡 Opini Penulis: Cloudflare Lebih Rasional

1. Menyamar identitas bukan tindakan yang sah
2. robots.txt adalah standar web yang dipatuhi sejak tahun 1994
3. Struktur parasit yang mencuri pendapatan situs sumber
4. Ada praktik terbaik yang mematuhi standar, seperti OpenAI

🔮 Prospek ke Depan

• Revisi robots.txt untuk era AI
• Pembangunan skema autentikasi crawler AI
• Penyebaran model komersialisasi akses konten
• Penguatan regulasi hukum