Web Tidak Memerlukan Penjaga Gerbang: Usulan Baru Cloudflare tentang "Signed Agents"

• Kebijakan Signed Agents dari Cloudflare mengatasnamakan keamanan, tetapi pada praktiknya merupakan upaya tertutup yang menjadikan akses web berbasis izin
• Secara historis, web berkembang berkat keterbukaan dan standar, sementara teknologi tertutup seperti Flash dan Silverlight pada akhirnya tersingkir oleh standar terbuka seperti HTML5
• Ke depan, pengguna utama web akan menjadi agen AI, dan untuk itu dibutuhkan sistem autentikasi yang terdistribusi dan dapat diverifikasi serta otorisasi berbasis unit tugas
• Model yang tepat adalah menggabungkan delegasi berbasis rantai + bukti per permintaan, untuk mewujudkan autentikasi tepercaya dan kontrol izin yang terperinci
• Bukan perusahaan tertentu yang memegang kunci, melainkan web harus dijaga agar semua pihak dapat berpartisipasi dan berinovasi melalui protokol dan standar terbuka

---

Kritik terhadap Signed Agents Cloudflare

• Cloudflare mengusulkan sistem baru Signed Agents, tetapi pada dasarnya ini adalah kontrol akses berbasis daftar izin
• Ketika perusahaan tertentu menentukan apakah sebuah agen boleh didaftarkan, itu tidak lebih dari skema persetujuan vendor, bukan protokol internet
• Ini bertentangan dengan sifat internet yang terbuka, dan “mengisi formulir untuk mendapat izin” tidak bisa menjadi standar

Web harus tetap terbuka

• Strategi “embrace and extend” Microsoft pada era 90-an gagal, dan itu dimungkinkan karena web mempertahankan keterbukaannya
• Runtime tertutup seperti Flash dan Silverlight pada akhirnya digantikan oleh standar terbuka HTML5
• Sejarah berulang kali membuktikan bahwa standar terbuka mendorong inovasi

Datangnya era agen

• Agen AI akan menjadi pengguna utama web di masa depan, menjalankan pencarian informasi, otomatisasi, pembayaran, dan negosiasi kontrak
• Batas antara tindakan manusia dan agen akan makin kabur, sehingga sistem autentikasi berbasis delegasi menjadi kebutuhan mutlak

Authentication dan Authorization

• Authentication: siapa yang bertindak?
• Authorization: apa yang boleh dilakukan?
• Cloudflare mencampuradukkan dua konsep ini dan ingin menyelesaikan semua masalah dengan sebuah “paspor”, tetapi itu pada dasarnya mustahil
• Autentikasi yang benar harus diwujudkan melalui rantai delegasi dan tanda tangan per permintaan, dengan memanfaatkan mekanisme verifikasi terdistribusi seperti penerbitan kunci publik berbasis DNS

Manajemen izin

• Perangkat lunak tradisional berjalan baik dengan model scope OAuth berkat cakupan yang terbatas
• Namun, karena agen bersifat umum, dibutuhkan otorisasi berbasis unit tugas (task-scoped)
• Contoh: izin untuk “membayar makan malam” dan izin untuk “melihat riwayat pengeluaran 3 bulan” harus memakai token yang berbeda, meskipun digunakan oleh agen yang sama
• Untuk ini dapat digunakan token berbasis pembatasan seperti Macaroons, Biscuits, serta mesin kebijakan seperti OPA/AWS Cedar

Utamakan protokol, singkirkan penjaga gerbang

• Autentikasi, otorisasi, dan monetisasi harus dibangun di atas standar yang terbuka dan interoperabel, bukan dikendalikan oleh perusahaan tertentu
• Jika segelintir perusahaan yang menentukan validitas agen, web akan segera merosot menjadi taman tertutup (Walled Garden)
• Karena itu, delegasi berbasis rantai, bukti per permintaan, dan otorisasi berbasis cakupan tugas diusulkan sebagai open source agar siapa pun dapat mengimplementasikannya

Kesimpulan

• Masa depan web tidak ditentukan oleh “siapa yang mengendalikan gerbang”, melainkan oleh protokol yang bisa dibangun dan diinovasikan bersama oleh semua orang

[GN⁺]

Komentar Hacker News

• Mengecewakan bahwa semua orang memimpikan web yang sepenuhnya bebas dan terbuka, tetapi pada kenyataannya hampir tidak ada cara bagi pemilik blog kecil atau konten untuk melindungi diri dari bot pelatihan AI; tidak realistis untuk percaya bahwa mereka akan benar-benar membedakan antara agent dan bot training lalu menghormati robots.txt; bahkan jika robots.txt dipatuhi, konsep membeli data secara tidak langsung dengan dalih licensed data akan tetap berlanjut; kecuali Anda perusahaan seperti Reddit, X, Google, atau Meta yang punya sumber daya hukum nyaris tak terbatas, individu tidak punya kuasa; juga merekomendasikan video terkait yang menarik

  • Keinginan semua orang akan web yang bebas dan terbuka terasa bertentangan dengan keinginan untuk memblokir bot pelatihan AI; jika web terbuka untuk semua, maka bot pelatihan AI juga semestinya bisa mengaksesnya tanpa pengecualian

  • (Tentang impian open web) Mimpi akan konten terbuka di internet itu nyata; blog saya bisa diakses bebas oleh siapa pun—manusia maupun mesin; server saya juga saya hosting sendiri dari rumah, jadi saya tidak merasa perlu membedakan manusia dan AI; kalau yang dikhawatirkan adalah terlalu banyak pengunjung ke situs, maka baik manusia maupun AI, masalah sebenarnya adalah trafik berlebihan itu sendiri; saya hanya menaruh panduan minimum di robots.txt agar bot tidak masuk loop, lalu membiarkan crawling terbuka; Amazonbot juga sering mampir ke situs saya dan selalu saya sambut

  • Saya pikir kita perlu mengembangkan perangkat lunak bebas untuk melawan perangkat lunak yang bersifat bermusuhan; perusahaan besar mengembangkan agent AI yang bermusuhan, dan sebagai tandingannya para hacker yang cakap harus membuat anti-AI-agent; saya tidak setuju dengan sikap kalah sebelum bertanding yang mengatakan “kita tidak punya kekuatan”

  • Menunjukkan kenyataan bahwa di Hacker News ada banyak engineer dari perusahaan IT besar, tetapi mereka tidak pernah bicara soal privasi dan tata kelola data dalam pekerjaan mereka sendiri, dan selalu hanya berteriak soal isu lain; kalau butuh cermin untuk refleksi diri, saya bersedia membelinya

  • Saya tidak paham kenapa pertanyaan tentang perlunya melindungi blog kecil atau konten dari bot pelatihan AI sampai muncul; jika sampai membuat HTML dasar saja sulit sehingga harus memakai framework yang berat dan kompleks, dan akibatnya terlalu banyak menghabiskan resource CPU, menurut saya itulah masalah yang sebenarnya; kecuali Anda menganggap tulisan online Anda sebagai jalan menuju kekayaan dan ketenaran sebagai content creator, barulah mungkin layak dikhawatirkan; selain itu saya rasa memang tidak ada masalah

• Secara realistis, “web” sebenarnya sudah lama tidak terbuka; sebagian besar interaksi, posting, dan distribusi informasi terjadi di balik autentikasi (login); media sosial besar, surat kabar, dan kebanyakan layanan lain membatasi atau memblokir akses yang tidak diautentikasi; blog hanya mencakup porsi yang sangat kecil dari keseluruhan informasi yang dikonsumsi publik

  • Saya tidak setuju dengan klaim bahwa “web tidak lagi terbuka”; web tidak perlu menambah gatekeeper, dan kalau memang sudah terlalu banyak, justru harus dikurangi

• Saya juga tidak terlalu peduli dengan AI Agent itu sendiri; kalau memang ada pengguna nyata di belakangnya, saya tidak masalah; tetapi saya sangat keberatan ketika Meta, Perplexity, OpenAI, dan lainnya melakukan crawling besar-besaran ke situs saya; resource yang dipakai crawling AI bahkan lebih besar daripada pengguna nyata atau Google Search; fenomena core CPU terkunci oleh crawling AI benar-benar menjengkelkan

  • Saya juga punya beberapa aplikasi pribadi yang online, dan bulan lalu satu bot AI mengunduh 1.6TB data sehingga saya terpaksa menyalakan fitur perlindungan AI bot Cloudflare; ada lebih dari 1,3 juta request per hari tanpa henti sehingga tidak mungkin ditangani

  • Di beberapa situs marketing saya, ada 200–300 request per detik; bahkan mereka membuat URL acak yang tidak ada lalu memanggilnya, sampai di titik yang tidak mungkin dikendalikan

  • Saya jadi penasaran berapa banyak siklus CPU yang dihabiskan perusahaan AI karena web crawling; biasanya kalau bicara dampak lingkungan AI, yang dihitung hanya training atau inference layanan, padahal crawling web juga menambah beban; untuk perbandingan yang akurat, akan masuk akal jika dibandingkan dengan saat pengguna manusia melakukan tindakan yang sama secara langsung, dan bot dirancang untuk menghasilkan trafik dengan lebih efisien; artinya, jika tracker, gambar, dan elemen tambahan lain dipanggil seminimal mungkin dan hanya data yang dibutuhkan untuk kueri target yang diambil, total beban CPU justru bisa lebih rendah daripada seluruh umat manusia mengunjungi langsung lewat browser

  • Saya juga sama; selama ada pengguna nyata di balik AI agent dan aksesnya tidak terlalu berlebihan, saya tidak terlalu peduli; (bukan berarti saya memang berniat dipakai AI agent, tetapi saya tidak keberatan siapa pun memakainya bagaimana pun), hanya saja saya tidak suka crawling yang berlebihan; di sisi lain yang lebih penting adalah seseorang mungkin hanya ingin mengunduh satu file dengan curl atau memakai browser berbasis teks seperti Lynx; saya rasa skenario seperti ini juga harus tetap didukung

  • Cloudflare membedakan antara agent tertentu yang dicoba pengguna dan crawling membabi buta untuk mengumpulkan data training, bukan berdasarkan ada pengguna nyata atau tidak; sebagian besar request yang dikirim Meta, Perplexity, dan OpenAI sebenarnya adalah fungsi pencarian web yang berjalan sesuai prompt pengguna nyata, dan request itu tidak dipakai untuk melatih model LLM berikutnya; Cloudflare sengaja membuat perbedaan antara keduanya menjadi kabur, dan secara resmi mengusung narasi “melindungi kreator”, padahal pada dasarnya mereka sedang membangun sistem untuk menarik “uang lewat” dari penyedia LLM demi keuntungan mereka sendiri; saya rasa motivasinya pada akhirnya bukan soal keadilan, melainkan uang

• Saya memakai browser langka yang tidak banyak mengekspos data pribadi, dan dari sudut pandang Cloudflare saya juga terlihat seperti bot; saya pikir dalam lingkungan di mana host (pemilik situs) menentukan hak akses, privasi tidak bisa benar-benar ada; saya setuju dengan rate limiting untuk mencegah beban server, tetapi memblokir akses otomatis itu sendiri pada praktiknya mustahil, dan pada akhirnya pendekatan seperti ini juga akan mempersulit akses pengguna nyata

  • Saya penasaran apakah Anda saat ini sering mengalami diblokir oleh Cloudflare atau Turnstile; itu sudah tersirat di atas, tetapi saya ingin memastikannya secara langsung

  • Jika dilihat dari sudut orang yang tinggal di negara otoriter dan harus memakai VPN demi privasi dan kebebasan, internet berubah menjadi neraka captcha yang dijalankan oleh 2–3 perusahaan; ketika saya mengakses situs yang dilindungi Cloudflare dengan bot buatan saya sendiri, justru masalahnya lebih sedikit dibanding saat saya berselancar di internet biasa memakai VPN dan browser privasi; sebagai catatan, kalau Microsoft yang bertugas menjaga gerbang web, itu akan jauh lebih buruk; terutama kalau memakai VPN dan harus melewati captcha milik Microsoft, Anda perlu fokus lebih dari 5 menit seperti mau menulis satu paper agar bisa lolos

  • Pemilik situs juga tentu punya hak; mengatakan mereka tidak boleh memilih gatekeeping demi keberlanjutan finansial operasionalnya adalah tuntutan yang tidak masuk akal

  • Saya juga memakai browser langka dan sering terkena bot blocker; tetapi saya juga berpikir host memang punya hak untuk memperlakukan request saya sesuka mereka; khususnya untuk situs pemerintah, saya rasa tanggung jawab untuk melayani semua orang secara adil jauh lebih besar

• Kalau ada alternatif yang lebih terbuka, saya ingin mendengarnya; tetapi untuk saat ini cara yang dipakai Cloudflare memang menyelesaikan masalah nyata bot AI dengan cukup baik; sebelumnya orang sudah mencoba memblokir lewat IP atau user agent, tetapi ada batasnya; dan sebenarnya masalah keamanan lain juga selama ini diselesaikan dengan cara yang agak tersentralisasi seperti ini; certificate authority bukan sistem terbuka, penyedia attestation juga bukan sistem terbuka, tetapi tetap berjalan

  • Jika ingin solusi yang lebih terbuka, regulasi mungkin jawabannya; request dari crawler yang tidak secara eksplisit diizinkan oleh operator situs di robots.txt bisa dilarang secara hukum, lalu penegak hukum yang menindak langsung; jika operator bisa membuktikan trafik bot, mereka bisa melaporkannya ke pemerintah agar dijatuhi denda besar; penyedia layanan cloud juga bisa diwajibkan menyimpan catatan siapa memakai IP yang mana; ini bukan solusi 100%, tetapi jika diterapkan dengan baik bisa memberi efek jera yang cukup kuat

  • Ini mungkin bukan solusi terbaik, tetapi secara realistis merupakan solusi yang cukup bekerja; banyak kritik soal sentralisasi, tetapi jika Cloudflare berhasil membuat penyedia AI besar dan CDN ikut serta, saya pikir ini bisa mengeras menjadi standar de facto

  • Sertifikat tidak memblokir manusia hanya karena salah mengira mereka sebagai bot

  • Saya justru menganggap AI poisoning—sengaja mencampurkan informasi salah ke data untuk mengganggu AI—sebagai perlindungan yang lebih efektif; Cloudflare sendiri juga mungkin bisa menyediakan layanan yang sengaja memberi data salah kepada bot AI

  • Faktanya, sebelum Let's Encrypt muncul, CA sering kali hanya dipakai di situs perusahaan umum, itu pun terbatas pada sebagian halaman login; kalau bukan karena kebijakan terbuka Let's Encrypt, data pribadi kita mungkin masih terus terekspos ke ISP atau pihak man-in-the-middle; penyedia attestation juga tidak berdaya, misalnya ketika kerentanan perangkat sudah diketahui luas tetapi mereka menolak mencabut sertifikasi karena keputusan bisnis; kesimpulannya, dalam sebagian besar diskusi tampaknya belum ditemukan alternatif yang benar-benar baik; Cloudflare menjadi gatekeeper internet adalah solusi buruk, tetapi masalahnya sendiri jauh lebih serius; solusi yang sepenuhnya terdistribusi sebenarnya sudah ada (misalnya remote attestation, model kunjungan/berlangganan berbayar, firewall self-hosted, dan sebagainya); sikap yang mengabaikan efek samping AI dan hanya berkata “bayar saja biayanya” justru ikut membesarkan Cloudflare; kalau ISP dan pihak lain tidak mengabaikan spoofing, DDoS, botnet, dan masalah serupa, Cloudflare mungkin hanya akan menjadi pesaing seperti Akamai, bukan lebih dari itu

• Dunia ini sudah punya terlalu banyak gatekeeper; setiap upaya menambah gatekeeper baru seharusnya dipandang sebagai tindakan agresif; Cloudflare dan Google sama-sama mendorong posisi gatekeeper mereka makin kuat; kalau tren ini berlanjut, saya ingin melihat keduanya runtuh total

  • Banyak perusahaan mencoba menawarkan solusi untuk masalah bot AI, dan jika Cloudflare yang terpilih, mereka akan meraup keuntungan besar; tetapi meski Cloudflare mundur, masalahnya tidak akan hilang, hanya akan digantikan alternatif buruk dari perusahaan lain; gatekeeping pada dasarnya adalah opsi yang dipilih pemilik situs sendiri (misalnya paywall, deteksi bot buatan sendiri, verifikasi identitas, dan sebagainya); Cloudflare sudah menyediakan layanan seperti ini, dan jika nanti sampai distandardisasi, pilihan akan bertambah dan pasar juga makin terbuka (beserta efek sampingnya); kebebasan open web yang sejati berlaku bukan hanya bagi pengunjung, tetapi juga bagi pemilik situs

  • “Hasrat” Google untuk menjadi gatekeeper masa depan sudah kelewatan; Google sendiri sudah bertahun-tahun menjadi gatekeeper lewat pangsa pasar browser Chrome; Firefox pun makin nyaris tak terlihat; pandangannya adalah Google sedang mengarahkan seluruh WWW ke arah yang mereka inginkan (uBlock dilarang, format .webp dipaksakan, dan sebagainya)

• Sebelum menyoroti allowlist yang dijalankan satu perusahaan sebagai masalah, perlu diingat bahwa operator situs sendirilah yang memilih layanan itu; ironisnya, sambil membahas secara ideologis soal “keadilan”, orang yang sama mungkin juga mengunggah komik buatan AI di blog mereka, yang menunjukkan kontradiksi bahwa AI sudah masuk jauh ke kehidupan nyata

  • Cloudflare sedang mengimplementasikan standar Web Bot Auth yang sedang muncul, dan kami di Stytch juga menerapkan standar yang sama di IsAgent.dev; saya berhati-hati karena diskusi saat ini agak terlalu panas, tetapi pada akhirnya allowlist hanyalah opsi yang diberikan kepada pelanggan Cloudflare, sementara inti seperti HTTP Message Signature didesain terbuka/terdistribusi sehingga bisa dipakai siapa saja

  • Menggunakan allowlist satu perusahaan sebagai pilihan pribadi tidak masalah besar, tetapi itu sendiri tidak membuatnya menjadi protokol; dan perdebatan soal keadilan tampaknya tidak punya hubungan logis dengan penggunaan komik AI

  • Ini situasi antara penggorengan dan api—memilih opsi yang kurang buruk, bukan yang benar-benar baik—dan ada risiko solusi perusahaan tertentu bertahan seperti standar publik yang tidak resmi; padahal momen ini sebenarnya bisa dipakai untuk membuat solusi yang benar-benar berbasis protokol/standar, tetapi Cloudflare justru sedang berusaha menciptakan samudra biru mereka sendiri; dan sindiran bahwa mereka bicara soal “keadilan” sambil pada saat yang sama memakai AI dalam berbagai sisi kehidupan terasa cukup cerdik

• Menurut saya ini mirip dengan struktur email; email berbasis standar internet, tetapi kebanyakan pengguna pada akhirnya terkonsentrasi pada segelintir penyedia layanan seperti Gmail; Cloudflare juga mendorong standar terbuka itu sendiri, tetapi kekuatan nyatanya datang dari banyaknya pelanggan besar yang mereka miliki; (juga melempar pertanyaan tentang apa alternatif yang bagus), dan seperti email yang punya masalah reliabilitas pengiriman rendah dan implementasi yang sulit karena penyaringan spam, web juga bisa menempuh jalan serupa

  • Secara praktis tidak ada alternatif yang bisa menggantikan Cloudflare sebagai CDN gratis; mereka memasang server di seluruh dunia dan memberikannya gratis, lalu menghasilkan uang dari layanan serverless premium; sementara penyedia cloud besar mengenakan biaya egress trafik yang tidak masuk akal mahalnya

• Web tidak menginginkan attestation, signed agent, atau Cloudflare yang memutuskan siapa agent yang “asli”; semua orang perlu kembali memahami arti “public”, dan jika penanganan trafik terlalu berat maka cukup lakukan rate limiting dasar; web tidak perlu peduli apakah peminta itu manusia, bot, atau anjing—selama masih dalam batas resource yang wajar, cukup kirimkan byte kepada semua peminta; jika esensi “open web” seperti ini hilang, semua orang akan menyesalinya

  • rate limiting dasar juga rentan terhadap serangan; botnet tidak bisa diabaikan, dan dengan peralihan ke IPv6, rate limiting yang berguna pada praktiknya menjadi hampir mustahil; kalau ukuran bucket salah ditetapkan, beberapa operator jaringan bisa memberi blok /48 terlalu mudah sehingga limit jadi tidak berguna, atau pengguna seluler malah mengikat ratusan ribu orang ke satu rate limit yang sama

  • Pendekatan seperti ini pada akhirnya sama saja dengan menyuruh banyak situs kecil tutup karena tidak mampu menangani trafik, yang justru bertentangan dengan slogan “internet terbuka”

  • Crawler AI terbaru kini sudah tak bisa dibedakan dari botnet jahat; rate limiting biasa tidak lagi berarti, dan inilah titik yang membuat Cloudflare mencoba turun tangan menyelesaikannya

  • Klaim bahwa “public ya berarti PUBLIC” memang ideal jika situs bisa dijalankan hanya dengan rate limiting dasar, tetapi pada praktiknya kecepatan akses yang diterima harus dinyatakan dan dipublikasikan; masalahnya, banyak kasus di mana hanya karena user-agent berbeda, request tunggal pun langsung diblokir; pada akhirnya operator cenderung memblokir request apa pun hanya berdasarkan identitas, bukan perilaku bot; tolok ukurnya terlalu kasar sehingga menghasilkan banyak false positive, dan bahkan dalam kasus seperti itu, tidak ada upaya atau konteks yang benar-benar ditinjau—hanya identitasnya yang dilihat lalu diputuskan diblokir

  • rate limiting dasar sendiri pun sering tidak mudah diimplementasikan; kecuali jika memang diperlukan autentikasi/delegasi hak akses tertentu, saya pikir akses ke file publik tidak perlu autentikasi atau delegasi tambahan; sekalipun ada isu delegasi seperti itu, tidak ada alasan pihak ketiga seperti Cloudflare perlu ikut campur di luar peran pihak yang benar-benar mendelegasikan

• Saya sebagian besar setuju dengan pendapat penulis; di lingkungan enterprise, tantangannya adalah bagaimana mengendalikan perilaku agent di jaringan privat yang kompleks; baru-baru ini saya membuat sendiri sistem identity token berbasis biscuit, di mana token ini dipakai untuk mengautentikasi diri, lalu setelah itu bisa membuat token delegasi untuk diteruskan ke agent turunan; di sistem saya, tanpa authorization token Anda tidak bisa melakukan apa pun (konsep single-scope, single-use); untuk internet, saya membayangkan identity token + pembayaran mikro (misalnya transaksi crypto yang sangat kecil) bisa ditukar dengan authorization token; dengan begitu, pengguna manusia hampir tidak terkena biaya sehingga tidak jadi masalah, sementara crawler AI harus membayar jauh lebih banyak