Apa yang Terjadi pada TheNumbers.com

• The Numbers, yang menyediakan data untuk sekitar 78.000 film, tiba-tiba berhenti beroperasi pada 5 Maret 2026. Karena lalu lintas otomatis berskala besar dan pemindaian keamanan yang menargetkan sistem berusia 30 tahun, situs lama dibuang dan hanya fungsi minimum yang dipulihkan
• Porsi manusia dalam total lalu lintas hanya sekitar 10%. Sejak Desember 2025, pengumpulan berbasis prompt dan lalu lintas AI agentik melonjak, sehingga sekitar 90% jam kerja tim operasional tersita untuk mempertahankan situs lama
• Log menunjukkan bukan hanya pengumpulan normal, tetapi juga pemindaian backdoor yang tampaknya bertujuan mendapatkan akses dini ke data atau memanipulasinya. Namun penyebab pasti gangguan dan pelaku serangan tidak terkonfirmasi
• Ketika data The Numbers digunakan sebagai acuan untuk menyelesaikan pasar prediksi box office film di Polymarket, data sebelum dipublikasikan dapat memberi keunggulan dalam perdagangan, sementara alat AI memungkinkan eksplorasi kerentanan situs lama dengan biaya murah
• Crawler AI menimbulkan biaya besar dan gangguan tanpa mengembalikan pembaca, merusak hubungan pertukaran web terbuka. Arsip independen, situs berita, forum, dan situs referensi yang bergantung pada kode lama serta tim kecil sangat rentan

---

Minggu Ketika Fondasi Data Industri Film Menghilang

• The Numbers adalah situs data film dengan lebih dari 8 juta pengunjung per tahun, yang meneliti dan menyediakan langsung data pendapatan box office, biaya produksi, home video, dan streaming
  • Jurnalis, akademisi, pembuat film, pasar prediksi, dan Guinness World Records menggunakannya sebagai sumber otoritatif
  • Pada awal 2026, basis datanya berisi 78.396 film, 178.375 catatan rilis bioskop, dan 236.176 tokoh
• Situs tersebut berhenti pada 5 Maret 2026 dan tidak kembali selama lebih dari seminggu, lalu dipulihkan pada 13 Maret di infrastruktur baru dalam versi yang diperkecil
  • Grafik lama, halaman per film, Report Builder, dan lainnya menghilang; hanya fungsi minimum yang berfokus pada angka box office terbaru yang tersisa
  • Karena hanya pesan pembangunan ulang yang ditampilkan tanpa penjelasan rinci, pengguna marah, bahkan muncul kecurigaan bahwa fitur sengaja dikurangi untuk mendorong peralihan ke produk berbayar

Sistem Berusia 30 Tahun yang Dimulai pada 1997

• Bruce Nash, seorang matematikawan dan mantan pengembang perangkat lunak IBM, memulai situs Geocities yang melacak 300 film pada 17 Oktober 1997
  • Awalnya ia membuat HTML dari database Access, mengunggahnya ke Geocities, dan membagikan analisis box office di papan pesan Hollywood Stock Exchange untuk digunakan dalam perdagangan saham film
  • Tulisan refleksi ulang tahun ke-20 saat itu kini hanya tersisa sebagai arsip di Internet Archive
• Situs lama yang diperluas selama puluhan tahun menyediakan sekitar 2 juta halaman dari kira-kira 160.000 file sumber

Dua Gelombang Lalu Lintas yang Diciptakan Crawler AI

• Selama 25 tahun pertama, pengunjung utama adalah manusia, mesin pencari yang relatif patuh pada aturan, dan pengumpul data untuk proyek pribadi; pengumpul yang berlebihan bisa ditemukan dan diblokir
• Perubahan pertama dimulai sekitar 2024, ketika crawler untuk pelatihan AI bergabung dengan pengindeksan mesin pencari
  • Crawler AI cenderung kurang mematuhi aturan dibanding mesin pencari, sehingga pekerjaan administrasi untuk menjaga situs tetap stabil meningkat
  • Pada 2024, lalu lintas otomatis di seluruh web melampaui lalu lintas manusia, dan dalam agregasi Cloudflare berikutnya bot mencapai 57,5% dari permintaan halaman web
• Gelombang kedua dimulai sekitar Desember 2025, ketika agent AI yang mengumpulkan situs sebagai respons terhadap prompt dan agent buatan pengguna sendiri semakin memperbesar lalu lintas
  • Dari kunjungan ke The Numbers, porsi manusia yang menelusuri langsung sekitar 10%, sementara sisanya adalah bot AI dan lalu lintas otomatis
  • Dari Desember hingga awal Maret, tim operasional menghabiskan sekitar 90% jam kerja untuk mempertahankan situs lama dan mengembangkan sistem baru dengan waktu yang tersisa

Respons yang Mengarahkan Crawler ke Jalur Lisensi

• Tim operasional memasukkan panduan yang dapat dibaca LLM ke situs, agar alih-alih mengumpulkan data secara langsung, sistem menjawab dengan cara membeli lisensi
  • Setelah itu, pertanyaan tentang lisensi data meningkat sekitar 10 kali lipat
• Langkah mitigasi lalu lintas efektif, tetapi tidak menghilangkan beban struktural karena mereka harus terus menjalankan layanan sambil mempertahankan kode berusia 30 tahun dan 160.000 file

Server Padam dan Jejak Pemindaian Keamanan

• Server runtuh pada dini hari 5 Maret, dan awalnya tim operasional mencurigai beban lalu lintas AI sebagai satu-satunya penyebab
• Dalam log ditemukan upaya mencari backdoor, selain akses menggunakan URL normal
  • Ada kemungkinan seseorang mencoba mengakses data sebelum situs memublikasikannya atau memanipulasi data yang diberikan kepada pengguna
  • Selama berbulan-bulan ada pengumpulan dan pemindaian otomatis, tetapi tidak terkonfirmasi apa yang menyebabkan gangguan akhir dan siapa yang menjalankannya
• Mengikuti saran pakar keamanan siber, server lama tidak dinyalakan kembali
  • Memulihkan cadangan akan kembali mengekspos 160.000 file legacy kepada penyerang yang telah lama memindai kerentanan
  • Karena dinilai server lama bisa kembali berhenti dalam hitungan menit setelah dinyalakan, mereka membangun versi fungsi minimum di infrastruktur baru

Nilai Finansial yang Diberikan Pasar Prediksi pada Data Film

• Polymarket menjalankan pasar untuk performa akhir pekan pembukaan film dan menetapkan Daily Box Office Performance dari The Numbers sebagai acuan penyelesaian pasar
• Pasar untuk satu akhir pekan biasanya bernilai puluhan ribu hingga ratusan ribu dolar, dan total pasar box office film yang terbuka pada saat bersamaan kadang melibatkan jutaan dolar
• Jika seseorang dapat melihat data The Numbers sebelum dipublikasikan, setiap minggu ia bisa mengetahui hasil lebih dulu daripada trader lain dan melakukan transaksi lebih awal
• Pasar prediksi dapat mengubah hampir semua data menjadi nilai finansial, alat AI murah menurunkan hambatan teknis untuk membobol situs, dan bot agent berskala besar memperbesar kerentanan infrastruktur web lama

AI Menurunkan Hambatan Masuk Serangan Siber

• Pada November 2025, Anthropic mengungkap kampanye spionase siber terdokumentasi pertama yang dikoordinasikan AI
  • Organisasi yang didukung negara menyerang sekitar 30 institusi, dan AI melakukan 80–90% pekerjaan
  • Manusia hanya terlibat pada 4–6 titik pengambilan keputusan per kampanye
  • Hambatan untuk serangan siber canggih telah turun drastis dan tampaknya akan terus turun
• Menurut laporan ancaman Anthropic sebelumnya, penjahat dengan kemampuan teknis terbatas pun menggunakan AI untuk melakukan pekerjaan kompleks seperti mengembangkan ransomware, yang dulu membutuhkan bertahun-tahun pelatihan
• Alat penetration testing AI otonom XBOW mengajukan sekitar 1.060 kerentanan dan menempati peringkat pertama HackerOne di AS
• Situs berusia 30 tahun yang kemungkinan memiliki kerentanan dikenal adalah attack surface yang cocok untuk dieksplorasi murah oleh alat AI, dan hambatan keahlian yang dulu melindungi situs kecil telah sangat melemah

The Numbers Melakukan Pembangunan Ulang Menyeluruh

• Situs publik memang berhenti, tetapi sumber pendapatan inti The Numbers tidak terdampak, sehingga bisnisnya sendiri tetap bertahan
  • Situs gratis dalam beberapa tahun terakhir tidak terlalu bergantung pada iklan
  • Bisnis utamanya adalah OpusData, yang menjual data massal, laporan analisis komparatif untuk pembuat dan investor film, serta Business Report
• Karena harus membangun ulang dari nol situs web yang menyediakan 78.396 film, 178.375 catatan rilis, dan 236.176 tokoh, mereka belum bisa memulihkan semua fungsi sekaligus
• Tim operasional membagi pengguna yang harus dihadapi situs publik pada 2026 menjadi enam kategori
  • Manusia
  • Mesin pencari
  • Pekerjaan pelatihan LLM
  • Lalu lintas AI berbasis prompt
  • AI agentik
  • Trader pasar prediksi
• Jika dulu mereka berfokus pada tiga elemen—konten, iklan, dan SEO—kini setiap keputusan desain harus mempertimbangkan sekitar 8–10 elemen
• Situs baru bertujuan mendukung keenam jenis pengguna, menambahkan fungsi untuk layanan OpusData dan pelanggan Business Report, serta mengembalikan data lama kepada pengguna umum dalam bentuk yang lebih baik

Biaya Crawling dan Pengunjung yang Tidak Kembali

• Dalam agregasi per platform Cloudflare, skala crawling yang diizinkan situs untuk memperoleh satu pengunjung rujukan sangat berbeda
  • Google mengumpulkan sekitar 5 halaman per satu pengunjung
  • OpenAI mengumpulkan lebih dari 1.000 halaman
  • Anthropic mengumpulkan lebih dari 38.000 halaman
• Hubungan pertukaran web terbuka, di mana mesin pencari membaca konten lalu mengirimkan pembaca, tidak berfungsi pada crawler AI
• Pengumpulan massal meningkatkan biaya bandwidth situs kecil dan dapat mematikan seluruh layanan

Kerugian Pengumpulan Massal yang Dialami Situs Lain

• Di Read the Docs, satu crawler mengunduh 73 TB HTML terkompresi dalam sebulan, menimbulkan biaya bandwidth lebih dari 5.000 dolar
• iFixit mencatat 1 juta permintaan dalam sehari dari crawler Anthropic
• Penjual scan 3D dengan 7 karyawan, Triplegangers, berhenti saat jam kerja karena bot OpenAI, dan CEO-nya menilainya sebagai serangan DDoS secara praktis
• Operator SourceHut menghabiskan 20–100% jam kerja setiap minggu untuk menangani crawler AI dan mengalami puluhan gangguan singkat per minggu
• Situs berita Linux LWN menilai lalu lintas crawler dari jutaan IP sebagai serangan distributed denial-of-service
• Sekitar 97% lalu lintas yang diukur proyek open source GNOME adalah bot
• Sebuah perpustakaan universitas memblokir 16.000 alamat IP selama 48 jam untuk menjaga layanan katalognya tetap berjalan

Biaya dan Penurunan Pembaca yang Dialami Wikipedia

• Wikimedia Foundation menghitung pada April 2025 bahwa bot menyumbang sekitar 35% page view Wikipedia, tetapi setidaknya 65% pada lalu lintas dengan biaya pemrosesan tertinggi
  • Karena crawler mengambil secara massal bahkan halaman yang hampir tidak pernah dibaca manusia, porsi biayanya lebih tinggi
• Enam bulan kemudian, page view manusia di Wikipedia turun sekitar 8% dibanding tahun sebelumnya
  • Pengguna makin sering memperoleh pengetahuan dari ringkasan AI tanpa mengunjungi Wikipedia langsung
  • Sistem AI mengambil konten dalam skala besar sekaligus mengurangi pembaca yang seharusnya diterima situs asal

Ketika Asumsi Internet Lama Runtuh

• Alat AI kuat sekaligus destruktif, dan sedang diuji secara real time oleh publik di lingkungan nyata
• Web terbuka lama dibangun di atas asumsi berikut, tetapi semuanya tidak lagi sesuai dengan situasi saat ini
  • Sebagian besar pengunjung adalah manusia
  • Lalu lintas umumnya sebanding dengan jumlah pembaca
  • Biaya penyediaan situs terkait dengan nilai yang diperoleh operator
• Terlepas dari persoalan apakah kegunaan AI disangkal atau tidak, web saat ini belum siap menghadapi kekuatan dan skala model AI yang dapat diakses siapa saja

Eksperimen Penagihan Crawling dan Pemblokiran Default

• Cloudflare meluncurkan pay-per-crawl, yang memungkinkan situs membebankan biaya per halaman kepada crawler AI
• Setelah itu, Cloudflare mengumumkan model pay-per-use, yang membayar penerbit ketika konten benar-benar digunakan dalam jawaban AI
• Mulai 15 September, halaman berbasis iklan milik pelanggan Cloudflare akan secara default memblokir crawler mixed-use yang tidak membayar
• Keberhasilan kebijakan ini bergantung pada apakah perusahaan AI ikut dalam sistem penagihan alih-alih mengakalinya secara teknis

Peringatan bagi Seluruh Situs Web Independen

• The Numbers kehilangan seluruh situsnya di antara lalu lintas mesin berlebihan dan kemungkinan intrusi, tetapi bisa bertahan karena situs publik bukan keseluruhan bisnisnya
• Perusahaan tekstil Jerman ZEGO telah beroperasi selama 37 tahun, tetapi setelah serangan siber pada Maret menghentikan produksi selama 6 minggu, perusahaan itu mengajukan pailit
• Arsip independen, database hobi, berita lokal, forum, dan situs referensi mempertahankan pengetahuan bersama yang terkumpul sambil bergantung pada kode lama serta tim kecil atau operator individu
• The Numbers sedang pulih dengan struktur yang lebih baik, dan terus menggunakan serta mendukung situs kecil yang dibuat untuk internet lama kini berkaitan langsung dengan kelangsungan hidup mereka

[GN⁺]

Komentar Hacker News

• Serius bertanya: bukankah pasar prediksi bisa menjadi sumber pendapatan baru bagi TheNumbers.com? Ada kemungkinan sebagian penyerang memperoleh angka sebelum dipublikasikan dan mencoba bertaruh di pasar prediksi dengan informasi yang pasti.
  Itu jelas insider trading dan sangat tidak etis, tetapi CEO PolyMarket pernah mengatakan bahwa insider trading adalah bagian dari maksud layanan mereka: https://youtu.be/ZN4njIQcSR4?si=ztyTtgjeHSJbNjSZ&t=1566

• Intinya bukan sekadar agen membombardir situs, melainkan adanya potensi kerentanan yang bisa dieksploitasi. Itu juga alasan situs sempat berhenti lalu kembali dengan data dan desain yang sangat dipangkas.
  Jika pengguna jahat dapat mengakses data The Numbers sebelum dipublikasikan, setiap minggu mereka bisa mengetahui jawabannya lebih dulu daripada trader lain dan melakukan front-running.

  • Jika trader pasar prediksi mencoba melakukan front-running terhadap hasil, pihak pasar prediksi harus mencegahnya dengan menetapkan jeda penghentian perdagangan tertentu sebelum pasar ditutup.

• Melihat spekulasi Reddit bahwa ini adalah rug pull yang disengaja untuk merusak situs gratis dan menggiring pengguna ke produk berbayar, saya jadi khawatir sumber daya gratis akan makin berkurang ke depannya.
  Dulu saya merilis alat kecil sebagai open source dengan harapan bisa dipakai seseorang untuk menyelesaikan masalah serupa, tetapi kini saya enggan berkontribusi ke web gratis karena tahu itu akan di-scrape, menjadi data pelatihan, lalu kelak dimonetisasi. Wajar jika pengelola situs gratis yang berguna marah.

  • Praktik men-scrape situs orang lain untuk dimonetisasi sudah ada sebelum tren large language model; yang berubah adalah skalanya.
    Bukan hanya karya digunakan dengan cara yang tidak menyenangkan, tetapi biaya dan waktu pemeliharaan juga meningkat hingga menimbulkan kerugian nyata.
  • Baru-baru ini saya mengubah proyek open source yang mendapat 200 bintang GitHub menjadi privat. Tidak masalah jika proyek lain menjadikannya basis dan mencantumkan sumber, tetapi large language model menyedot semuanya, mengolahnya, lalu menyajikannya seolah-olah milik sendiri.
  • Jika pada akhirnya orang akan membayar di tempat lain untuk mengakses data itu, mengapa harus menyediakannya secara gratis? Karena penggunaan AI yang sembrono, seluruh internet bisa bergerak menuju keserakahan ekstrem, mirip dengan cara Google memanfaatkan kebiasaan orang yang tidak melihat halaman ke-2 hasil pencarian dan mematikan situs-situs kecil.
  • Saya merilis sebanyak mungkin sebagai open source karena saya ingin model belajar dari perangkat lunak saya dan menjadi lebih baik.
  • AGPL berikutnya, atau mungkin GPL biasa, tampaknya akan secara eksplisit melarang pelatihan model tertutup menggunakan materi sumber. Idealnya, model dengan bobot terbuka pun harus dilarang jika tidak membagikan seluruh proses pelatihannya.

• Beberapa tahun lalu selama Covid-19, saya mengelola situs untuk mencari dana bantuan usaha kecil pemerintah AS dan pinjaman penipuan yang didakwa DOJ. Seluruh data publik sekitar 10GB bisa diunduh gratis, dan donasi terkumpul total sekitar 2.000 dolar.
  Namun crawler AI, alih-alih memakai tautan unduhan lengkap di halaman depan, menjelajahi semua kombinasi kondisi pencarian halaman demi halaman dan mengunduh puluhan terabita HTML. Meski memakai cache CloudFront dan backend yang efisien, biaya jaringan bulanan saja menjadi sekitar 1.000 dolar, sehingga saya menutup situs itu bulan berikutnya.

  • Jika memakai dataset publik BigQuery, meskipun pengguna menjalankan SQL kompleks, biayanya ditanggung pengguna, dan penyedia hanya membayar biaya penyimpanan.
  • Server dedicated Hetzner memiliki inbound dan outbound tak terbatas, dan lewat lelang server bisa mendapatkan mesin berkinerja tinggi seharga sekitar 40 dolar per bulan.
    Namun jika terlambat membayar, server bisa dihapus dalam waktu kira-kira seminggu, jadi jangan pernah menunggak.
  • Itu mungkin bukan crawler AI, melainkan penyerang DDoS yang membentuk opini publik untuk mendorong pembelian layanan keamanan dan memperkuat monopoli browser yang sudah ada.
  • Membangun di atas AWS seperti bom waktu finansial.
  • Saya penasaran mengapa crawler AI menimbulkan beban lebih besar daripada crawler lama seperti mesin pencari. Saya ingin tahu apakah mereka menjelajah lebih menyeluruh atau berkunjung lebih sering.

• Bukankah kita membutuhkan pola teknologi dan library open source untuk merespons perubahan komposisi trafik ini? Jutaan situs kecil dan kreator tidak punya kemampuan untuk mempertahankan diri sendiri dari akses otomatis berskala besar, dan semakin berguna kontennya, semakin agresif pula crawling yang diterima, sehingga biaya operasional dan ketidakstabilan meningkat.
  Dibutuhkan alat pengelolaan komunitas yang mencakup identifikasi agen, pembatasan laju, klasifikasi trafik, kebijakan akses, cache, prosedur verifikasi, logging, pengecekan asal, dan kontrol penggunaan. Alih-alih setiap operator membuatnya sendiri dari nol, perlu aturan umum yang kuat dan sesuai dengan trafik otomatis masa kini.

  • Diperlukan respons bersama terhadap botnet. Bot baik yang mengungkap identitas dan mematuhi aturan mudah diblokir, tetapi bot jahat yang bertindak seperti pengguna sungguhan dan bersembunyi di balik proxy residensial hampir mustahil dihentikan.
    Ada juga perusahaan yang secara terbuka menjual akses proxy dari smart TV dan ponsel yang terinfeksi, jadi mungkinkah membuat basis data IP tersebut dan memblokirnya? Jika pemberitahuan pemblokiran mendorong orang memeriksa perangkat terinfeksi di rumah, mungkin masalahnya bisa diselesaikan dari akar: https://news.ycombinator.com/item?id=49000864
  • Solusi komunitas adalah kepatuhan terhadap robots.txt, tetapi karena itu bukan kewajiban hukum melainkan gentlemen’s agreement, crawler AI mengabaikannya.
    Pada akhirnya kita kembali ke cara-cara lama untuk mengendalikan lonjakan trafik. Alat yang diusulkan sudah dipakai selama puluhan tahun untuk menahan efek Slashdot, DDoS, dan crawling mesin pencari yang berlebihan, dan perusahaan seperti Cloudflare sudah memimpin bidang ini.
  • Saya rasa tidak ada solusi teknokratis untuk masalah ini. Orang-orang kaya sedang melakukan DDoS terhadap internet dengan uang mereka tanpa alasan khusus, jadi pelakunya harus ditemukan dan dikenai denda atau hukuman penjara. Penyedia proxy residensial bisa menjadi titik awal.

• Perusahaan AI benar-benar mensosialisasikan biaya dan memprivatisasi keuntungan. Situs seperti The Numbers menanggung biaya untuk bertahan dari serbuan AI, tetapi tidak menerima apa pun dari perusahaan AI.

  • Namun setelah situs menambahkan panduan untuk large language model, permintaan lisensi disebut meningkat 10 kali lipat. Artikel tidak menyebutkan apakah pembayaran kontrak benar-benar dilakukan.
    Jika crawler membayar lisensi untuk data lengkap berkualitas tinggi, itu tidak masalah; inti persoalannya adalah mereka bahkan mulai mencari kerentanan untuk mengakses data sebelum dipublikasikan.
  • Bukan hanya tidak mendapat imbalan, mereka juga menanggung biaya tambahan

• Area publik gratis tampaknya merupakan situs yang ideal untuk dibuat ulang dengan static site generator dan digabungkan dengan CDN yang bisa mengenali bot. Dengan begitu, sepertinya bisa dioperasikan lama dengan biaya yang masuk akal
  Saya juga penasaran dengan arsitektur lama dan baru, serta strategi mitigasi dan penskalaan yang diterapkan untuk mempertahankan situs

  • Masalah ini sudah diselesaikan 20 tahun lalu dengan Varnish Cache dan Coral CDN. Bot hanya mengungkap betapa tidak efisiennya web server modern belakangan ini
    Situs PHP yang asal-asalan pada era 2000-an pun bisa menangani sekitar 200 request per detik, situs statis lebih dari 1.000, dan Node.js mengklaim 100 ribu request per detik berkat cooperative threading. Sebaliknya, situs masa kini menjalankan ratusan hingga ribuan query database karena ORM dan masalah N+1, sehingga respons memakan waktu 500 ms atau lebih dan bahkan 1.000 pengguna bersamaan terasa membebani
    Russian doll cache yang independen dari bahasa dan database, serta invalidasi cache yang akurat untuk data dependen, tidak pernah menjadi umum. Saya sudah mencoba sampai event touch Laravel dan cache query Redis, tetapi invalidasi cache pada praktiknya masih merupakan masalah yang belum terpecahkan; jangan mengimplementasikannya sendiri, dan sejak awal pertimbangkan strategi seperti package dan sharding
    Web seharusnya menjadi penyimpanan P2P beralamat konten seperti BitTorrent, yang mengambil konten dari peer terdekat, tetapi HTTPS/SSL dan model keamanan browser menjadi penghalang. Mungkin bahkan dibutuhkan jaringan kepercayaan atau zero-knowledge proof, jadi untuk sementara kita tampaknya akan terjebak dengan layar verifikasi manusia yang sudah usang
  • Dari sisi pendekatan, publikasi yang hampir sepenuhnya statis saja bisa menghasilkan model keamanan yang sangat baik, dan sepertinya memang sudah saatnya ditulis ulang. Dengan bantuan large language model, sekarang mungkin hanya pekerjaan akhir pekan

• Pada 2015 saya memulai Applaudience, yang saat itu satu-satunya penyedia data penjualan tiket film real-time, dan dalam proses kalibrasi saya sering membandingkannya dengan angka TheNumbers.com
  Sekarang saya menjalankan bisnis lain, tetapi dari teknologi yang saya buat sendiri, itu masih yang paling saya sukai, jadi suatu hari ingin menghidupkannya kembali

• Crawler perusahaan AI besar bisa diblokir dengan menetapkan Disallow: / di robots.txt masing-masing untuk ClaudeBot, Claude-SearchBot, Claude-User, GPTBot, OAI-SearchBot, PerplexityBot, Google-Extended, Google-Extended-Factual, dan Bingbot

  • Ini hanya berfungsi untuk crawler yang mematuhi aturan. Bot yang memanfaatkan perangkat konsumen seperti smart TV atau aplikasi ponsel, dan kadang bahkan memberi imbalan sebagai kompensasi atas penyediaan koneksi internet, tidak akan mengikutinya. Bahkan ada kemungkinan perangkat seperti sikat gigi yang diretas ikut dikerahkan: https://news.ycombinator.com/item?id=49000864
  • Berguna, tetapi lebih mirip pendekatan izinkan semuanya atau blokir semuanya. Akan bagus kalau Google mendukung crawl-delay sehingga bisa disesuaikan dengan kondisi server, tetapi mereka tidak mendukungnya: https://developers.google.com/crawling/docs/robots-txt/robots-txt-spec#syntax
    Jika diblokir, tampaknya traffic dari pencarian juga akan makin berkurang
  • ClaudeBot setidaknya sampai bulan lalu punya bug yang menghapus garis miring di akhir URL direktori. Meski tautannya memiliki garis miring, ia meminta URL tanpa garis miring, menerima redirect dari Caddy, lalu meminta lagi URL yang benar
    Akibatnya, satu request yang tidak perlu ditambahkan ke sebagian besar URL subdirektori
  • Dari traffic bot di jaringan situs yang saya operasikan, 90% adalah Chrome headless melalui bot residensial dan praktis tidak bisa diblokir. Bahkan Google pun tidak bisa memblokirnya, sampai-sampai angka AdSense ikut menggelembung
  • Ini pertahanan setara menempelkan stiker “jangan dimakan” di kotak bekal lalu berharap saya tidak akan memakannya

• Saya mengoperasikan situs kecil http://radar.lv yang mengarsipkan siaran radio berbahasa Rusia lama; dulu traffic dari AS 5%, tetapi belakangan 90% berasal dari AS
  Untungnya saya bisa menanggung hingga 1 TB per bulan, dan saya tidak menentang crawling itu sendiri, tetapi saya khawatir soal kestabilan bagi pengunjung sungguhan. Saya sedang mempertimbangkan apakah akan mengaktifkan fitur pembayaran kunjungan yang baru-baru ini dibuat Cloudflare
  Blog pribadi saya memakai generator statis, tetapi arsip ini punya masalah karena menggunakan Drupal lama yang sudah bertahun-tahun tidak mendapat patch keamanan