Web terbuka makin sulit dipertahankan akibat serangan scraper AI

• Serangan web scraping untuk mengumpulkan data pelatihan bagi model bahasa besar dan sejenisnya terus meningkat selama lebih dari setahun, membuat beban trafik pada situs web independen membesar hingga keterbukaannya makin sulit dipertahankan
• Penyerang menggunakan residential proxy yang terdiri dari jutaan perangkat umum dan seluler, hanya mengirim beberapa permintaan per IP dan memalsukan user-agent, sehingga pemblokiran IP konvensional menjadi tidak efektif
• Malware, perangkat media streaming yang rentan, VPN gratis, dan SDK aplikasi membentuk jaringan proxy; setelah Google membongkar IPIDEA dan NetNut, volume serangan sempat turun sementara sebelum naik lagi
• Situs-situs merespons dengan proof of work dari Anubis, CAPTCHA, login/paywall, dan alat pencemaran data, tetapi LWN berfokus pada optimasi situs dan pengendalian biaya saat diserang agar tidak mengganggu pembaca nyata, mesin pencari, dan Internet Archive
• Sementara biaya pertahanan terhadap scraper dan verifikasi pengguna dialihkan ke seluruh web, jika tidak muncul solusi berkelanjutan, situs independen dapat berpindah ke balik tembok pertahanan dan internet terbuka bisa rusak

---

Serangan scraper yang terus membesar

• Masalah pengumpulan data pelatihan untuk model bahasa besar dan proyek terkait yang dibahas pada awal 2025 terus memburuk setelah lebih dari setahun
• Permintaan yang dikirim aktor tak dikenal ke situs web meningkat ke tingkat yang belum pernah terjadi sebelumnya, dan trafik berlebihan membuat web terbuka makin sulit dipertahankan

Residential proxy yang mengerahkan jutaan IP

• Serangan dilakukan dengan mengirim permintaan terkoordinasi dari jutaan alamat IP unik selama beberapa jam, dengan tiap alamat mengakses situs tidak lebih dari dua atau tiga kali
• Informasi seperti user-agent yang dikendalikan penyerang bersifat palsu, membuat tiap permintaan tampak seperti akses orang biasa yang memakai peramban web
• Bot biasanya tidak mengambil gambar atau CSS, sehingga ada petunjuk untuk membedakannya dari manusia, tetapi saat identifikasi selesai alamat tersebut tidak digunakan lagi, sehingga pemblokiran IP setelah kejadian tidak efektif
• Trafik terutama berasal dari jaringan rumah dan seluler yang diarahkan oleh node command-and-control pusat
  • Perangkat lunak yang terpasang di perangkat umum menerima perintah dari node pengendali untuk mengambil halaman web lalu mengirimkan kembali datanya
  • Banyak di antaranya beroperasi tanpa sepengetahuan atau persetujuan pemilik perangkat, dan sistem yang dimanfaatkan seperti ini disebut residential proxy

Jaringan proxy kriminal dan perangkat terinfeksi

• Salah satu tipenya adalah operator kriminal yang menjalankan scraper pada sistem yang telah dikuasai malware
• Google pada awal tahun bergerak untuk membongkar jaringan bot IPIDEA dan mengungkap informasi tentang cara operasinya
  • Waktu penghentian IPIDEA bertepatan dengan penurunan besar trafik scraper di LWN
  • Selama beberapa bulan situasinya relatif tenang, tetapi kemudian serangan kembali meningkat
• Belakangan, perangkat media streaming diketahui sebagai pembawa utama perangkat lunak scraping berbahaya
  • Sebagian perangkat sudah terinfeksi sejak tahap pasokan
  • Perangkat lain memiliki keamanan lemah sehingga mudah dikuasai setelah dijual

Jaringan proxy komersial yang memakai VPN gratis dan SDK aplikasi

• Tipe lainnya bertindak seperti perusahaan yang sampai batas tertentu legal dan menjual alamat IP yang “diperoleh secara etis”
• Bright Data adalah salah satu perusahaan terkenal yang mengiklankan kemampuannya untuk melewati kontrol akses dan pembatasan trafik situs web
  • Pengguna VPN “gratis” harus mengizinkan Bright Data merutekan trafik melalui perangkat mereka
  • Ponsel dan perangkat lain yang memakai VPN ini menjadi endpoint residential proxy milik Bright Data dan dikerahkan untuk menyerang situs web
• Perusahaan serupa menyediakan library yang dapat disambungkan pengembang aplikasi ke produk mereka, dan kadang membayar pengembang sebagai imbalan atas penyerahan koneksi jaringan pengguna
  • Salah satu perusahaan pernah bertanya apakah iklan SDK mereka dapat dipasang di LWN, tetapi percakapan itu segera berakhir
  • Para operatornya beragam, dari yang mencoba menciptakan tampilan legal dengan mengusung klaim seperti “patuh GDPR” hingga yang terang-terangan tidak etis
• Karena operator proxy seperti ini dapat menjalankan kode yang mengakses sumber daya jaringan berisi jutaan perangkat terhubung, tidak bisa diasumsikan bahwa kewenangan tersebut hanya digunakan untuk web scraping

Perusahaan model dan pengguna jaringan proxy

• Perusahaan terkenal yang menjadikan pengembangan model sebagai bisnis inti juga melakukan scraping web sendiri
  • Trafik yang mudah dikaitkan dengan perusahaan tersebut menampilkan identitasnya secara jelas pada user-agent
  • Umumnya mereka mematuhi mekanisme kontrol seperti robots.txt
  • Mereka berulang kali mengumpulkan seluruh situs, seakan memeriksa apakah tulisan yang dibuat pada 2003 sekalipun baru-baru ini berubah
  • Namun mereka bukan masalah terbesar karena tidak mengirim trafik yang tak tertangani dari jutaan sistem
• Tidak jelas siapa yang membayar dan menjalankan serangan residential proxy
  • Tidak ditemukan bukti bahwa perusahaan model mutakhir menggunakan jaringan ini
  • Perusahaan-perusahaan ini tidak mengungkap cara memasok data ke model maupun asal data pelatihannya, dan juga tidak menunjukkan sikap menghormati pembuat konten atau pihak yang mengkhawatirkan masalah operasional
• Untuk setiap model terbuka, mungkin ada banyak model lain yang tidak terlihat dari luar
  • Banyak perusahaan mungkin sedang membuat model sendiri dengan harapan bahwa jika unggul dalam persaingan AI, mereka akan memperoleh valuasi perusahaan yang sangat besar
  • Lembaga pemerintah tertutup di berbagai negara juga mungkin berupaya memiliki model dan data pelatihan sendiri
  • Organisasi kriminal besar pun kemungkinan menginginkan model sendiri
• Seiring alat AI dipandang sebagai senjata, perlombaan senjata sedang berlangsung, dan seluruh internet terseret ke dalam prosesnya

Langkah pertahanan untuk menjaga internet terbuka

• Operator situs web menerapkan berbagai mekanisme pertahanan untuk menahan serangan sambil meminimalkan dampak terhadap pengguna nyata
• Anubis banyak digunakan untuk memblokir scraper dengan meminta pengakses melakukan proof of work
• Layanan komersial menampilkan tombol untuk “membuktikan bahwa Anda manusia”, sementara situs lain meminta CAPTCHA seperti memilih kotak yang berisi lampu lalu lintas atau menempatkan potongan puzzle
• Sebagian situs memindahkan fungsi utama ke balik login atau paywall, dan secara aktif mencemari data yang diterima scraper dengan alat seperti iocaine
• Biaya membangun dan memelihara pertahanan serta ketidaknyamanan pengguna yang harus melewatinya adalah beban berat yang dibebankan ke seluruh dunia oleh para scraper dan pihak yang membayarnya

Cara pertahanan LWN dan keterbatasannya

• LWN baru-baru ini mengalami serangan scraper terkuat sejauh ini, tetapi berkat pertahanan yang dibangun, situs mampu menahan trafik sampai sebagian besar pembaca nyata hampir tidak menyadarinya
• Rincian pertahanan tidak dipublikasikan karena dapat memberi informasi tanggapan kepada penyerang; perlombaan senjata juga berlanjut di sisi pertahanan
• Prioritasnya adalah sebisa mungkin mengurangi dampak terhadap pembaca nyata
  • Anubis tidak digunakan karena menunda akses situs dan menyulitkan pembaca
  • Scraper tampaknya pada akhirnya akan melewati Anubis, dan sudah ada tanda-tanda ke arah itu
  • Jika mampu mengerahkan jutaan perangkat milik orang lain, proof of work bukanlah hambatan besar
• LWN juga berupaya tidak memblokir akses dari mesin pencari normal dan organisasi seperti Internet Archive
  • Allowlist eksplisit yang hanya mengizinkan mesin pencari dominan akan makin memperkuat posisi pelaku monopoli yang kualitas layanannya sudah bermasalah
  • Hingga kini LWN berhasil mempertahankan akses normal tanpa allowlist untuk mesin pencari tertentu
• Sebagian situs dioptimalkan secara agresif, dan selama serangan pekerjaan yang mahal biayanya diminimalkan
  • Pembaca anonim kadang dapat terdampak oleh langkah ini, tetapi pengguna yang login tidak terdampak
  • Dalam kondisi serangan ketika langkah pertahanan aktif, waktu respons kadang justru lebih cepat daripada biasanya
• Langkah saat ini tidak dianggap sebagai solusi permanen, dan respons berikutnya harus dipertimbangkan untuk saat efektivitasnya hilang

Pembongkaran NetNut dan ketenangan sementara

• Pada 2 Juli, Google mengumumkan bahwa mereka bekerja sama dengan Biro Investigasi Federal AS (FBI) dan pihak lain untuk membongkar jaringan residential proxy NetNut
• Setelah tindakan tersebut, tingkat serangan scraper tampaknya turun sampai batas tertentu, tetapi berdasarkan pengalaman sebelumnya ketenangan ini kemungkinan tidak akan bertahan lama
• Google Play Store akan memeriksa aplikasi yang terinfeksi NetNut
• Operator app store besar belum menjawab mengapa begitu mudah mendaftarkan aplikasi yang memiliki fungsi residential proxy

Internet yang terdorong ke balik tembok pertahanan

• Diperlukan solusi yang lebih berkelanjutan sebelum seluruh internet berpindah ke balik tembok pertahanan dan jaringan terbuka yang pernah mendorong kreativitas menghilang
• Industri yang memicu serangan ini mengambil konten situs web independen lalu tidak peduli ketika situs tersebut hancur, dan sikap yang sama juga berlanjut terhadap bumi dan ekonomi
• Sampai standar etika minimum diterapkan pada perusahaan yang menjalankan model bahasa besar dan teknologi terkait, perilaku ini akan terus berlanjut, dan operator situs web tidak punya pilihan selain membela diri

[GN⁺]

Opini di Lobste.rs

• Di antara berbagai bisnis yang belakangan saya ketahui dan terang-terangan mencurigakan, proxy residensial adalah yang paling mengejutkan
  Saya membacanya lebih lanjut di https://spur.us/blog/smart-tv-apps-residential-proxy-sdks, dan sulit dipercaya bahwa ini legal. Ini harus dikategorikan sama seperti botnet dan disebut botnet yang dilegalkan

  • Ini benar-benar bisnis yang pantas dikecam. Mereka bilang hanya memakai mitra yang sudah diverifikasi dan disetujui, tetapi saya tidak bisa memikirkan satu pun penggunaan sah untuk proxy residensial. Apakah memang ada?
  • Kita harus berhati-hati dalam meregulasi proxy residensial. Jika regulasi dibuat untuk menargetkannya, dampaknya akan mengenai jauh lebih banyak hal selain botnet proxy residensial

• Korban lainnya adalah pemeriksa tautan. Menjadi jauh lebih sulit untuk memeriksa apakah ada tautan mati di situs
  Kalau punya waktu, saya mungkin akan mencoba memanfaatkan proyek Common Crawl untuk memastikan kontennya masih aktif

  • Pratinjau tautan yang dibuat di sisi pengirim oleh aplikasi chat juga terdampak. Saya senang pernah menyumbangkan fitur ini ke gajim, klien XMPP, tetapi dalam praktiknya permintaan pratinjau tautan terlalu sering terhalang layar “memeriksa apakah Anda manusia”, sampai terasa menyedihkan

• Pada akhirnya semua operasi yang mahal, seperti menampilkan riwayat repositori GitHub, akan disembunyikan di balik penghalang autentikasi, sementara sisanya dibuat statis dan disajikan melalui CDN

  • Karena ada kekhawatiran soal sentralisasi dan pengawasan pemerintah, CDN seharusnya menjadi pilihan terakhir, dan menurut saya kita harus lebih dulu memeras lebih banyak performa dari server itu sendiri
    Di level aplikasi, membuat lebih banyak konten menjadi statis, mengurangi kueri database, dan memanfaatkan cache jelas membantu. Selama ini kita menikmati kemewahan tidak perlu terlalu memikirkan performa, tetapi sekarang bahkan situs kecil pun perlu lebih memperhatikannya, dan itu jauh lebih baik daripada melihat “memeriksa browser” Cloudflare di mana-mana
    Saya pernah mengalami masalah di VPS kecil karena cara tradisional Apache yang mem-fork proses terpisah untuk setiap permintaan. Saya tumbuh dengan mengutak-atik server LAMP, jadi Apache terasa akrab dan nyaman, tetapi itu bukan cara paling efisien untuk memanfaatkan mesin, dan pada akhirnya hal itu lebih penting. Saya tidak punya data empiris, tetapi server seperti Caddy tampaknya bisa menahan beban dengan lebih baik, jadi saya berencana beralih saat upgrade server berikutnya
  • Server Forgejo saya juga mengalami situasi yang sama. Saya mencoba mengelola trafik berbahaya yang terus-menerus dengan Anubis, tetapi saya tidak sepenuhnya memahami cara menyesuaikan konfigurasinya untuk trafik tersebut, dan saya juga tidak suka harus berhadapan sendiri dengan tantangan autentikasi yang lambat
    Saya juga mencoba fail2ban, tetapi ketika skalanya membesar, itu tidak mampu menanganinya dengan baik. Pada akhirnya saya menyerahkannya ke Cloudflare dengan aturan keamanan yang saya rangkum dalam tulisan blog. Saya enggan bergantung pada Cloudflare dalam jangka panjang, tetapi setelah melihat grafik penggunaan CPU di bagian bawah tulisan itu, saya berubah pikiran
  • Sebaliknya, repositori Git dan crawler sangat tidak cocok satu sama lain. Tautan yang dibuat secara dinamis menyebabkan ledakan kombinatorial dan membentuk jebakan crawler tambal-sulam, sehingga crawler yang sedikit saja layak akan secara aktif menghindari URL yang jalurnya berisi string heksadesimal panjang
    Meski menimbulkan biaya sangat besar bagi host Git, ternyata cukup banyak host yang tidak mengatur robots.txt agar crawler tidak merayap terlalu dalam ke bagian dalam repositori

• Bagian yang berbunyi “ada permintaan untuk menjelaskan langkah-langkah yang diambil untuk mempertahankan situs, tetapi karena alasan yang jelas saya tidak ingin membahasnya secara rinci. Bahkan di level ini pun terjadi perlombaan senjata” terasa menyakitkan
  Saya juga cukup berhasil dalam pertarungan ini, tetapi karena tragedi kepemilikan bersama, jika saya mengungkapkan langkah-langkah yang sangat sederhana yang saya gunakan, efektivitasnya akan berkurang. Ini topik yang benar-benar menarik dan ada beberapa ide orisinal, jadi saya ingin menuliskannya di blog, tetapi sayangnya tidak bisa