Infrastruktur FOSS Sedang Diserang oleh Perusahaan AI

 (thelibre.news)
1 poin oleh GN⁺ 2025-03-21 | 1 komentar | Bagikan ke WhatsApp
  • Berbagai infrastruktur FOSS seperti SourceHut, KDE GitLab, GNOME GitLab, LWN, Fedora, Inkscape, Diaspora, dan Read the Docs mengalami gangguan, pemblokiran, dan beban operasional akibat crawler AI serta laporan keamanan yang dibuat AI
  • Para crawler mengabaikan robots.txt atau berulang kali meminta endpoint mahal seperti git blame, log Git, dan halaman commit, lalu mencoba berbaur dengan trafik pengguna biasa menggunakan puluhan ribu IP dan User-Agent yang disamarkan
  • GNOME memperkenalkan proof-of-work Anubis, tetapi selama sekitar 2 jam 30 menit, hanya 3% dari 81.000 request yang lolos, menunjukkan kemungkinan besar sebagian besar trafik adalah bot
  • Respons seperti memblokir versi Edge, membatasi pengguna yang belum login, memblokir subnet dan negara, daftar blokir IP, serta robots.txt/.htaccess untuk crawler AI terus dilakukan, dan pengguna nyata pun mengalami keterlambatan atau pemblokiran akses
  • Proyek open source yang bergantung pada kolaborasi publik memiliki permukaan eksposur lebih luas dibanding layanan privat, sehingga scraping AI dan laporan keamanan halusinatif dari LLM secara langsung menggerogoti waktu serta kapasitas operasional maintainer

Gangguan Berulang di Berbagai Infrastruktur FOSS

  • Pendiri sekaligus CEO SourceHut, Drew DeVault, mengkritik perusahaan LLM yang melakukan crawling data tanpa menghormati robots.txt, sehingga menyebabkan gangguan serius pada SourceHut
  • Infrastruktur KDE GitLab kelebihan beban akibat crawler AI dari rentang IP Alibaba, dan para developer KDE untuk sementara tidak dapat mengakses GitLab
  • Di GNOME GitLab, layar pemuatan default dari challenger proof-of-work Anubis mulai muncul untuk memblokir scraper AI yang menyebabkan gangguan
  • Seiring bertambahnya kasus, agresivitas scraper AI meningkat, begitu pula beban operasional komunitas FOSS yang berlandaskan kolaborasi terbuka

Cara Kerja Crawler dan Sulitnya Pemblokiran

  • Menurut Drew DeVault, crawler LLM tidak mematuhi permintaan robots.txt dan menyapu seluruh repositori sampai halaman-halaman berbiaya besar
    • Targetnya mencakup git blame, semua halaman log Git, dan semua commit di repositori
    • Crawler menggunakan User-Agent acak dari puluhan ribu IP, dan tiap IP mengirim paling banyak satu request HTTP agar bisa berbaur dengan trafik pengguna
  • Cara seperti ini membuat mitigasi sulit dibuat, dan di SourceHut pekerjaan berprioritas tinggi tertunda selama beberapa minggu atau bulan
  • Karena sulit membedakan bot dan manusia, pengguna nyata juga terdampak sesekali, hingga berujung pada gangguan SourceHut
  • Drew tidak membedakan apakah semua perusahaan AI memperlakukan robots.txt atau pelaporan User-Agent dengan cara yang sama

Respons KDE dan GNOME

  • Menurut Ben dari tim sysadmin KDE, IP yang menyebabkan DDoS pada KDE GitLab semuanya mengaku sebagai MS Edge, dan hal itu disebabkan oleh perusahaan AI Tiongkok
    • Ben menilai operator LLM Barat seperti OpenAI dan Anthropic setidaknya menetapkan User-Agent yang benar
    • Solusi sementara adalah memblokir versi Edge yang diklaim oleh bot-bot tersebut
    • Karena bot cenderung mengganti User-Agent agar bisa berbaur, ini sulit dijadikan solusi akhir
  • GNOME mengalami masalah sejak November tahun lalu, dan menerapkan rate limit agar pengguna yang belum login tidak bisa melihat merge request dan commit
    • Tindakan ini juga menimbulkan masalah bagi pengguna nyata yang belum login
  • Setelah itu GNOME beralih ke Anubis
    • Anubis memberikan tugas komputasi kepada browser, lalu mengizinkan akses jika browser menghabiskan waktu untuk menyelesaikannya dan mengirim hasilnya ke server
    • Developer menggambarkannya sebagai “tindakan yang hampir seperti opsi nuklir”, dan menilai pilihan itu terpaksa diambil karena bot scraper AI tidak mengikuti standar seperti robots.txt
  • Anubis juga tetap berdampak pada pengguna
    • Jika banyak orang dari lokasi yang sama membuka tautan, tugas dengan tingkat kesulitan lebih tinggi dapat diberikan
    • Seorang pengguna mengalami keterlambatan 1 menit, sementara pengguna lain menunggu sekitar 2 menit di ponsel
    • Situasi seperti ini terjadi ketika tautan GitLab ditempel di ruang chat atau ketika merge request Triple Buffering GNOME naik dan mendapat perhatian di Hacker News
  • Menurut angka yang dibagikan sysadmin GNOME Bart Piotrowski, selama sekitar 2 jam 30 menit, hanya 3% yang lolos proof-of-work Anubis dari total 81.000 request
    • Rasio lolos Anubis: {p:3}
    • Ini mengindikasikan kemungkinan 97% trafik adalah bot

Kasus Pemblokiran di LWN, Fedora, dan Inkscape

  • Jonathan Corbet, pengelola LWN, memberi tahu pengguna bahwa situs “kadang bisa lambat” akibat DDoS dari bot scraper AI
    • Ia mengatakan trafik yang diberikan kepada pembaca manusia nyata hanyalah sebagian kecil dari keseluruhan
    • Bot-bot itu pernah mengakses secara bersamaan dari ratusan IP, tidak mengidentifikasi diri sebagai bot, dan tidak membaca robots.txt
  • Sysadmin proyek Fedora, Kevin Fenzi, juga mengalami masalah scraper AI
    • Sebulan lalu ia harus mengambil langkah agar pagure.io tetap hidup
    • Setelah itu situasinya memburuk, sehingga beberapa subnet diblokir, dan pengguna nyata juga terdampak
    • Dalam kondisi mendesak, seluruh Brasil diblokir, dan pemblokiran itu dipahami masih berlaku
  • Neal Gompa menunjukkan bahwa pemblokiran seluruh negara pun punya batas, dan infrastruktur Fedora “secara rutin down selama beberapa minggu” karena scraper AI
  • Inkscape juga mengalami masalah yang sama pekan lalu
    • Martin Owens menilai ini bukan DDoS umum dari Tiongkok seperti tahun lalu, melainkan situasi ketika beberapa perusahaan mengabaikan pengaturan spider dan menyamarkan informasi browser
    • Ia membuat daftar blokir Prodigius, dan mengatakan jika seseorang bekerja di perusahaan besar yang bergerak di AI, mereka mungkin tidak lagi bisa mengakses situs web Inkscape

Daftar Blokir IP dan Upaya Respons Bersama

  • BigGrizzly dari Frama software juga dibanjiri crawler LLM yang buruk, dan membuat daftar blokir 460.000 IP yang menggunakan User-Agent tersamar
    • Ia mengatakan daftar ini dapat dibagikan
  • Proyek ai.robots.txt adalah upaya yang lebih komprehensif untuk membuat daftar publik crawler web yang terkait dengan perusahaan AI
    • Proyek ini menyediakan robots.txt yang mengimplementasikan Robots Exclusion Protocol
    • Proyek ini juga menyediakan file .htaccess yang mengembalikan halaman error untuk request dari crawler AI yang ada di daftar

Angka Trafik Diaspora dan Read the Docs

  • Dalam analisis Dennis Schubert terhadap infrastruktur Diaspora, sebagian besar trafik web terlihat berasal dari bot perusahaan AI
    • Bot dengan User-Agent OpenAI mencakup seperempat dari seluruh trafik web
    • Amazon mencakup 15%, dan Anthropic 4,3%
    • Sekitar 70% dari semua request dihitung berasal dari perusahaan AI
  • Schubert mengatakan bot-bot ini tidak melakukan crawling sekali lalu pergi, tetapi kembali setiap 6 jam, dan tidak peduli pada robots.txt
    • Jika diberi rate limit, mereka beralih ke IP lain
    • Jika diblokir berdasarkan string User-Agent, mereka menggantinya menjadi string User-Agent yang bukan bot
    • Ia menyebutnya sebagai DDoS terhadap seluruh internet
  • Read the Docs menyatakan dalam tulisan “AI crawlers need to be more respectful” bahwa setelah memblokir semua crawler AI, trafik turun 75%
    • Tingkat penurunan trafik: {p:75}
    • Trafik turun dari 800GB per hari menjadi 200GB
    • Hal ini menghemat sekitar 1.500 dolar AS per bulan
    • Ada juga kasus crawler mengunduh puluhan TB data dalam beberapa hari
    • Karena mereka menggunakan banyak IP, sulit untuk memblokirnya sepenuhnya
  • Menurut Schubert, crawler “normal” seperti Google dan Bing jika digabungkan pun hanya mencakup sebagian kecil, kurang dari 1%

Beban Maintainer Akibat Laporan Keamanan yang Dibuat AI

  • Masalahnya tidak berhenti pada scraper, tetapi juga meluas ke laporan bug yang dibuat AI
  • Daniel Stenberg dari proyek Curl membahas masalah laporan bug yang dibuat AI dalam tulisan “The I in LLM stands for Intelligence”
    • Curl menjalankan proyek bug bounty
    • Belakangan ini banyak laporan bug dibuat oleh AI, dan sekilas terlihat meyakinkan sehingga menyita waktu developer untuk memeriksanya
    • Namun laporan-laporan itu berisi halusinasi khas yang diharapkan dari AI
  • Seth Larson, yang berada di tim triage laporan keamanan untuk CPython, pip, urllib3, Requests, dan lainnya, juga mengalami masalah serupa
    • Laporan keamanan halusinatif LLM yang sangat rendah kualitasnya dan bernuansa spam meningkat di proyek open source
    • Karena laporan seperti ini bisa tampak sah pada pandangan pertama, dibutuhkan waktu untuk membantahnya
  • Menangani laporan keamanan sangat mahal, dan merespons laporan bug yang tampak meyakinkan tetapi sebenarnya dibuat-buat menjadi beban tambahan besar bagi maintainer
  • Larson meminta agar AI atau sistem LLM tidak digunakan untuk mendeteksi kerentanan
    • Ia mengatakan sistem saat ini tidak dapat memahami kode, sementara deteksi kerentanan keamanan membutuhkan pemahaman kode serta pemahaman konsep setingkat manusia seperti maksud, cara penggunaan umum, dan konteks

Beban Struktural yang Lebih Besar bagi FOSS

  • Proyek FOSS sering kali memiliki sumber daya lebih sedikit dibanding produk komersial
  • Proyek yang digerakkan komunitas memiliki lebih banyak bagian infrastruktur yang terbuka, sehingga lebih terekspos terhadap crawler
  • Karena membutuhkan issue publik, pelaporan keamanan, dan infrastruktur kolaborasi, scraper AI dan issue yang dibuat AI menjadi beban sekaligus
  • Pada akhirnya, penanganan gangguan, kebijakan pemblokiran, mitigasi dampak bagi pengguna, dan pemeriksaan laporan keamanan palsu menghabiskan waktu maintainer open source

Bacaan terkait

1 komentar

 
GN⁺ 2025-03-21
Opini Hacker News

  • Ada juga kasus seperti ini: https://about.readthedocs.com/blog/2024/07/ai-crawlers-abuse... Ini tulisan yang juga dikutip dalam artikel asli, dan semua kenalan saya yang mengoperasikan infrastruktur internet skala besar mengalami hal serupa
    Tulisan ini merangkum kasus-kasus seperti itu dengan baik di satu tempat. Seperti yang saya katakan saat menulisnya, mereka benar-benar sedang membakar habis modal kepercayaan
    Salah satu startup besar di bidang ini bekerja sama langsung dengan kami, mengembalikan biaya, dan memperbaiki bug crawler-nya. Sebaliknya, Facebook tidak membalas email, dan tautan di User Agent-nya 404. Seorang engineer perusahaan melihat tulisan itu dan memberi tahu email yang benar, tetapi meski saya mengirim 3 kali ke sana, tetap tidak ada jawaban

    • Perusahaan AI tampaknya bergerak dengan sikap bahwa modal kepercayaan tidak penting. Mereka bertindak sesuka hati seperti gorila 800 pon dengan modal 100 miliar dolar
      Sikapnya adalah, suka atau tidak, AI akan masuk ke semua produk, dan suka atau tidak, semua data akan diserap
    • Bagian yang mengatakan “satu crawler pada Mei 2024 mengunduh 73TB file HTML terkompresi, dan biaya bandwidth-nya lebih dari 5.000 dolar” membuat saya membacanya ulang
      Saya mengoperasikan infrastruktur yang menangani trafik ratusan TB per bulan, terutama di dedicated server, dan biaya trafiknya kira-kira 0,50–3 dolar per TB. Memang tergantung wilayah, tetapi biaya trafik keluar AWS benar-benar gila
    • Kalau tidak ada jawaban, kirim saja faktur ke tim accounts payable alih-alih email
    • Kalau setelah mengirim email 3 kali tetap tidak ada jawaban, bukankah sejak titik itu crawling-nya harus dianggap sebagai DDoS, bukan bug atau kesalahan?
    • Bagaimana kalau kita beri saja informasi sampah yang dibuat secara dinamis? Rasanya lebih menarik daripada tidak memberi informasi apa pun

  • Rasanya benar-benar tidak nyata melihat proyek saya muncul seperti ini di gambar pratinjau. Hebat! Kalau ingin mencobanya, ada di sini: https://github.com/TecharoHQ/anubis
    Sejauh yang saya lihat sampai sekarang, sepertinya benar-benar berfungsi. Saya sudah memasangnya di xeiaso.net untuk melihat bagaimana ia gagal di lingkungan produksi di blog saya

    • Akan bagus kalau ada sedikit penjelasan untuk manusia tentang apa yang harus dilakukan sekarang dan apa yang sedang terjadi di halaman itu
      Memang ada semacam widget animasi loading, tetapi saat pertama kali melihatnya di issue tracker Gnome beberapa minggu lalu, proof of work memakan waktu sekitar 20 detik dan saya tidak tahu apa yang sedang terjadi. Awalnya saya kira saya diblokir atau captcha tidak dimuat
      Sekarang saya tahu itu apa, tetapi jika hanya melihat halaman “sedang memeriksa apakah Anda bot” sendirian, rasanya belum 100% jelas
    • Saya sangat menyukai pendekatan ini. Tidak apa-apa internet berjalan seperti zaman Wild West, tetapi saya tidak suka tidak adanya akuntabilitas
      Ini cara yang bagus bagi pihak yang ingin terus membuka situs secara gratis untuk mengalihkan beban ekonomi kepada crawler. Kalau menginginkan data, pihak yang mengambilnya yang perlu mengeluarkan biaya
      Ada kekurangan bahwa situs bisa hilang dari mesin pencari, tetapi tidak ada alasan layanan tidak bisa didaftarkan ke pengindeks global atau P2P
    • Saya suka, seperti biasa dibuat dengan baik
      Dan terkait https://news.ycombinator.com/item?id=43422781, kalau ditambahkan cara menghitung jumlah sangat kecil dari shitcoin yang diinginkan, mungkin itu akan menjadi satu lagi pemanfaatan cryptocurrency yang benar-benar berguna
    • Anubis hanya akan berhasil selama belum terkenal. Begitu terkenal, crawler akan mulai menangani proof of work dengan GPU/ASIC, dan itu akan menjadi akhirnya
    • Saya suka ketika sesekali secara acak bertemu sesuatu yang Anda buat. Saya juga suka gaya penjelasan dalam format blog, jadi saya berniat melihat Anubis lebih lanjut

  • Dengan laju seperti ini, ini bukan hanya masalah infrastruktur bebas dan open source. Tentu saja hal itu terasa sangat relevan karena menjadi kanari di tambang batu bara, tetapi pada akhirnya ini adalah masalah bagi seluruh akses internet anonim
    Situs bisa saja ditempatkan di balik dinding autentikasi, tetapi bot-bot baru, tidak seperti dulu, mampu memecahkan CAPTCHA dan meniru pengguna nyata. Terutama jika mereka memakai IP residensial dan User Agent palsu, atau bahkan User Agent nyata yang terhubung ke sesuatu seperti Playwright seperti yang disebutkan dalam artikel
    Pada akhirnya, apa lagi yang tersisa selain situs-situs mulai meminta kartu kredit, Worldcoin, atau alternatif yang sama suramnya

    • Kita sudah setengah jalan ke sana. Ini terasa setiap kali saya melakukan pemetaan OpenStreetMap dan mencari bisnis lokal yang tidak punya situs web sendiri
      Mereka memakai Facebook, Instagram, X, dan sejenisnya seperti kartu nama digital. Saya biasanya tidak memakai Facebook atau Instagram, sudah berhenti memakai X, dan tidak punya akun; ketika mengikuti tautan seperti itu, hanya sebagian informasi yang terlihat lalu muncul dialog yang meminta membuat akun atau keluar, atau muncul galat yang tidak jelas
      Tidak masalah bergabung dengan komunitas privat, tetapi sungguh menjengkelkan ketika penghalang seperti ini muncul pada informasi yang mereka unggah dengan asumsi akan terlihat publik
    • Kalau bagian yang diam-diam diucapkan lantang, salah satu alasan terbesar mengapa ini terasa suram adalah karena ini bukan sekadar perusakan, melainkan perusakan yang memberi keuntungan berbunga majemuk kepada para pelaku jahat terkait. Mengambil konten hanyalah permulaan
      Situs turun selamanya karena biaya meningkat? Bagus, berarti orang harus memakai AI untuk semua dokumentasi. Mundur dari CAPTCHA dan membuat orang memasukkan kartu kredit atau nomor telepon? Bagus, karena anonimitas internet berkurang sebanyak itu
      Penipuan meningkat karena kebocoran data? Bagus, karena orang akan membutuhkan AI untuk mencegahnya. Bagi aktor jahat, hampir semuanya adalah permainan yang mereka menangkan
      Balkanisasi internet sudah lama dibahas. Ancaman seperti itu, atau fakta bahwa internet sudah menjadi tempat sampah yang tak terkendali, mestinya membuat orang agak berhati-hati dalam memperburuk keadaan, tetapi mendorong batas pelecehan dan friksi yang bisa ditanggung orang toh tidak penting. Karena tidak ada pilihan nyata
    • Saya kurang yakin. Saya menjalankan game browser kecil, dan servernya secara berkala benar-benar dihajar scraper LLM, tetapi sejauh ini saya belum melihat satu pun akun baru yang tampak dibuat bot
      Tingkat pendaftaran baru juga tidak berubah secara mencolok. Itu berlaku baik di game maupun wiki, dan sebagian besar trafik scraping terkonsentrasi di wiki. Jika scraping tidak berkurang, besar kemungkinan wiki harus ditempatkan hampir sepenuhnya di balik dinding autentikasi
    • Bisa saja dibuat seperti: untuk melakukan X permintaan berikutnya, Anda harus memproses sejumlah token ini. Tentu saja itu terdengar cukup utopis
    • Tidak harus selalu ditaruh di balik dinding autentikasi. Sangat mungkin juga memakai layanan pembayaran mikro anonim untuk setiap permintaan
      Jika internet di mana terlalu banyak pengunjung menjadi ancaman eksistensial bagi sebuah situs web, berarti internet yang kita tinggali bukan struktur yang bisa bertahan lama

  • Dulu ketika mesin pencari menyebabkan hal semacam ini, industri bersepakat untuk menghindari lahirnya regulasi hukum dan membuat spesifikasi robots.txt. Karena itu, kerangka hukum tidak terbentuk
    Sekarang ada generasi baru pengindeks lapar yang tidak ikut dalam kesepakatan itu, berusaha mengumpulkan data sebanyak mungkin karena tekanan kompetisi, dan begitu saja mengabaikan robots.txt
    Bagaimanapun, legislasi seharusnya dibuat, dan pihak yang mengabaikan robots.txt seharusnya dikenai pemblokiran, denda, pembatasan kecepatan, dan sebagainya

    • Saya tidak tahu apakah saya menyukai rencana ini. AI ilegal tidak boleh sampai memiliki lebih banyak pengetahuan dan kegunaan daripada AI legal
      Ada pilihan lain selain pelarangan total
    • Saya akan terkejut kalau ada satu saja anggota DPR atau Kongres AS yang tahu apa itu robots.txt
    • Bagaimana hukum AS atau UE bisa menghentikan trafik dari China, Thailand, atau Rusia? Paling-paling itu akan memecah-belah internet, dan itu bukan “yang terbaik”, melainkan ide yang mengerikan

  • Saya juga baru-baru ini diserang [0]. Ini adalah instans Forgejo kecil tempat saya menaruh kode beberapa paket open source, jadi harus tetap publik, tetapi instans itu benar-benar rusak dan disk penuh oleh arsip ZIP yang dibuat
    Bukan hanya saya yang mengalami hal yang sama. Dalam kasus saya, setelah memblokir rentang IP Alibaba Cloud, serangannya untuk sementara mereda
    Jika Anda menjalankan instans Forgejo, saya sangat menyarankan mengatur DISABLE_DOWNLOAD_SOURCE_ARCHIVES ke true. Crawler masih akan terus mencengkeram CPU, tetapi setidaknya disk tidak akan penuh oleh file ZIP
    [0] https://blog.nytsoi.net/2025/03/01/obliterated-by-ai

    • “Disk penuh oleh arsip ZIP yang dibuat” berarti ini adalah desain perangkat lunak yang buruk yang membuat file ZIP secara langsung saat diminta
    • Mungkin lebih baik beralih ke perangkat lunak yang dibuat dengan baik dan dirancang dengan benar untuk disajikan di internet publik
      Desain yang membuat file ZIP, menuliskannya utuh ke disk, lalu mengirimkannya sekaligus ke klien adalah desain yang benar-benar buruk dan tidak layak dipakai. Desain yang tepat seharusnya menghasilkan secara bertahap dan mengirimkannya ke klien dengan penggunaan memori minimal dan tanpa memakai disk sama sekali
      Adanya desain konyol seperti ini adalah tanda bahwa para pengembang hampir mengabaikan efisiensi, dan kemungkinan besar ada banyak masalah fatal serupa
      Misalnya, sekilas melihat kode sumber Forgejo, tampaknya mereka menjalankan proses “git” alih-alih memakai pustaka khusus untuk semua operasi Git. Saya belum memastikannya, tetapi tidak akan mengejutkan jika operasi semacam itu sangat jauh dari cara paling efisien untuk melakukan pekerjaan tersebut
      Tidak mengherankan jika menjalankan perangkat lunak yang sangat buruk seperti ini membuat CPU terkunci di 100% dan server tidak bisa digunakan

  • Kesimpulan besarnya di sini adalah dominasi web Google dan periklanan secara umum sedang menghilang
    Satu-satunya cara memblokir bot adalah CAPTCHA, tetapi kalau begitu pengindeks pencarian juga tidak bisa mengindeks situs. Pada akhirnya mesin pencari tidak bisa mengindeks situs, dan tidak lagi bisa memberikan nilai
    Mungkin ada sedikit jeda waktu sampai pengetahuan yang saat ini ada di LLM mengering, tetapi tak seorang pun lagi akan bisa mengeruk web secara otomatis
    Rasanya semuanya akan terbakar habis

    • Dalam praktiknya, sepertinya ini akan menjadi stabilitas Lyapunov seperti populasi serigala dan kelinci. Dalam skenario ini, kita adalah kelincinya
      Ketika populasi AI berkurang, konten manusia bertambah, dan itu menjadi lebih banyak makanan bagi AI sehingga AI kembali bertambah. Lalu ekspresi manusia terkubur, dan manusia menjadi lebih diam. Ketika makanan AI berkurang dan AI menurun, kebisingan berkurang dan manusia kembali membesar. Siklus ini berulang terus sampai membosankan
    • Secara pribadi, saya rasa ini adalah salah satu motivasi sebenarnya di balik Web Environment Integrity. Membuat Google bisa mengindeks, sementara pihak lain tidak
      Kita terjepit dalam pilihan sulit. Apakah kita menginginkan pemain lama yang sudah mengakar, atau hosting yang murah dan terbuka?
    • Google sudah mengeruk situs dan menampilkan jawaban langsung di hasil pencarian. Jika trafik penting bagi Anda dan Anda ingin menjual ruang iklan, mengapa sekarang Anda harus ingin situs Anda diindeks oleh Google?
      Banyak situs berbasis iklan akan menjadi gelap. Karena pengunjungnya hanya bot
    • Jika harus beralih ke crawling berbasis autentikasi, posisi mesin pencari yang ada akan makin kuat. Karena hanya crawler yang diundang yang bisa mengakses
      Jika ada alat sederhana, kebanyakan orang hanya akan mengizinkan Google, Bing, dan paling banyak satu atau dua tempat lain
    • Perusahaan AI dengan teknologi bypass CAPTCHA terbaik akan menang, dan akan menyisipkan iklan ke output LLM dengan cara yang lebih canggih

  • Kalau ada yang tertarik pada sabotase kecil-kecilan, sepertinya saya berhasil “menenggelamkan” sebagian informasi nyata di microblog saya
    Dengan LLaMa, saya membuat puluhan tulisan yang saling bertentangan untuk setiap tulisan nyata, lalu menautkannya secara tak terlihat agar tidak diklik manusia. Bisa dibilang ini gaya Bannon: membanjiri zona dengan sampah

    • Saya pernah melihat pendekatan seperti ini dipakai, tetapi tidak tahu tingkat keberhasilannya. Secara logis terdengar masuk akal
      Secara eksplisit merujuk jalur yang sebenarnya tidak bisa dilihat manusia, lalu menganggap trafik yang mengakses jalur itu sebagai bot. Bot-bot itu tidak bisa menahan diri
    • Benar. Namun pastikan menambahkannya ke robots.txt supaya hanya robot jahat yang terdampak
    • Setelah membaca ini kemarin, saya memikirkan cara memitigasinya dalam skala lebih besar. Caranya, situs web membuat jalur virtual atau endpoint acak untuk menggiring bot ke Library of Babel[0] yang disajikan secara lokal, lalu mencemari spider dengan teks tak berguna
      Ini tidak akan mempan pada situs yang terstruktur baik dan botnya tahu endpoint persis yang ingin dikeruk, tetapi sepertinya bisa memperlambat thread spider yang lebih eksploratif
      [0] https://libraryofbabel.info/
    • Selain membanjiri dengan sampah, bagaimana dengan sabotase langsung seperti menyajikan ZIP bomb atau membuat mereka membuang-buang sumber daya komputasi?

  • Ini VideoLAN
    Kami juga sama-sama dihantam oleh bot perusahaan AI di forum dan Gitlab
    Sebagian besar tidak mematuhi robots.txt

    • Apakah kalian mendokumentasikan langkah-langkah yang diambil untuk mengatasinya?

  • Ini gila. Saya penasaran apakah pada akhirnya kita akan menuju versi web yang tidak diindeks mesin pencari. Web yang lebih mirip browsing era 90-an, ketika situs web harus saling menautkan agar bisa ditemukan
    Saya suka bahwa solusi untuk scraping LLM adalah membuat browser melakukan proof of work sebelum diberi akses. Saya penasaran apakah situs-situs baru akan mulai mengadopsi hal seperti ini
    Kalau begitu memang tidak akan diindeks oleh mesin pencari, tetapi akan membantu melindungi hak kekayaan intelektual

  • Saya belum pernah memikirkannya sampai sekarang, tetapi gila juga bahwa perusahaan yang menyediakan produk LLM sekaligus layanan cloud computing mendapatkan pendapatan ganda
    Mereka mendapatkan produk LLM yang bisa dijual, sekaligus mendapatkan biaya trafik keluar dan biaya komputasi dari beban yang meningkat. Dilihat seperti ini, apa insentifnya untuk peduli pada scraping LLM yang tidak efisien? Semakin dibiarkan berantakan, semakin mereka menghasilkan uang lewat biaya trafik keluar cloud storage, kerajaan mereka yang lain