Scraping web untuk saya, tetapi bukan untuk Anda
(blog.ericgoldman.org)- Ketika data web publik menjadi sumber daya inti dalam AI generatif dan persaingan antiplatform, pertanyaan tentang siapa yang boleh mengambil data makin menjadi persoalan hukum, kontrak, dan dominasi pasar
- Data yang coba dilindungi platform seperti LinkedIn dan Facebook umumnya adalah konten buatan pengguna, sehingga berada di wilayah di mana platform sulit mengklaim hak milik secara langsung
- Sarana untuk menekan scraping telah bergeser dari trespass to chattels pada masa awal dan CFAA pada era 2000-an, menuju gugatan pelanggaran kontrak setelah hiQ Labs v. LinkedIn
- Sengketa terbaru, seperti gugatan Twitter/X terhadap Bright Data, makin menyempit pada penggunaan syarat layanan untuk menuntut pelanggaran kontrak, campur tangan terhadap kontrak, dan unjust enrichment
- Perusahaan bisa saja memblokir data di situsnya sendiri dengan menyebutnya “proprietary”, sambil tetap ingin mengambil data publik milik pihak lain, dan perkara data pelatihan AI generatif menjadi ujian berikutnya bagi kontradiksi ini
Scraping adalah persoalan akses data
- Web scraping adalah cara untuk mengumpulkan pengetahuan yang tersedia publik di internet dalam skala besar, dan isu utamanya adalah siapa yang boleh mengakses serta menggunakan data, dan untuk tujuan apa
- Sebagian data di internet dapat dilindungi oleh hak cipta, merek dagang, atau hak kekayaan intelektual lain, tetapi untuk banyak jenis data, pihak yang ingin melindunginya tidak mudah mengajukan klaim hak kekayaan intelektual
- Perusahaan media sosial telah aktif mengajukan gugatan terkait scraping, tetapi konten yang ingin dijaga LinkedIn dan Facebook umumnya adalah konten buatan pengguna
- Syarat layanan memang memberi lisensi kepada platform untuk menggunakan konten pengguna, tetapi kepentingan hak cipta biasanya tetap berada pada pengguna
- Platform menolak adanya hak milik atas data tersebut di dalam syarat layanannya, tetapi dalam praktiknya memperlakukan data itu seolah milik mereka sendiri
Pergeseran sarana hukum untuk menghentikan scraping
- Pada masa awal internet, teori trespass to chattels digunakan sebagai sarana untuk menekan scraping
- Logikanya, permintaan data massal yang tidak diinginkan dianggap mengganggu server komputer sebagai properti fisik milik privat
- Unsur kerugian harus dibuktikan, dan pada akhir 1990-an hingga awal 2000-an memang ada scraper yang buruk implementasinya sehingga membebani situs atau bahkan membuatnya berhenti berfungsi
- Seiring perubahan lingkungan teknis, daya persuasi teori ini melemah
- Kapasitas server meningkat sangat besar
- Banyak scraper membatasi volume permintaan sehingga sulit terdeteksi oleh server host atau dampaknya sangat kecil
- Menjadi makin jarang ada bukti kerusakan nyata pada server atau properti fisik
- Dari awal 2000-an hingga 2017, Computer Fraud and Abuse Act (CFAA) menjadi sarana penekan utama
- CFAA melarang akses tanpa otorisasi ke “protected computer”
- Dalam perkara scraping, isu utamanya adalah apakah akses setelah otorisasi dicabut lewat surat perintah berhenti atau langkah anti-bot termasuk “tanpa otorisasi”
Hasil yang rumit dari hiQ Labs v. LinkedIn
- Dari 2001 hingga 2017, tafsir sederhana yang umum adalah bahwa jika akses tetap dilanjutkan setelah otorisasi dicabut, maka tanggung jawab di bawah CFAA dapat timbul
- Perkara hiQ Labs, Inc. v. LinkedIn Corp. pada 2017 mendapat perhatian karena mengarah pada pengakuan hak pihak scraper, hiQ Labs, untuk mengakses data LinkedIn yang bersifat publik
- Ninth Circuit menilai bahwa jika perusahaan seperti LinkedIn bisa secara bebas menentukan siapa yang boleh mengumpulkan dan menggunakan data yang tidak mereka miliki, yang mereka sajikan secara publik, dan yang juga mereka kumpulkan serta gunakan sendiri, maka ada risiko munculnya monopoli informasi
- Namun hasil ini lebih mendekati kemenangan Pirrus
- Setelah itu, pengadilan distrik memutuskan bahwa “User Agreement LinkedIn secara jelas melarang scraping dan penggunaan tanpa izin atas data hasil scraping”
- Berdasarkan hal itu, LinkedIn memperoleh perintah larangan permanen dan ganti rugi terhadap hiQ Labs
- Sejak saat itu, sarana utama untuk menghentikan scraping menjadi gugatan pelanggaran kontrak, bukan CFAA
Hukum kontrak pada praktiknya bekerja seperti hak milik atas data
- Baru-baru ini Twitter/X Corp. menggugat beberapa scraper, termasuk Bright Data
- Bright Data disebut sebagai salah satu perusahaan web scraping terbesar di dunia
- Gugatan Twitter terhadap Bright Data terdiri dari tiga klaim: pelanggaran kontrak, campur tangan terhadap kontrak, dan unjust enrichment
- Sepuluh tahun lalu, dalam gugatan scraping, penggugat sering mengajukan 10–15 klaim hukum untuk menguji berbagai teori, tetapi belakangan keyakinan bahwa pengadilan akan menegakkan klaim pelanggaran kontrak makin besar
- Dalam struktur ini, melalui syarat layanan online, situs host dapat mendefinisikan hak atas data dengan cara yang mereka inginkan
- Tulisan Mark Lemley tahun 2006 di Minnesota Law Review, Terms of Use, berpendapat bahwa pergeseran dari hukum properti ke hukum kontrak membuat ruang lingkup hak pemilik situs ditentukan bukan oleh hukum, melainkan oleh pemilik situs sendiri
- Pengadilan telah membiarkan terbentuknya sistem di mana, alih-alih memakai aturan umum penggunaan data atau aturan hak kekayaan intelektual yang sudah ada, kontrak online berfungsi seperti hak kekayaan intelektual sementara atas data situs
- Meski begitu, akan timbul masalah jika itu disusun dengan cara yang sepenuhnya identik dengan perlindungan hak cipta
Sikap ganda perusahaan terhadap scraping
- Sistem hukum yang memperlakukan pelanggaran kontrak seperti hak milik tidak menuntut konsistensi
- Perusahaan dapat dengan tegas menyatakan apa yang “proprietary” di situs mereka sendiri
- Pada saat yang sama, mereka dapat menyatakan data apa di situs orang lain yang bebas diambil
- Microsoft baru-baru ini memperbarui syarat layanan umumnya untuk melarang scraping, harvesting, dan cara ekstraksi serupa terhadap layanan AI
- Pada periode yang sama, afiliasi Microsoft, OpenAI, merilis GPTbot yang dirancang untuk melakukan scraping internet
- Syarat layanan OpenAI juga melarang scraping
- Anak perusahaan Microsoft, LinkedIn, menyatakan kemenangan dalam salah satu gugatan web scraping paling disorot di AS, dan memperoleh perintah larangan permanen yang mencegah mantan pesaingnya melakukan scraping atau mengakses data publik maupun nonpublik untuk selamanya
- Meta juga menggugat perusahaan yang melakukan scraping dan menjual konten publik, tetapi di masa lalu pernah membayar scraper yang sama untuk memperoleh data publik hasil scraping
Pengadilan dan ujian berikutnya
- Sikap ganda semacam ini dikritik bukan hanya sebagai masalah perusahaan, tetapi juga karena dimungkinkan oleh struktur yang dibiarkan oleh pengadilan
- Sasaran kritik mencakup Register.com v. Verio, Inc., Northern District of Texas yang memungkinkan gugatan terkait Southwest Airlines, serta pengadilan dalam perkara hiQ Labs yang tidak menjelaskan ketidaksesuaian antara putusan pendahuluan CFAA dan perintah larangan permanen berbasis pelanggaran kontrak
- Jika perusahaan swasta diizinkan menciptakan hak kekayaan intelektual melalui kontrak baku online, maka keputusan soal akses data—yang semestinya menjadi isu kepentingan publik—dapat ditentukan oleh pengambil keputusan privat
- Karena kontrak, termasuk kontrak online, adalah isu hukum negara bagian, sulit membayangkan solusi yang sederhana
- Salah satu solusi yang mungkin adalah penafsiran yang lebih luas atas prinsip preemption hak cipta, tetapi saat ini doktrin preemption hak cipta masih kacau karena perpecahan antar circuit court, dan Supreme Court baru-baru ini menolak kesempatan untuk menyelesaikannya
- Terlepas dari kondisi hukum saat ini, ujian berikutnya adalah perkara data pelatihan AI generatif, dan ketidakkonsistenan hukum di area ini kemungkinan akan terus memicu perdebatan
1 komentar
Komentar Hacker News
Saya bingung kasus HiQ versus LinkedIn berhenti di mana. Setahu saya, LinkedIn menggugat HiQ, Pengadilan Banding Sirkuit Kesembilan memihak HiQ, LinkedIn membawanya sampai Mahkamah Agung, tetapi Mahkamah Agung mengutip Van Buren lalu membatalkan dan mengembalikannya, dan Pengadilan Banding Sirkuit Kesembilan meninjau ulang lalu mencapai kesimpulan yang sama
Setelah itu LinkedIn berhasil mendapatkan pencabutan perintah sementara yang melarang pemblokiran HiQ, dan pada November 2022, setelah putusan yang campur-aduk, tampaknya akhirnya berakhir dengan penyelesaian tertutup. Banyak orang sering mengutip kasus ini, tetapi jarang membahas detailnya
Kalau membaca ringkasan putusan November 2022, sepertinya pokok masalahnya adalah HiQ membuat orang login sehingga ketentuan layanan berlaku, dan pada akhirnya pengadilan tampak menerima argumen pihak LinkedIn bahwa HiQ melanggar Ketentuan Layanan LinkedIn
https://www.natlawreview.com/article/court-finds-hiq-breache...
Klaim antimonopoli hiQ kalah pada tahap mosi untuk menggugurkan perkara, dan kira-kira di sela-sela itu hiQ tutup, tetapi seorang penyokong kaya terus membayar biaya litigasinya. LinkedIn melanjutkan klaim lain seperti pelanggaran kontrak dan menang dalam mosi untuk menggugurkan perkara, Mahkamah Agung mengembalikan kasus itu ke Pengadilan Banding Sirkuit Kesembilan setelah Van Buren, dan Pengadilan Banding Sirkuit Kesembilan kembali memihak hiQ pada isu CFAA
Setelah itu injunction dicabut, hiQ kalah hampir sepenuhnya dalam summary judgment, dan akhirnya menyerah, menyetujui permanent injunction yang menerima sebagian besar tuntutan LinkedIn serta membayar 500 ribu dolar kepada LinkedIn
Masalah ini makin buruk setiap hari seiring bertambahnya “kontrak” berbentuk ketentuan, dan di masyarakat modern hampir mustahil hidup tanpa menyetujuinya. Bahkan membeli satu SSD baru pun sudah disertai persetujuan ketentuan
Hukum menjadi makin kurang penting, dan kita makin diatur oleh kontrak sepihak yang dipaksakan secara unilateral oleh perusahaan raksasa
Jika itu papan reklame, maka menutupi bagian yang tidak saya sukai—yakni memakai pemblokir iklan—menjadi hal yang keliru secara moral. Pihak yang memiliki halaman web menginginkan kontrol, sehingga mereka menyukai pandangan ini, dan pihak yang tidak bisa mengubah tampilan halaman web, seperti pengguna biasa, umumnya juga menerimanya begitu saja
Jika itu pamflet, saya bebas mengguntingnya dan menyusunnya ulang sesuka hati. Secara teknis, pandangan ini lebih tepat. Halaman web hanyalah beberapa bit informasi yang dikirimkan kepada saya, dan selama saya mengendalikan komputer saya sendiri, saya bisa memotong bit-bit itu dan melihatnya dengan cara yang saya inginkan
Bisa saja dikatakan bahwa Amazon.com berisi halaman web Amazon dan Amazon memiliki halaman itu. Namun saya selama ini melihat Amazon.com hanya melalui perangkat saya sendiri, yang bukan milik Amazon, atau perangkat milik orang lain. Amazon.com tidak berada di atas papan reklame; ia membutuhkan perangkat elektronik milik orang lain. Kalau begitu, hak apa yang dimiliki pemilik perangkat elektronik itu? Sejak kapan piksel di layar saya menjadi ruang terlindung milik Anda?
Untuk membaca kontraknya, Anda diminta memindai kode QR dengan ponsel. Saya juga pernah melihat hal serupa di taman: kalau masuk, Anda terikat pada kesepakatan hukum untuk tidak menuntut taman atau untuk mengikuti aturan yang dipasang
Pelanggan bisa membayar iuran bulanan ke organisasi seperti serikat pelanggan atau asuransi, dengan dukungan tim hukum. Kontrak ini akan sama dapat—atau tidak dapat—ditegakkan seperti kontrak perusahaan, sehingga tercipta keseimbangan. Dengan begitu, kita tidak perlu membaca apa pun yang ditulis perusahaan dalam huruf kecil
Jika perusahaan tidak menerima kontrak pelanggan atau tidak memberi cara untuk mengesampingkan ketentuannya sendiri, kita tinggal pergi. Transaksi tidak terjadi, dan perusahaan lain akan mendapatkan pelanggan itu
Kesan yang terlihat seperti kemunafikan ini agak berkurang jika dilihat bukan sebagai kerja sama atau komunitas yang setara, melainkan sebagai persaingan. Pada kenyataannya memang persaingan. Kita tidak akan berkata kepada tim sepak bola, “Kamu boleh mencoba mencetak gol ke gawangku, tapi ketika aku mencoba mencetak gol, tiba-tiba kamu menghalangi bola?”
Tentu saja mereka akan berkata, “web scraping memakai sumber daya, jadi hentikan,” sambil tetap melakukan web scraping di belakang layar
Jelas itu perilaku buruk, tetapi menurut saya bukan perilaku munafik. Karena itu sepenuhnya konsisten dengan perusahaan-perusahaan amoral yang terus-menerus bertarung untuk memaksimalkan kepentingan sendiri dan meminimalkan kepentingan pihak lain
Namun mencoba menghentikan tindakan tertentu lewat jalur hukum lebih mirip dengan meminta wasit melarang jenis permainan tertentu, sementara mereka sendiri memainkan permainan yang sama. Dalam olahraga pun hal seperti ini sering terjadi, tetapi umumnya terlihat sebagai kemunafikan
Tentu saja scraper juga bisa melakukan hal yang menyebalkan. Mereka bisa malas dan terus-menerus menghantam server, atau tanpa sengaja mengunduh konten yang sama berulang kali. Tetapi untuk itu tidak perlu gugatan. Jika sudah setingkat serangan denial-of-service, hukum yang ada pun sudah dapat menanganinya
Jika sebagian perusahaan membuat keadaan semua orang lebih buruk dan hanya memperkaya diri sendiri, kita perlu memikirkan ulang apakah hak istimewa kepribadian hukum korporasi masih harus terus diberikan kepada perusahaan seperti itu. Kita tidak perlu membiarkan parasit dan predator mengambil apa yang mereka mau dengan biaya kita
Sekalipun mereka melakukannya secara amoral dan dengan niat buruk, itu tetap kemunafikan. Justru semakin demikian. Yang penting adalah kebijakan apa yang mereka usung, dan tidak benar-benar mempercayainya bukanlah alasan untuk dikecualikan
Saya tidak mengerti mengapa ini menunjukkan kemunafikan. Ada perbedaan besar antara merayapi web yang dapat diakses publik dan melakukan scraping terhadap aplikasi web atau API yang terautentikasi. Mesin pencari yang sah selalu melakukan crawling web publik
Lalu mereka melarang orang lain melakukan hal yang pernah mereka lakukan
Jika dibandingkan dengan mesin pencari, ini berbeda. Mesin pencari mengikis web publik untuk membuat indeks pencarian, lalu menyediakan hasil pencarian dan iklan dengan indeks itu. Yang penting, hasil pencarian umumnya mengirim orang ke situs web yang di-scrape, sehingga situs-situs itu mendapat kesempatan menghasilkan uang
Saya melihat dua masalah. Web scraping jelas merupakan masalah model bisnis, dan sebagian dari itu karena skala
Jika Anda menyediakan konten gratis dan mencoba mempertahankannya dengan iklan, begitu orang lain mengambil nilai konten tanpa melihat iklan, model itu mulai runtuh. Contohnya pemblokir iklan, jawaban yang disertakan dalam hasil pencarian Google, klon Stack Overflow, dan hal-hal seperti ChatGPT
Masalah lainnya adalah skala, dan saya tidak tahu bagaimana menyelesaikannya. Ketika pemerintah membuat kebijakan ramah yang membolehkan penggunaan sekop di taman, mereka mungkin membayangkan itu berguna bagi orang seperti pekemah. Namun ketika tim tambang terbuka profesional muncul, ceritanya berubah
Jika sebuah situs menyediakan informasi bagus secara gratis dan menghasilkan uang dari penjualan buku atau layanan profesional, itu bisa menjadi mata pencaharian yang layak. Sekalipun jawabannya masuk ke kotak jawaban Google, untuk hal yang lebih kompleks atau analisis orang tetap perlu berkunjung dan membaca, dan dari sana bisa muncul pengikut
Namun jika sesuatu seperti ChatGPT dapat “membaca” tulisan saya dan membagikan 80% nilainya tanpa sumber yang jelas, tamat sudah. Model bisnisnya tidak lagi berjalan. Semua model yang membagikan informasi bagus secara gratis akan gagal. Ini sama seperti masalah yang kini dialami para seniman
Saya tidak tahu cara memperbaikinya tanpa suatu bentuk larangan. Namun kecuali semua negara menegakkannya, kita harus mengikuti penyebut umum terendah, dan pada akhirnya semua konten harus dikunci. Tidak boleh ada pencarian web, tidak boleh ada jawaban Google, tidak boleh ada ChatGPT. Menulis “tolong jangan scrape” di robots.txt pun tidak akan berhasil
Hak cipta adalah upaya melindungi model bisnis penulis yang ingin menjual sesuatu yang sangat mudah dan murah untuk disalin. Upaya membatasi web scraping secara hukum adalah upaya melindungi model bisnis kreator yang memberikan sesuatu yang mudah dan murah untuk disalin secara gratis, tetapi ingin penerima salinan gratis itu harus datang langsung kepada kreatornya
Jadi kita juga harus bisa menggunakan layanan GPT untuk melatih model kita sendiri atau melakukan scraping atas apa pun yang dapat diakses publik. Satu-satunya pertahanan kita adalah layanan pesaing yang mengolah data lebih baik daripada model bahasa besar serbaguna mana pun. Solusinya hampir selalu persaingan yang adil, bukan regulasi
Setelah data didapat, data itu bisa didistribusikan. Jika mempostingnya apa adanya merupakan pelanggaran hak cipta, cara bersembunyi di balik AI dan membuatnya samar akan cukup untuk mengakalinya
Jika perpustakaan peminjaman gratis dan indeks pencarian web belum pernah ada lalu baru hendak dibuat hari ini, keduanya akan dihancurkan habis-habisan lewat gugatan
Dasar utama yang dijadikan sandaran oleh kasus-kasus seperti ini adalah pemahaman yang kabur tentang kesepakatan kontrak. Menurut saya ada dua hal. EULA bukan dokumen yang dibuat perusahaan untuk ditandatangani, dan sejak awal saya menganggap EULA itu sampah
Sepenuhnya sepihak, dan sebagian besar kemungkinan ilegal atau tidak akan bertahan di pengadilan jika benar-benar ada orang yang punya sumber daya untuk melawannya
Tanggung jawab untuk memastikan apakah EULA sudah dibaca dan dipahami seharusnya ada pada perusahaan yang membuatnya, dan jika mereka tidak bisa membuktikan bahwa orang tersebut memahami seluruh EULA sebelum mengakses situs, EULA itu seharusnya tidak dapat ditegakkan. EULA bukan kontrak bisnis. Itu semacam hukum semu korporat yang ingin ditempelkan perusahaan pada penggunaan produk
Produk apa di dunia ini yang disertai daftar aturan panjang tentang cara penggunaannya, lalu jika dilanggar Anda bisa dituntut?
Jadi kalau ini kembali ke “scraping perusahaan terhadap perusahaan”, jika kontennya sudah dipasang di web dan tidak ada hak cipta yang nyata atas konten itu—yakni bukan sesuatu yang mereka buat sendiri—maka mereka tidak punya hak untuk melindunginya dari “pencurian”
Tentu saya tahu John Deere mencegah pelanggan memperbaiki traktor mereka sendiri, tapi itu juga omong kosong
Kasus Register.com v. Verio yang ditautkan itu menarik. Menurut saya pengadilan membuat putusan yang lebih bernuansa tentang kontrak berbentuk syarat dan ketentuan daripada yang umum diketahui
Dalam kasus ini, Verio memanggil API Register untuk tujuan yang dilarang oleh Register. Namun Register baru memberikan teks “kontrak” yang menyatakan pembatasan itu setelah pemanggilan selesai. Kemungkinan itu bagian dari respons API
Pengadilan memang menilai bahwa ini terlalu terlambat. Jika satu-satunya cara mengetahui syarat pemanggilan API adalah dengan memanggil API tersebut, maka itu adalah kontrak shrinkwrap dan syaratnya tidak sah
Namun pengadilan menerapkan penilaian ini hanya pada pemanggilan API pertama. Verio memiliki karyawan yang dapat diharapkan menggunakan akal sehat, dan setelah pemanggilan pertama mereka punya kesempatan membaca teks itu dan mengetahui pembatasannya. Karena itu, pada semua pemanggilan API berikutnya, karyawan Verio tetap melakukan hal yang secara eksplisit dilarang Register meskipun mengetahuinya, sehingga pengadilan menilainya sebagai pelanggaran kontrak
Poin pentingnya adalah pengadilan tidak meninggalkan prinsip bahwa seseorang harus mengetahui syarat kontrak agar kontrak dapat terbentuk. Kasus ini sebenarnya lebih dekat pada penolakan terhadap situasi ketika pihak yang sebenarnya mengetahui syarat berpura-pura tidak tahu
[1] https://en.m.wikipedia.org/wiki/Register.com_v._Verio
Kasus Allen Institute yang dibahas pekan lalu adalah contoh yang bagus
https://news.ycombinator.com/item?id=37181415
Mereka “membuka” dataset yang dibuat dengan mengeruk materi domain publik, lalu menempelkan lisensi yang membatasi bagaimana orang boleh menggunakannya
Pernyataan bahwa “konten yang ingin mereka lindungi bukan milik mereka, melainkan milik pengguna” hanya benar sampai batas tertentu. Facebook mengatakan konten adalah milik pengguna. Dengan begitu, lebih mudah bagi mereka menjelaskan bahwa mereka tidak bertanggung jawab ketika ada konten ilegal
Namun pengguna juga setuju memberi Facebook “lisensi non-eksklusif, dapat dialihkan, dapat disublisensikan, bebas royalti, dan berlaku di seluruh dunia untuk menggunakan setiap konten kekayaan intelektual yang Anda posting di atau sehubungan dengan Facebook”
Misalnya, meskipun pengguna menghapus kontennya sendiri, Facebook tetap dapat menggunakannya dan menampilkannya kepada teman-teman. Jadi menurut saya, “sampai batas tertentu”