Memberi Makan AI Scraper dengan 'Data 18+': Teknik Pertahanan Blog yang Membalikkan Filter Pelatihan
(github.com/vivienhenz24)Analisis alat 'Fuzzy Canary' untuk mencegah pengumpulan data pelatihan AI
- Poin utama:
- Menanamkan tautan tak terlihat yang mengarah ke situs tidak pantas (konten dewasa, dll.) untuk membalikkan filter pemblokiran konten milik AI scraper.
- Menyediakan metode injeksi sisi server (direkomendasikan) dan sisi klien, dengan cara penerapan yang berbeda tergantung framework.
- Mencakup fungsi untuk mengenali bot mesin pencari normal (Google, Bing, dll.) dan mengecualikan injeksi tautan agar optimisasi mesin pencari (SEO) tetap terjaga.
Pendahuluan: Pendekatan teknis untuk menghadapi AI scraping
- Situasi masalah: Perusahaan AI mengumpulkan data situs web seperti blog pribadi yang di-hosting sendiri secara acak untuk memperoleh data pelatihan.
- Solusi yang diajukan: 'Fuzzy Canary' menggunakan cara menyisipkan tautan tak terlihat (ke situs dewasa, dll.) di dalam HTML.
- Cara kerja: Data yang memuat tautan tersebut memicu safeguard keamanan konten milik AI scraper, sehingga pada akhirnya data dari situs tersebut tidak dikumpulkan untuk pelatihan.
Isi 1: Instalasi dan metode implementasi menurut lingkungan
Pembedaan antara metode injeksi sisi server dan sisi klien
-
Implementasi sisi server (direkomendasikan):
-
Karakteristik: Karena 'Canary (tautan jebakan)' disertakan saat HTML dibuat, cara ini tetap efektif terhadap scraper yang tidak menjalankan JavaScript.
-
Framework berbasis React (Next.js, Remix): Diterapkan dengan menambahkan komponen
<Canary />ke root layout. Beberapa framework seperti Remix perlu meneruskan informasi User Agent melalui loader. -
Framework non-React: Gunakan utilitas
getCanaryHtml()untuk menyisipkan HTML secara langsung di awal tag<body>. -
Implementasi sisi klien:
-
Karakteristik: Digunakan untuk situs statis atau jika lebih memilih injeksi di sisi klien.
-
Penerapan: Impor modul inisialisasi otomatis (
@fuzzycanary/core/auto) di file entri utama, maka injeksi akan dilakukan otomatis saat halaman dimuat.
Isi 2: Hal yang perlu diperhatikan terkait optimisasi mesin pencari (SEO)
Pengenalan bot mesin pencari normal dan keterbatasan situs statis
-
Mekanisme pemfilteran bot: Fuzzy Canary mengenali bot mesin pencari yang dikenal seperti Google, Bing, DuckDuckGo, lalu melewati injeksi tautan jebakan untuk permintaan tersebut sehingga mencegah dampak buruk pada SEO.
-
Keunggulan server rendering: Server dapat memeriksa User Agent dari permintaan dan secara selektif memberikan 'HTML bersih' ke mesin pencari serta 'HTML dengan Canary' ke AI scraper.
-
Masalah struktural situs statis:
-
Situs statis yang membuat HTML saat build tidak dapat memeriksa User Agent.
-
Jika semua HTML memuat tautan jebakan, mesin pencari seperti Google dapat mengenali tautan itu dan hal ini bisa berdampak negatif pada SEO.
-
Strategi penanganan: Jika menggunakan static site generator, gunakan metode inisialisasi sisi klien agar
navigator.userAgentdapat diperiksa saat runtime dan keputusan injeksi bisa dibuat saat itu juga (namun ada keterbatasan karena ini hanya berlaku untuk bot yang menjalankan JavaScript).
Kesimpulan: Hal yang perlu dipertimbangkan saat penerapan dan pilihan strategis
- Efisiensi teknis: Dari sisi perlindungan data, metode sisi server adalah yang paling efektif karena bekerja terlepas dari apakah JavaScript dijalankan atau tidak.
- Keseimbangan dengan SEO: Saat mengelola situs statis, penggunaan metode sisi klien secara struktural tak terhindarkan untuk menghindari risiko penurunan SEO.
- Rekomendasi akhir: Pilih metode penerapan dengan mempertimbangkan keseimbangan antara efektivitas pencegahan scraping dan pemeliharaan SEO sesuai metode rendering framework web yang digunakan (SSR vs Static).
Belum ada komentar.