- Baru-baru ini, saat menganalisis trafik web, ditemukan bahwa web bot bernama Thinkbot menghasilkan trafik paling banyak
- Bot tersebut mengabaikan
robots.txt, dan bahkan kalimat perkenalannya sangat tidak serius, hanya kurang lebih berbunyi “kalau ada masalah, blokir saja IP-nya”
- Selama satu bulan, bot ini menggunakan 74 IP yang berbeda, yang tersebar di 41 blok jaringan
- Hasil investigasi menunjukkan bahwa semua blok jaringan ini dimiliki oleh Tencent, sehingga muncul kecurigaan apakah ini terkait dengan kemungkinan melimpahkan biaya Great Firewall ke pihak luar
- Pada akhirnya ditambahkan aturan pemblokiran besar-besaran yang mencakup lebih dari sekitar 470 ribu IP
Kemunculan Thinkbot
- Saat menganalisis trafik web, ditemukan bahwa web bot bernama Thinkbot menempati porsi teratas
- String User-Agent-nya sangat tidak serius, seperti berikut
> “Mozilla/5.0 (compatible; Thinkbot/0.5.8; +In_the_test_phase,_if_the_Thinkbot_brings_you_trouble,_please_block_its_IP_address._Thank_you.)”.
- Selain kalimat “jika menimbulkan masalah pada tahap pengujian, silakan blokir IP-nya”, bahkan tidak ada URL rujukan
- Bot ini sama sekali tidak menghormati file
robots.txt dan tetap melakukan crawling
- Sebagai pengelola situs, upaya untuk memblokirnya juga sulit karena bot ini tidak memakai satu IP saja, melainkan 74 alamat IP
- Setelah ditelusuri balik dan dicek ASN-nya, trafik ini berasal dari 41 blok jaringan
- Ini berarti pertahanan dengan pemblokiran satu IP saja tidak mungkin memadai
Keterkaitan dengan Tencent
- Ke-41 blok jaringan ini semuanya dimiliki oleh Tencent
- Penulis mencurigai bahwa pemerintah Tiongkok bisa saja membiarkan atau mendorong hal ini, dan menafsirkannya sebagai upaya untuk melimpahkan biaya Great Firewall ke dunia luar
- Di dalam Tiongkok, pengumpulan konten tetap diizinkan, dan meskipun diblokir dari luar, dari sudut pandang CCP hal itu bukan masalah; namun bagi negara atau situs lain yang mencoba memblokirnya, ini menjadi beban tambahan
Tindakan pemblokiran firewall
- Penulis secara langsung menambahkan blok jaringan Tencent ke aturan firewall badbots
- Contoh:
43.130.0.0/18, 101.32.0.0/20, 150.109.96.0/19 dan lain-lain
- Total lebih dari 40 blok jaringan ditambahkan; meskipun ini tidak mencakup seluruh IP milik Tencent, aturan tersebut tetap mencakup lebih dari 476.590 IP unik
Kesimpulan dan analogi
- Penulis menggambarkan situasi ini sebagai kenyataan bahwa di internet kita tidak bisa lagi memiliki hal-hal baik
- Ini bukan sekadar contoh pemblokiran trafik bot, melainkan kasus yang menunjukkan menurunnya kepercayaan di seluruh ekosistem internet dan respons defensif yang tak terhindarkan
Belum ada komentar.