Sebagian besar Googlebot itu palsu

Banyak kasus Googlebot yang mengirim permintaan hingga menyebabkan gangguan situs ternyata bukan berasal dari Google, melainkan dari bot eksternal yang menyamar sebagai Googlebot
HTTP User-Agent dapat ditentukan secara bebas oleh pengirim permintaan, sehingga hanya melihat string Googlebot/2.1 di log tidak menjamin bahwa itu benar-benar Googlebot
Bot penyamar memakai nama Googlebot untuk menghindari pemblokiran, dan bisa jadi merupakan satu kampanye crawler berbahaya berskala besar yang memanfaatkan server dari berbagai penyedia hosting
Untuk memverifikasi apakah itu benar-benar Googlebot, perlu dicek dengan perintah host atau rentang IP yang dipublikasikan Google; bahkan IP yang terdaftar atas nama Google LLC bisa saja merupakan alamat Google Cloud, jadi perlu verifikasi tambahan
Tidak ada data yang menunjukkan bahwa mayoritas dari seluruh trafik Googlebot adalah palsu, tetapi trafik Googlebot yang mengganggu layanan tampaknya terutama berasal dari bot penyamar

Kesalahpahaman seputar trafik Googlebot

Ada keluhan dari pengelola situs bahwa crawler pencarian Google menyebabkan gangguan situs karena trafik berlebihan atau bertindak seperti DDoS
Namun, trafik destruktif semacam ini mungkin bukan dikirim oleh Google, melainkan oleh pihak lain yang menyalahgunakan nama Googlebot sebagai permintaan penyamaran
Menemukan string Googlebot di log server saja tidak cukup untuk langsung menyimpulkan bahwa sumber trafiknya adalah Google

Permintaan yang tampak seperti Googlebot biasanya memuat nilai seperti berikut
- User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
String yang sama juga bisa tercatat di log nginx, tetapi header User-Agent dapat diatur bebas ke nilai apa pun oleh pengirim permintaan
Karena User-Agent bukan informasi autentikasi yang tervalidasi melainkan identifikasi diri sukarela, siapa pun bisa mengaku sebagai Googlebot

Pihak yang menyamar tampaknya menggunakan User-Agent Googlebot untuk menghindari pemblokiran bot yang sudah ada
IP pada contoh log teridentifikasi sebagai server yang disediakan oleh penyedia hosting Virtual Machine Solutions LLC, bukan Google
Penyamaran sebagai Googlebot sudah lama menjadi trik umum, dan belakangan skalanya teramati membesar
Chris Siebenmann mengemukakan bahwa alih-alih trik lama ini mendadak populer di banyak tempat sekaligus, kemungkinan besar ini adalah kampanye besar dari satu crawler berbahaya yang menguasai banyak server di berbagai penyedia hosting

Sesuai dokumentasi verifikasi Googlebot dari Google, Anda bisa menjalankan perintah host beberapa kali atau mencocokkannya dengan rentang IP yang dipublikasikan Google
Sebagian besar crawler utama memang mempublikasikan daftar IP, tetapi format dan cara operasionalnya berbeda-beda
JAFAR adalah usulan untuk menstandarkan daftar IP crawler, dan saat ini masih dalam proses standardisasi
Meskipun pendaftar IP tertulis Google LLC, alamat tersebut bisa saja merupakan alamat hosting Google Cloud sehingga tetap perlu verifikasi terpisah
- Belum ditemukan contoh penyamaran terbaru yang memakai Google Cloud
Jika hasil verifikasi menunjukkan bahwa itu benar-benar Googlebot yang melakukan crawling berlebihan, ikuti dokumentasi Google untuk menangani crawling berlebihan

Sekalipun hanya menambahkan satu field lagi, tidak ada alasan bagi pelaku berbahaya untuk mengisinya dengan jujur
Apa yang disebut evil bit dalam RFC 3514 menyindir fakta bahwa pelaku berbahaya tidak akan mematuhi standar semacam itu
Web Bot Auth HTTP Signatures memang lebih rumit daripada field tambahan, tetapi ini adalah pendekatan untuk mewujudkan User-Agent yang dapat dipercaya lewat tanda tangan kriptografis

Tidak ada data yang membuktikan bahwa trafik palsu benar-benar merupakan mayoritas dari seluruh trafik Googlebot
Namun, sebagian besar kasus trafik Googlebot yang sangat mengganggu situs tampaknya berasal dari Googlebot palsu
Berdasarkan pengalaman, Googlebot asli umumnya bekerja sangat stabil, sedangkan bot penyamar dapat terus mengirim permintaan sampai situs mengalami gangguan