Google Search kesulitan menghadapi serangan spam berskala besar
(searchenginejournal.com)- Hasil pencarian Google selama beberapa hari terekspos pada serangan spam berskala besar, dengan sejumlah domain masing-masing meraih peringkat untuk ratusan ribu keyword, sehingga total skalanya bisa mencapai jutaan kueri pencarian
- Serangan ini tampaknya menargetkan kombinasi kueri long-tail, algoritme pencarian lokal yang lebih longgar, dan masa paparan awal yang singkat untuk domain baru
- Beberapa domain spam naik peringkat dalam 24–48 jam setelah didaftarkan, dan satu domain saja meraih peringkat untuk lebih dari 300.000 frasa keyword
- Halaman spam membedakan pengunjung biasa dan Googlebot, hanya menampilkan konten untuk IP Google dan mengalihkan pengunjung lain ke domain berbeda
- Google mengatakan pada 19 Desember bahwa kasus ini telah diteruskan ke tim Search untuk ditinjau, tetapi penanganan celah pada pencarian lokal dan pencarian long-tail masih menjadi tantangan
Spam yang membanjiri hasil pencarian Google
- Hasil pencarian Google selama beberapa hari mendapat serangan spam pada tingkat yang sulit dikendalikan
- Sejumlah domain masing-masing meraih peringkat untuk ratusan ribu keyword, dan skala serangan ini bisa mencapai jutaan frasa keyword
- Menurut Lily Ray, pada 20 hasil teratas untuk pencarian
"craigslist used auto parts", selain dua hasil pertama dari Craigslist, semuanya adalah spam
Tiga celah yang dibidik spam
- Situs spam tampaknya memanfaatkan setidaknya tiga jendela peluang dalam sistem peringkat Google
-
Kueri dengan persaingan rendah
- Keyword long-tail dengan volume pencarian rendah memiliki persaingan lebih kecil sehingga lebih mudah naik peringkat
- Kueri yang hanya muncul sebulan sekali atau bahkan setahun sekali memiliki hambatan masuk peringkat yang sangat rendah
-
Algoritme pencarian lokal
- Pencarian lokal bekerja untuk kueri yang memiliki unsur lokasi, seperti restoran terdekat atau jadwal film
- Algoritme ini lebih longgar, sehingga restoran lokal tanpa tautan pun bisa meraih peringkat
-
Paparan awal singkat untuk domain baru
- Banyak domain spam didaftarkan 24–48 jam sebelum mulai naik peringkat
- Saat sinyal untuk situs yang benar-benar baru masih kurang, Google menggunakan perkiraan, dan pada fase awal sebelum sinyal nyata terkonfirmasi, situs bisa tampil lebih menonjol
- Domain spam dapat memanfaatkan periode singkat ini untuk masuk ke hasil pencarian, tampil pada banyak kueri, lalu menghilang
Jaringan tautan kemungkinan dipakai untuk penemuan dan pengindeksan
- Bill Hartzer mengungkap jaringan tautan dari sejumlah situs spam melalui graf tautan yang dibuat dengan alat backlink Majestic
- Graf tersebut menunjukkan banyak situs web saling terhubung rapat, pola yang umum pada jaringan tautan spam
- Tautan kemungkinan bukan penyebab langsung peringkat tinggi, melainkan membantu Googlebot menemukan dan merayapi halaman spam baru agar bisa terindeks selama satu atau dua hari
- Bill Hartzer juga menilai salah satu penyebabnya adalah Google memberi bobot lebih besar pada konten dibanding tautan
Gabungan long-tail dan pencarian lokal
- Banyak kueri tempat situs spam meraih peringkat berbentuk gabungan frasa long-tail dan elemen pencarian lokal
- Long-tail adalah frasa dengan frekuensi pencarian rendah, sehingga persaingannya kecil dan lebih mudah naik peringkat
- Jika operator spam membuat jutaan halaman long-tail, mereka bisa tampil pada ratusan ribu keyword per hari dalam waktu singkat
- Berbeda dengan Amazon yang menjual sangat banyak produk individual, spam bekerja dengan menyesuaikan halaman untuk banyak kueri berpersaingan rendah agar tampil di hasil pencarian
- Kasus yang terungkap mencakup frasa seperti
Craigslist auto parts,Craigslist rooms to rent, danCraigslist for sale by owner - Skala spam ini jauh melampaui keyword yang hanya memuat kata
Craigslist
Halaman spam yang hanya terlihat oleh Googlebot
- Saat mengakses halaman spam dengan browser biasa, isi halaman sebenarnya tidak bisa dilihat dan pengguna otomatis dialihkan ke domain lain
- Situs juga tidak bisa dilihat dengan W3C Link Checker, dan pengalihan tetap terjadi meski user agent browser diubah menjadi Googlebot
- Ini menunjukkan bahwa situs spam memeriksa alamat IP Googlebot, bukan user agent
- Jika IP pengunjung dikenali sebagai milik Google, konten ditampilkan kepada Googlebot; pengunjung lain dikirim ke domain lain yang memuat konten mencurigakan
- Dengan Google Rich Results Tester, halaman spam bisa diakses menggunakan IP Google dan HTML-nya dapat diperiksa
- Dengan menyalin HTML dari Rich Results Tester, menyimpannya sebagai file, lalu menghapus JavaScript, bentuk halaman spam seperti yang dilihat Google dapat diperiksa
Satu domain saja meraih peringkat untuk lebih dari 300.000 keyword
- Spreadsheet yang dibagikan Bill Hartzer berisi daftar frasa keyword tempat satu situs spam meraih peringkat
- Satu situs spam tersebut saja meraih peringkat untuk lebih dari 300.000 frasa keyword
- Keyword-nya memang banyak terkait Craigslist, tetapi juga mencakup banyak frasa long-tail dengan elemen pencarian lokal
- Frasa long-tail dan frasa pencarian lokal masing-masing memang mudah diraih peringkatnya, dan ketika digabung, keduanya bisa lebih mudah naik peringkat
Celah pencarian lokal dan respons Google
- Pencarian lokal menggunakan algoritme yang berbeda dari pencarian non-lokal
- Situs lokal tidak memerlukan banyak tautan untuk meraih peringkat, dan bisa naik peringkat jika memiliki keyword yang tepat untuk memicu algoritme pencarian lokal
- Algoritme pencarian lokal sangat longgar; bahkan ada kasus situs yang hampir seluruhnya ditulis dalam bahasa Latin bisa meraih peringkat untuk frasa seperti
Rhinoplasty Plano Texas - Danny Sullivan dari Google SearchLiaison mengatakan pada 19 Desember bahwa kasus ini telah diteruskan ke tim Search dan sedang ditinjau
- Google bisa merespons dengan cara yang lebih ketat, seperti mencegah situs dari domain tertentu untuk meraih peringkat, tetapi masih harus dilihat apakah mereka dapat menemukan cara untuk mengatasi jenis spam ini
7 komentar
Dokumen pelaporan spam Google: saat melaporkan spam web, jika domainnya seperti
abc.abc.uk/trashasda, laporkan sebagaiabc.uk, lalu laporkan juga dengan memasukkanabc.abc.uk/sitemap.xmlke kolom kata kunci pencarian yang paling bisa menjelaskan masalahnya secara akurat. Sepertinya ini adalah situs yang sudah dipersenjatai dengan solusi tertentu, dan saat pengguna biasa mengaksesnya, strukturnya langsung membuat dokumen turunan lagi. Cara menanganinya memang dengan aktif melaporkannya; setiap kali ditekan di Google, halaman spam akan dibuat lagi, dan ada juga proses yang membuat bot mengaksesnya melaluigoogle.com/url,image.google.com/url,naver redirect, dan semacamnya lalu berpindah lagi ke halaman spam yangdibuat, jadi jangan diklik, cukup salin tautannya saja lalu laporkan. Selama algoritme pengalihan yang ditandai sebagaigoogle.com/urltidak dihapus, tampaknya masalah saat ini akan terus muncul.(laporkan spam, dokumen web spam)
Jika Anda melaporkan dokumen web yang termasuk dalam solusi spam di atas,
yang benar adalah mengisi total 5 kolom: kolom pertama dengan domain utama, lalu 4 URL tambahan dengan daftar dokumen turunan yang dibuat dari sana. Sebaiknya sitemap domain tersebut juga dimasukkan ke kata pencarian. Jika sitemap dibuka, mereka memakai strategi yang membuat halaman seperti
/new/asdasddibuat begitu diakses, jadi saat Anda menyusun dokumen laporan, pada akhirnya Google akan memicu pembuatan dokumen tambahan yang kabur saat ditinjau. Karena pelakunya cukup licik seperti itu, Anda harus melaporkannya pada tingkat domain.Dalam kasus saya
(h diubah menjadi x, / diubah menjadi |)
xttp:||baddomain.com
xttp:||baddomain.com/blogs
xttp:||baddomain.com/blogs/asdasd1
xttp:||baddomain.com/asdasd1
xttp:||baddomain.com/asdasd2
Setelah menulis laporan seperti ini,
jika itu situs yang sudah membusuk mulai dari subdomain, saya mengirim laporan dengan kata kunci seperti ini: site:*baddomain.com.
Setelah itu, jika situsnya sendiri benar-benar bersifat spam, saya juga sekalian mengirim laporan situs phishing.
Perangkat lunak di situs web spam tersebut ironisnya terhubung dengan tag manager, dan pengindeksan tetap berjalan normal meskipun menggunakan situs seperti https://picsum.photos. Ini juga berarti Google tidak melakukan peninjauan. Bahkan ketika aktivitas spam sudah melampaui batas yang wajar, jika dokumen web spam + iklan AdWords masih aktif, maka seberapa sering pun dilaporkan, dokumen turunan akan dibuat dengan cepat sebanding dengan jumlah trafik dari iklan. Fakta bahwa situs web spam menggunakan tag manager secara normal adalah bagian yang benar-benar bikin merinding.
Saya sudah sebulan mengirim laporan spam, tetapi jika Anda juga melaporkannya sebagai dokumen spam atau dokumen penipuan dan sekaligus melaporkannya lewat halaman pelaporan situs phishing, penanganannya bisa dilakukan lebih cepat. Halaman tersebut juga saya masukkan, tetapi jika domain tingkat atasnya adalah
abc.abc.uk, Anda harus memasukkanabc.ukagar membantu menindak domain itu sendiri. Ini sudah menjadi pekerjaan rumah sehari-hari bagi para webmaster.Google memang sejak dulu sudah terlihat mengalami penurunan kualitas hasil pencarian secara keseluruhan, dan jika diserang secara massal dalam waktu singkat seperti ini, makin banyak orang yang jadi tidak bisa mempercayai hasil pencarian Google.
Opini Hacker News
Dulu ada kebijakan eksplisit bahwa situs yang menampilkan konten berbeda kepada Googlebot dibandingkan kepada pengguna umum yang tidak login tidak diizinkan, dan akan dikenai penalti berat
Sekarang kebijakan itu sudah hilang, tetapi jika alat penegakan otomatisnya cukup baik, tampaknya itu akan membantu dalam situasi seperti ini
Belakangan ini Google tampaknya sepenuhnya menganggap wajar situs yang menampilkan konten kepada Googlebot sambil sengaja menyembunyikannya dari pengguna biasa
Dari jumlah itu, Bing menyumbang sekitar 70% trafik crawler dan Google sekitar 25%; Bing melakukan crawling secara agresif dan dalam beberapa bulan melipatgandakan trafik yang sudah besar, sehingga batas skalabilitas kami terlihat jelas
Saya menangani sistem yang memilih iklan untuk ditampilkan di halaman; itu adalah sistem iklan internal yang melakukan penargetan berbasis data kami sendiri, sehingga biaya komputasinya adalah bagian terbesar, dan iklan disisipkan langsung ke HTML
Setelah mengetahui bahwa 90% infrastruktur pemilihan iklan dipakai untuk menyajikan iklan kepada crawler, saya ingin mematikan iklan untuk crawler, tetapi itu tampak bertentangan dengan semangat kebijakan Google yang mengharuskan “crawler dan pengguna melihat konten yang sama”
Akhirnya kami mematikan hampir semua penargetan dan menampilkan iklan acak yang kira-kira relevan dengan halaman kepada crawler, lalu menghemat hampir 80% biaya infrastruktur pemilihan iklan, setara penghematan ratusan ribu dolar per bulan
Pertanyaan seperti “fitur inti produk bisa diduplikasi dalam 100 baris, jadi kenapa perusahaan butuh banyak engineer?” melewatkan hal seperti ini. Pada skala yang cukup besar, hanya untuk menangani trafik crawler saja sudah butuh engineering sungguhan
Pada awal 2000-an Google kebanyakan melakukan crawling dari IP milik Google, tetapi kadang juga memakai IP ISP mitra seperti Comcast
Jika Anda melakukan IP cloaking, Anda juga harus berhati-hati terhadap IP non-Google yang merepotkan itu, dan saya pernah memainkan permainan seperti itu lewat skrip dari layanan bernama “IP Delivery”
Ditambah lagi situs spam menebar sebanyak mungkin kata kunci, jadi setelah melewati halaman pertama, apa pun yang dicari, 95% situs terasa seperti spam
Saya tidak mengerti kenapa internet dibiarkan seperti ini. Harusnya ada cara untuk menandatangani konten yang asli/dapat dipercaya, dan sertifikat SSL jelas bukan itu
Mungkin peringkat legitimasi situs bisa di-crowdsourcing
Ini juga alasan orang-orang berkumpul di nama-nama besar seperti Reddit dan YouTube. Seperti McDonald’s, Anda tahu bahwa yang Anda dapat kali ini akan sama seperti sebelumnya
Beberapa bulan lalu saya pindah ke Kagi. Kadang sulit mendapatkan hasil pencarian yang bagus, tetapi saat mengecek Google pun hasilnya tidak lebih baik
Memang tidak selalu menaikkan situs yang saya suka, tetapi saya sudah mulai menyesuaikan hasil agar cocok dengan selera saya dengan memberi boost dan pin pada beberapa domain
Saya masih banyak memakai layanan Google lain, termasuk Gmail dan Maps, tetapi saya tidak lagi memakai pencariannya
Namun, selama beberapa bulan terakhir saya benar-benar berhenti melakukan pencarian web. ChatGPT-4 melakukannya jauh lebih efektif, dan kecuali pengalaman ini rusak dalam suatu cara, saya tidak melihat alasan untuk kembali ke pencarian internet
Jika Kagi tidak menemukan sesuatu yang seharusnya bisa ditemukan, saya mencoba Google, tetapi Google benar-benar memburuk parah
Sulit dipercaya seberapa buruk kondisinya sekarang dibandingkan 10 tahun lalu
Saya melihat makin banyak situs yang memberikan teks dalam jumlah tidak masuk akal hanya untuk menjawab pertanyaan sederhana
Hampir selalu polanya adalah jawaban sebenarnya berada di bagian paling bawah halaman
Di permukaan tampak relevan, tetapi ketika dibaca isinya benar-benar tulisan sampah yang sangat umum. Rasanya seperti siswa SMA menambahkan basa-basi ke esai hanya untuk memenuhi jumlah kata
Sejumlah praktisi SEO menerbitkan riset bahwa halaman dengan lebih dari 2.000 kata kunci mendapat peringkat lebih tinggi, dan setelah itu semua perusahaan mulai menggembungkan halaman mereka dengan omong kosong 2.000 kata agar sesuai dengan Google
Biasanya kelihatan dari struktur seperti esai anak SMA, dan sering berakhir dengan paragraf seperti “kesimpulannya, ada banyak kelebihan tetapi juga banyak kekurangan”
Selama 20 tahun, kita menganggap wajar bahwa mesin pencari yang kita kenal bisa menyelesaikan masalah umum, tetapi mungkin saja konsep perayapan web tanpa pengawasan sebagai input untuk mesin pencari serbaguna akan hilang sama sekali
Kalau mengingat kueri web saya sendiri dalam 1–2 tahun terakhir, tampaknya lebih masuk akal mengganti satu Google dengan beberapa sistem yang masing-masing punya tujuan khusus
Untuk kueri teknis, langsung mencari di Stack Overflow dan GitHub; untuk tempat lokal, mencarinya di basis data tempat khusus yang mewajibkan entri baru lolos peninjauan minimal; untuk pertanyaan medis, hanya mencari di beberapa situs tepercaya
Kita terbiasa ke Google karena nyaman bisa mengetik judul film, “chinese restaurant philadelphia”, “flights to miami 4/12/24”, dan “Error code 127 python” di satu tempat, tetapi mungkin akan lebih baik jika tempat tunggal itu menebak jenis pencarian dengan bantuan model bahasa besar lalu mengarahkan kita ke pencarian khusus yang sudah dikurasi
Saya penasaran apakah dengan kembali ke model direktori ala DMOZ/Yahoo yang dikurasi manusia, arus spam dan clickbait yang belakangan sering dikeluhkan juga bisa dibalikkan
Saya ingin menghapus GeeksForGeeks dari semua hasil pencarian selamanya dengan satu klik. Dan akan bagus jika saya bisa terus menambahkan situs ke daftar yang dulu biasa disebut “blacklist”
Saat mencari gambar, saya sama sekali tidak ingin Pinterest muncul
Hasil pencarian saya kemungkinan akan cepat membaik
Lebih jauh lagi, kalau daftar semua pengguna digabungkan, pencarian pengguna yang belum membuat blacklist pun bisa ikut membaik
Apakah suatu situs bisa berbisnis di web akan sepenuhnya ditentukan oleh apakah situs itu diklasifikasikan dengan benar oleh mesin ini, atau bahkan diklasifikasikan sama sekali
Jika karena alasan apa pun Anda ingin memulai pesaing Stack Overflow, akan sangat sulit untuk mendapatkan perhatian
Memang mesin pencari umum saat ini juga mirip, tetapi setidaknya masih ada kemungkinan untuk dirujuk dengan baik, naik ke peringkat yang cukup tinggi, dan mendapat trafik
Inilah juga alasan model Yahoo runtuh. Dulu direktori sering gagal menampilkan informasi terbaru hanya karena situs itu belum ada dalam daftar situs yang ditambahkan secara manual
Menurut saya, masalah Google saat ini bukan spam itu sendiri, melainkan Google yang sudah berpuas diri. Karena iklan Google sudah terpasang di mana-mana, fungsi “memaksimalkan pendapatan per pencarian” tidak terlalu peduli apakah pengguna benar-benar menemukan yang mereka cari
Kalau diberi hasil buruk, pengguna justru bisa membuka lebih banyak halaman dan melihat lebih banyak iklan
Dulu saat pencarian Google masih berada di atas situs-situs spam, tidak seperti ini, tetapi sekarang terasa seperti mereka tidak lagi melakukan pembaruan algoritme untuk menghentikan tren saat ini, dan situs spam sudah memahami apa yang bisa muncul di peringkat atas
Keindahan mesin pencari adalah bahwa secara teori kita bisa menemukan hal-hal baru
Jika web terbuka disingkirkan, pemain yang ada sekarang hanya akan makin mengeras dan terkunci di posisinya
Saya merasa kualitas jawaban yang saya dapatkan dari Google Search sudah lama menurun tajam
Saya juga melihat orang lain mengatakan hal serupa
Saya tidak tahu kapan tren ini dimulai
Apakah ini sudah berlangsung lama tanpa peninjauan yang diperlukan? Apakah serangan spam kali ini adalah tahap akhirnya?
Saya merindukan interaksi manusia yang apa adanya, dan punya firasat bahwa setelah itu semuanya bergulir seperti bola salju
Orang-orang benar-benar menyerah untuk mencoba bergantung padanya. Semua orang sudah belajar bahwa Google tidak peduli
Dulu dioptimalkan agar menjadi pisau yang tajam, sekarang dioptimalkan agar menjadi pisau pengaman
Konten sampah bertambah sangat banyak setiap tahun, sedangkan konten informatif atau berkualitas tinggi tampaknya stagnan atau malah berkurang akibat pembusukan data
Saya kira Search Engine Journal tentu tahu bahwa Google secara berkala menerapkan perubahan yang memengaruhi bagaimana situs tertentu dinilai
Pada masa perubahan seperti ini, peringkat bisa berubah cukup besar, misalnya hasil yang “tidak relevan” atau “berkualitas rendah” untuk kueri tertentu bisa naik tinggi, dan kondisi itu bisa bertahan lama
Dulu pembaruan algoritme seperti ini dipantau dan didiskusikan dengan giat oleh situs-situs tentang optimasi mesin pencari
Tetapi saya sudah lebih dari 10 tahun tidak memakai Google, jadi ini murni pendapat sambil lalu
Tulisan itu menjelaskan mengapa hal seperti ini sangat mungkin terjadi
Singkatnya, para spammer tampaknya mengeksploitasi dua celah
Selain itu ada alasan lain mengapa situs-situs seperti ini bisa lolos, dan artikel itu membahasnya dengan rinci
Google sudah tidak bisa dipakai dalam banyak situasi dan malah memberi imbalan pada spam. Mereka mengklaim tidak, tetapi kenyataannya begitu, dan sekarang banyak strategi optimasi mesin pencari berjalan dengan cara menyebarkan artikel, halaman, dan sejenisnya ke mesin pencari
Bukan demi konten yang berguna, melainkan demi backlink, tautan internal, dan semacamnya
Ini особенно parah dalam optimasi mesin pencari khusus wilayah, yang mengharuskan membuat kumpulan halaman berbeda untuk tiap daerah
Pada akhirnya, kita seperti kembali ke masa awal Google ketika manipulasi masih sangat mudah
Sekarang orang membuat dan menyebarkan ratusan halaman serta artikel dengan AI. Ini benar-benar memburuk, tetapi yang lebih parah, kalau ingin bersaing dalam kata kunci, sekarang kita juga harus melakukannya
Sekarang mereka tampaknya tidak peduli lagi
Halaman optimasi mesin pencari berkualitas rendah menempati peringkat di atas situs normal, sehingga situs-situs normal itu terdorong untuk membayar iklan. Sangat menyedihkan
Google sudah meninggalkan hasil organik. Saya cukup paham soal optimasi mesin pencari, tetapi sekarang saya sudah tidak bisa memakai Google Search. Saya bisa menebak dengan sangat cepat kenapa sebuah halaman ada di peringkat itu, dan tidak ada satu pun alasannya yang berkaitan dengan informasi yang akurat dan bernilai
Google adalah sebuah pasar, dan membiarkan hasil yang paling “mendorong keterlibatan” menang selama mengikuti struktur konten tertentu
Sekarang, sebagian besar hasil berbayar justru lebih bernilai bagi pengguna daripada hasil organik. Memang itu yang Google inginkan. Klik hasil berbayar dan abaikan sampahnya
Kalau mengikuti paragraf pertama, bukankah itu berarti hasil berbayar juga sampah?
Saya berhenti memakai Google sekitar setahun lalu setelah Google mulai menempelkan lebih banyak ChatGPT, lalu beralih ke Bing
Secara umum saya jauh lebih suka cara Bing menampilkan apa yang saya cari
Memang tidak sempurna, tetapi bahkan dalam beberapa kasus saat saya frustrasi lalu membandingkannya dengan Google, Google tidak lebih baik, dan masalahnya ada pada topiknya sendiri, bukan pada mesin pencarinya
Karena biasanya saya tidak membandingkannya dengan Google, saya tidak bisa bilang dengan yakin bahwa hasilnya “setara”, tetapi pengalaman saya jelas lebih baik
Saat mencari sesuatu, yang muncul adalah halaman dengan tautan, dan biasanya yang saya inginkan ada di halaman pertama
Kadang tidak ada, atau kalau topiknya baru dan saya rasa Google mungkin punya versi yang lebih baru, saya tinggal menambahkan
!gke kata kunci untuk langsung pindah ke GoogleBagus, berfungsi dengan baik, dan tidak membuat stres, tidak mengerikan, atau menjengkelkan. Saya rekomendasikan
Selama beberapa tahun terakhir, Google sendiri terasa seperti serangan spam
Google sedang menghasilkan uang, dan selain itu tidak peduli pada hal lain