Sepertinya Google sekarang membenci kami

• Pokémon Central Wiki telah menjadi sumber utama informasi Pokémon berbahasa Italia selama lebih dari 15 tahun, tetapi kini hampir menghilang dari hasil pencarian Google
• Meskipun wiki.pokemoncentral.it adalah wiki besar berbasis MediaWiki, hasil pencarian site: secara harfiah hanya mengembalikan 4 hasil
• Penurunan indeks yang tajam mulai terjadi sekitar core update Maret 2026, dan Search Console menampilkan "crawled - currently not indexed" dalam jumlah besar
• Bing, DuckDuckGo, dan lainnya tetap mengindeks dengan normal, sehingga tampaknya ini adalah masalah yang terbatas pada Google; pemblokiran Google-Extended menurut dokumentasi seharusnya tidak memengaruhi pengindeksan
• Pengaturan server dan Cloudflare, tag Open Graph dan schema.org, serta SWR sudah dioptimalkan, tetapi belum ada hasil dan penyebabnya masih belum jelas

---

Penurunan drastis indeks pencarian Google

• Pokémon Central Wiki telah menjadi sumber informasi Pokémon berbahasa Italia yang paling dikenal selama lebih dari 15 tahun, tetapi kini hampir tidak muncul di hasil pencarian Google
• wiki.pokemoncentral.it dijalankan dengan perangkat lunak open source MediaWiki yang juga digunakan oleh Wikipedia, dan menurut Wikistats merupakan salah satu dari 500 instance MediaWiki terbesar di dunia
• PCW adalah bagian dari jaringan wiki internasional Encyclopaediae Pokémonis, yang juga mencakup Bulbapedia
• Banyak konten diterjemahkan dari Bulbapedia dengan izin, dan ribuan sukarelawan manusia ikut terlibat dalam pengerjaannya
• Wiki EP lain terindeks normal berdasarkan verifikasi komunitas dan pencarian site:
• Pencarian site:http://wiki.pokemoncentral.it untuk PCW saat ini hanya mengembalikan 4 hasil
• Beberapa minggu lalu, sekitar saat core update Maret 2026, banyak halaman mulai muncul di Google Search Console dengan status "crawled - currently not indexed"
• Google hanya menunjukkan bahwa halaman tersebut mungkin akan diindeks nanti atau mungkin tidak, tanpa memberikan alasan yang spesifik

Penyebab yang sudah diperiksa dan respons yang dilakukan

• Sulit melihat ini sebagai penurunan kualitas konten atau masalah operasional
  • Tidak ada perubahan kebijakan editorial, penyalahgunaan, atau penurunan kualitas
  • Jika ini murni masalah teknis seperti error 5xx, kemungkinan besar akan muncul dalam bentuk lain di Google Search Console
• Tampaknya ini adalah masalah yang terbatas pada Google
  • Bing, DuckDuckGo, dan mesin pencari lain tetap mengindeks PCW dengan normal
• Scraper untuk pelatihan AI diblokir melalui Cloudflare
  • Bot AI yang ingin menggunakan PCW sebagai sumber atau referensi untuk menjawab pertanyaan pengguna tidak diblokir
  • Google-Extended diblokir di robots.txt, tetapi menurut dokumentasi Google hal itu seharusnya tidak memengaruhi pengindeksan pencarian
• Managed challenge Cloudflare hanya diterapkan pada bagian yang tidak penting untuk pengindeksan, seperti riwayat halaman dan halaman teknis
  • Bagian-bagian ini tidak diizinkan secara eksplisit di robots.txt
  • Halaman-halaman tersebut sulit di-cache dan banyak menggunakan sumber daya server
  • Bot mengirim ribuan permintaan per menit dan membebani server secara berlebihan
• Pengaturan server dan Cloudflare telah disesuaikan untuk meningkatkan kecepatan situs
  • Dalam beberapa minggu terakhir, diterapkan praktik SEO dan optimasi terbaik yang jujur dan memungkinkan
  • Tag Open Graph dan schema.org terus diperbaiki secara iteratif dengan Claude Code
  • Cloudflare SWR dibuat berjalan agar sebagian besar permintaan dilayani dari edge dalam hitungan milidetik tanpa melewati server, lalu divalidasi ulang di latar belakang
• Perubahan-perubahan ini belum menunjukkan hasil
  • Perubahan bisa butuh beberapa minggu untuk tercermin, dan karena Google tidak transparan, sulit memastikan efek nyatanya secara langsung
• Dugaan yang mungkin adalah Google menyesuaikan algoritmenya dan menilai “kualitas konten” PCW tidak cukup di era AI
  • LLM kemungkinan sudah dilatih menggunakan teks PCW bahkan sebelum pemblokiran diberlakukan
  • Situs lain yang banyak menyalin mentah konten PCW masih tetap muncul di hasil pencarian
  • Konten PCW berlisensi CC BY-NC-SA, jadi penyalinan itu sendiri umumnya bukan masalah
• Pengunjung setia tidak memahami situasinya dan terus bertanya, dan ada juga posting terkait di Reddit
• Saat ini mereka menyarankan agar orang-orang mem-bookmark wiki.pokemoncentral.it agar bisa mengaksesnya secara langsung
• Mereka berharap bisa menjangkau seseorang di internal Google yang dapat memeriksa apa yang sedang terjadi

[xguru]

Sepertinya ini memang masalah di pihak Google. Hal yang sama juga terjadi di beberapa situs yang saya kelola.
Google sama sekali tidak mengindeks tanpa alasan yang jelas. Katanya mungkin suatu saat akan melakukannya, tapi rasanya benar-benar entah kapan.

[GN⁺]

Komentar Hacker News

• Bukan berarti Google membenci kita, yang lebih buruk justru mereka tidak peduli
  Untuk membenci, setidaknya mereka harus sadar kita ada. Satu kejadian ini sendiri mungkin tidak terlalu berarti, tetapi secara keseluruhan Google bergerak ke arah yang aneh. Dulu mereka berada di garis terdepan, tetapi setelah 20 tahun tampaknya berubah menjadi satu lagi perusahaan besar yang mengorbankan kualitas demi keuntungan pemegang saham
  Sebagai mesin pencari, sekarang sudah tidak berguna lagi. Tautan promosi muncul lebih dulu daripada hal yang benar-benar dicari. Setelah pindah ke Kagi, saya tidak menoleh lagi
  Untuk AI juga kurang cocok. Ada batas pemakaian acak yang reset setelah 5 jam, lalu kuota mingguan yang ditampilkan dalam persen, benar-benar puncak ketidaktransparanan. Di Kagi, sisa pemakaian terlihat jelas di detail penggunaan. Sebagai catatan, saya bukan pegawai Kagi, cuma pelanggan yang puas
  Sebagai penyimpanan cloud juga kurang bagus. Secara berkala saya mendapat notifikasi konten dewasa karena entah ada pengguna spam atau akun yang diretas di suatu folder bersama tempat kami berkolaborasi. Bukan cuma saya yang mengalami ini (https://www.reddit.com/r/techsupport/comments/1azf25v/myster...). Saya pindah ke Apple iCloud dan selesai
  Email-nya oke. Setelah memakainya 22 tahun, sekarang saya sudah menurunkannya menjadi sesuatu yang tidak penting dalam hidup saya. Hal-hal penting toh sudah saya pindahkan ke penyedia Eropa

  • Ini mungkin terdengar gila, tetapi sebagai upaya terakhir saya memakai Yandex, dan hasilnya bagus untuk menemukan hal-hal yang tampaknya sudah diputuskan Google untuk tidak ditampilkan lagi
    Saya juga mencoba DDG, tetapi untuk kebutuhan saya malah lebih buruk daripada Google
  • Kalau mencari restoran tertentu di Google Maps, sepertinya mereka menganggap saya cuma orang lapar secara umum
    Barusan saya mencari A&W, lalu Tim Hortons, Popeyes, dan McDonald's juga ikut muncul. Apple Maps tidak pernah seperti itu. Meski begitu, saya biasanya tetap memakai Google karena ingin tahu apakah tempatnya sedang buka dan apakah jam operasionalnya akurat
  • Kagi luar biasa
    Meski begitu, tetap keren bahwa perusahaan raksasa seperti Google merilis riset gratis dan hebat seperti AlphaFold atau, meskipun tidak sebesar itu, Gemma. Terlihat seperti ATT PAC Bell atau IBM pada era kita
  • Tautan promosi sudah sampai tingkat gila, dan sering kali 5–6 tautan teratas terlihat seperti iklan
  • Saya penasaran bagaimana cara memakai Kagi AI
    Saya sudah berlangganan layanan pencarinya selama setahun, tetapi belum pernah melihat fitur AI yang mereka sediakan

• Mungkin karena ini wiki. Belakangan spammer wiki memang gigih
  Wiki kecil untuk game yang kurang dikenal dengan kurang dari 10 ribu pemain, yang saya bantu kelola, juga baru-baru ini terpaksa memblokir pendaftaran baru. Spam-nya terlalu parah, dan kami terjebak di versi MediaWiki lama yang tidak mendukung CAPTCHA
  Kalau ini wiki yang populer, dan sepertinya memang cukup populer, CAPTCHA saja mungkin sulit menghentikan spammer wiki. Kalau para spammer bukan cuma memposting sampah “beli obat peningkat performa seksual” tetapi juga menaruh tautan ke situs malware, ada kemungkinan Google cukup beralasan menganggap wiki itu sebagai sumber malware tersebut
  Solusi yang bisa dilakukan penulis posting asli tampaknya adalah mengaudit dan membersihkan konten berbahaya di wiki secara menyeluruh lalu mengajukan keberatan ke Google. Tentu saja, karena ini Google, sekalipun mereka menjawab, kemungkinan butuh berbulan-bulan
  Pada akhirnya, kalau tidak ada penggemar Pokémon Italia di tim Google yang menangani ini, situasinya terlihat cukup buntu

  • Kami menjalankan sistem antibot dengan pembatasan hak akun baru, aturan Cloudflare yang disetel dengan baik, dan tim relawan berdedikasi yang terus memantau edit terbaru
    Dari lebih dari 37 ribu halaman, memang tidak bisa sepenuhnya menutup kemungkinan ada satu tautan spam di suatu tempat yang hampir tak pernah dikunjungi, tetapi sulit menganggap itu sebagai alasan deindexing. Kalau memang itu penyebabnya, saya rasa itu juga akan muncul di Google Search Console
  • Kalau proyeknya sudah cukup terkenal sampai orang membuat otomatisasi khusus untuknya, praktis tidak ada cara untuk melawan spam
    Kalau masih cukup kecil, biasanya cukup tambahkan satu alur nonstandar di proses pendaftaran untuk menghindari hampir semua bot spam. Misalnya, tampilkan gambar statis atau audio yang hanya dipahami audiens target lalu minta memilihnya dari dropdown “saya bukan bot”, atau tambahkan satu verifikasi email lagi untuk posting/edit pertama, atau minta jawaban yang ada pada titik waktu tertentu di video YouTube yang panjang. Apa pun yang nonstandar biasanya berhasil
    99,9% otomatisasi akan rusak, dan spammer manipulasi hasil pencarian tidak akan membuat otomatisasi unik hanya untuk satu wiki atau forum tertentu
    Kalau situsnya sangat terkenal, tentu jadinya perlombaan senjata tanpa akhir. Dalam kasus itu, Anda bisa memakai sesuatu seperti Hashcash agar setiap percobaan menghabiskan banyak CPU/GPU/RAM, sehingga spammer mungkin memilih langsung memasukkannya ke daftar hitam
  • Beberapa hari lalu di sini ada seseorang yang bilang dia rutin memakai bot AI CAPTCHA, dan biayanya $0,003 untuk sekali solve
    Jadi sekalipun itu versi baru dengan CAPTCHA, belum tentu akan membantu
  • CAPTCHA tidak bisa berbuat apa-apa terhadap spammer
    Memblokir domain email saat pendaftaran cukup berhasil bagi saya. Daftar saya ada di https://www.rejectionwiki.com/index.php?title=MediaWiki:Emai.... Itu fitur bawaan MediaWiki, jadi kemungkinan bekerja cukup baik di sebagian besar versinya
  • Saya tidak tahu apakah memang ada dasar untuk mengatakan wiki ini tertutup spam, atau itu cuma asumsi asal
    Mereka jelas mengatakan di thread Twitter bahwa itu tidak penuh dengan konten sampah AI, dan mereka sudah memeriksa daftar halaman yang ditandai “dirayapi tetapi tidak diindeks” tanpa menemukan tanda-tanda penyalahgunaan
    Bisa dipahami kalau Anda kaget setelah wiki yang Anda kelola diserang spam, tetapi tidak masuk akal menggeneralisasikan pengalaman di wiki Anda ke kasus ini

• Sejujurnya, kemungkinan besar ini bug ceroboh di pihak Google
  Dalam pencarian ada banyak hubungan sebab-akibat yang tertunda, dan jauh lebih mudah bagi sebuah situs web di 0,1% kasus melakukan kesalahan kecil yang membuatnya terlempar dari perayapan atau indeks daripada mendeteksi bahwa hal itu telah terjadi. Terutama sebelum situs yang terdampak memberi tahu mereka
  Saya juga pernah mengalami bug seperti itu di marginalia. Jika path root tidak mendukung HEAD tetapi mendukung GET dengan header Range, dan merespons dengan benar menggunakan HTTP 206, situs tersebut tidak akan diindeks. Penyebabnya adalah kode yang memeriksa masalah pada dokumen root saat penjelajahan awal memperlakukannya sebagai status error
  Sebagian besar situs yang mendukung range request juga mendukung HEAD. Biasanya itu berarti dokumennya tidak dibuat secara dinamis. Tetapi beberapa konfigurasi berbasis Caddy, sekitar 0,3% server, menjadi pengecualian

  • Atau mungkin ada AI yang menandainya sebagai jenis konten yang tidak ingin ditampilkan
    Tidak ada cara agar penilaian seperti itu bisa sempurna
  • Kalau halaman yang diindeks turun dari 511 ribu menjadi 11, itu kecerobohan yang cukup parah

• Google sudah mengambil datanya dan bahkan selesai melatih model, jadi buat apa repot mengirim trafik ke situs web lagi
  Para pembuat konten dan situs web normal pada dasarnya sudah dimanfaatkan sekali lalu dibuang

  • Mempersonifikasikan Google seperti ini tidak realistis
    Tim pencarian Google saja terdiri dari ribuan orang, semuanya mengerjakan hal berbeda di bawah misi besar untuk membuat web lebih mudah diakses, bukan kurang dapat diakses. Rilis dari salah satu dari mereka bisa saja menimbulkan efek samping seperti ini
    Memang mungkin saja ini implementasi kebijakan yang disengaja, tetapi kemungkinannya tampak sangat kecil
  • Saya juga sempat memikirkan hal yang sama. Bukankah banyak data seperti ini stabil dan statis
    Kalau korpusnya secara fungsional sudah lengkap, saya tidak paham kenapa mereka perlu terus merayapi dan mengindeks ulang hal-hal bernilai rendah
  • Saat membaca ungkapan itu saya sedang mendengarkan Suffragette City-nya David Bowie
    Sepertinya Bowie salah satu orang yang mempopulerkan ungkapan “wham bam, thank you ma’am”
  • Jadi bukankah itu sama seperti yang sudah dilakukan pengguna pemblokir iklan selama 20 tahun terakhir
    Menekan downvote tidak akan menjelaskan perbedaannya
    Ketika dikatakan bahwa pengguna ad blocker menghalangi pendapatan kreator, orang biasanya bilang internet tahun 1996 juga baik-baik saja, atau bahwa Anda tidak seharusnya mengharapkan kompensasi hanya karena mempublikasikan sesuatu secara online, atau bahwa itu komputer Anda sendiri sehingga Anda berhak memilih apa yang dimuat. Ke mana perginya logika-logika itu

• Beberapa minggu lalu hal yang sama terjadi pada blog saya
  Itu blog yang selama bertahun-tahun cukup sering dirujuk, lalu tiba-tiba hampir semua tulisannya tidak lagi diindeks. Di Search Console tertulis URL sudah dirayapi tetapi saat ini tidak diindeks, dan tidak seperti masalah teknis, tidak ada yang bisa saya perbaiki. Sekarang saya harus menerima bahwa sebagian besar tulisan saya tidak bisa ditemukan lewat Google
  Saya rasa ini sebenarnya tidak terkait, tetapi kalau dipikir-pikir lagi, waktunya bertepatan dengan saat saya mulai mengatur TDMRep agar konten saya tidak dipakai untuk pelatihan LLM

  • Saya juga sama. Saya sudah menjalankan blog pribadi lebih dari 20 tahun, dan tahun lalu saya tidak bisa menemukan satu pun tautan ke blog saya di Google
    Ketika saya masuk ke Google Search Console, semua tautannya berstatus “dirayapi tetapi tidak diindeks”, tanpa alasan yang diberikan
  • Kalau Google sudah menyedot data pelatihan dari sebuah situs, tidak mengindeksnya bisa menjadi semacam parit pertahanan terhadap pesaing yang memakai Google Search untuk penemuan situs

• Kesalahan SEO klasiknya adalah membuat situs komunitas yang sungguhan
  Seharusnya bikin thread Reddit, subfolder kupon, dan ringkasan AI. Di luar candaan, semoga bisa pulih secepatnya

• Bisa dibilang Google membenci kita semua

  • Google tidak membenci maupun mencintai siapa pun di antara kita
    Sebagai institusi, yang mereka pedulikan hanyalah menyelipkan iklan sebanyak mungkin ke depan sebanyak mungkin orang, untuk menumpuk uang yang makin lama makin absurd
    Ini bukan pembelaan terhadap Google. Google, seperti hampir semua perusahaan besar, sepenuhnya sosiopatik

• Sebagai informasi, Google juga membenci OpenCV
  Hal-hal yang dulu mudah dicari, misalnya mencari “opencv orb”, sekarang malah menghasilkan halaman demi halaman situs spam. Pada dasarnya spam blog model “belajar OpenCV di sini!”
  Hasil pertama dari “docs.opencv.org” secara harfiah baru muncul di halaman 4, dan itu pun mengarah ke versi 3.4 yang sudah berusia 9 tahun
  Halaman yang saya inginkan, https://docs.opencv.org/4.13.0/dc/dc3/tutorial_py_matcher.ht..., tidak muncul di mana pun

  • Saya rasa untuk produk yang tidak dibiayai biaya langganan, tulisan di dinding tentang enshittification sudah terlihat sejak lama
    Kita harus memilih dengan uang kita, dan pindah ke produk yang lebih baik yang berorientasi pada pelanggan, bukan pengiklan
    Saya punya kenangan indah saat remaja dan dewasa muda menjelajahi Newgrounds dan bersyukur ada orang yang membayar biaya servernya. Saya berjanji pada diri sendiri bahwa ketika sudah mapan dan punya uang lebih, saya juga akan ikut membayar untuk generasi berikutnya; butuh lebih lama dari yang saya kira, tetapi saya sudah melakukannya hampir 10 tahun
    Karena itu saya ingin mendorong budaya seperti itu menjadi hal yang normal. Ada persentase pelanggan berbayar tertentu, sehingga layanan gratis bisa tetap ada bagi orang yang tidak mampu, atau untuk mendukung pertumbuhan. Kemungkinan besar puluhan ribu karier di bidang pemrograman dan animasi dimulai, atau setidaknya terinspirasi, dari situs hebat seperti Newgrounds, dan secara sosial efek bersihnya menurut saya sangat positif
  • Dokumentasi OpenStack juga mengalami masalah serupa di Google

• Dari keynote kemarin dan perubahan Search, semakin jelas bahwa dalam waktu dekat Google akan berhenti mengirim trafik ke situs web
  Hasil pencarian hanya akan menjadi catatan kaki untuk jawaban Gemini

• Wiki memang berisiko tinggi dari sudut pandang SEO
  Membuat wiki pribadi saya bisa diindeks saja terlalu sulit sampai saya hampir menyerah, lalu seorang teman yang lebih paham membantu memastikan semua pengaturan yang diperlukan sudah di tempatnya, dan akhirnya berhasil
  Kalau tidak hati-hati, orang bisa dengan mudah menyisipkan spam di berbagai bagian situs, dan itu benar-benar menghancurkan visibilitas di mesin pencari
  Tapi Google itu benar-benar besar. Sangat, sangat besar. Terlalu besar sampai orang-orang di dalam Google sendiri pun tidak semuanya dianggap tepercaya oleh Google untuk topik seperti ini
  Meski begitu, bukan berarti Google membenci wiki secara umum. Hanya saja perlu banyak pekerjaan, memastikan tidak ada spam di wiki, mengisi informasi meta tag, memiliki sitemap.xml, dan sebagainya. Contoh wiki saya ada di sini: https://wiki.roshangeorge.dev/w/images/8/89/Screenshot_-_Goo...