Google menghapus seluruh Bear Blog dari indeks pencarian, tetapi alasannya tidak diketahui

 (journal.james-zhan.com)
1 poin oleh GN⁺ 2025-12-13 | 1 komentar | Bagikan ke WhatsApp
  • Blog pribadi blog.james-zhan.com sepenuhnya dikeluarkan dari indeks pencarian Google hanya sebulan setelah dibuat
  • Tepat setelah salah memvalidasi URL feed RSS di Google Search Console (GSC), semua posting ditandai dengan status “Crawled – currently not indexed”
  • Berbagai kemungkinan penyebab seperti pengaturan domain, kualitas konten, dan struktur tautan internal sudah diperiksa dan tidak ditemukan masalah
  • Dengan bantuan Herman, pendiri Bear Blog, DNS, HTML/CSS, dan masalah platform juga telah disingkirkan, sementara di mesin pencari lain situs terindeks normal
  • Pada akhirnya blog dipindahkan ke subdomain baru dan diputuskan untuk membiarkan Google mengindeksnya secara alami, tetapi penyebabnya masih belum jelas

Situasi awal

  • Blog dibuat pada 4 Oktober dan memuat tulisan panjang bergaya kolom opini pertama
    • Setelah sitemap dikirim ke Google Search Console (GSC) dan permintaan pengindeksan diajukan, blog langsung muncul di hasil pencarian keesokan harinya
    • Setelah itu, setiap kali artikel baru dipublikasikan, permintaan pengindeksan kembali diajukan dan semuanya tercermin dengan normal

Muncul masalah

  • Pada 14 Oktober, setelah melihat pesan di GSC bahwa satu URL tidak diindeks, penulis mengklik tombol “Validate”
    • URL tersebut adalah feed RSS (feed/?type=rss), bukan halaman sebenarnya
  • Pada 20 Oktober, setelah menerima email dari GSC bertuliskan “some fixes failed”, semua posting dihapus dari indeks
    • Pesan statusnya adalah “Page is not indexed: Crawled – currently not indexed”
    • Mengirim ulang sitemap dan meminta pengindeksan untuk tiap URL juga tidak memberi hasil
    Iklan

Pelacakan penyebab

  • Hari dimulainya validasi pengindeksan dan hari ketika seluruh posting menjadi tidak terindeks adalah hari yang sama
    • Tidak jelas apakah upaya validasi feed RSS itulah yang memicu masalah
  • Setelah itu, artikel-artikel baru yang dipublikasikan pun semuanya tetap berada dalam status error yang sama
    • Pada 3 November, bahkan satu posting terakhir yang masih tersisa ikut dikeluarkan dari indeks
Iklan

Pemeriksaan kemungkinan penyebab

  • Masalah domain: james-zhan.com yang digunakan di GoDaddy terindeks normal pada subdomain lain → bukan penyebab
  • Kualitas konten: Jika dibandingkan dengan kasus Bear Blog lain, tidak ada masalah dari sisi jumlah maupun kualitas konten → bukan penyebab
  • Kurangnya tautan internal: Struktur dasar Bear Blog sama, dan blog lain tetap terindeks normal → bukan penyebab
  • Faktor lain: Berdasarkan pemeriksaan Herman, pendiri Bear Blog
    • DNS, HTML/CSS, dan pengaturan platform semuanya normal
    • Kode CSS kustom pengguna juga tidak memengaruhi pengindeksan

Mesin pencari lain dan tindakan yang diambil

  • Di DuckDuckGo, Bing, Brave, dan lainnya, blog tetap terindeks dengan normal
    • Hal ini mengarah pada dugaan bahwa masalahnya ada di pihak Google, bukan cacat teknis
  • Blog kemudian dipindahkan ke subdomain baru (journal.james-zhan.com) dan
    • Domain dipindahkan dari GoDaddy ke Porkbun
    • URL forwarding disetel agar tautan lama otomatis mengarah ke blog baru
  • Untuk blog baru, sitemap tidak dikirim ke GSC dan dibiarkan menunggu pengindeksan alami
  • Penyebabnya masih belum terungkap, dan penulis mempertanyakan kurangnya transparansi sistem pengindeksan Google

Bacaan terkait

1 komentar

 
GN⁺ 2025-12-13
Komentar Hacker News
  • Trafik blog saya anjlok tahun ini. Setelah ditelusuri, ada dua penyebab.
    1. Karena AI Overview. Tayangan dan peringkat tetap sama, tetapi CTR turun drastis. Pengguna hanya membaca ringkasan dan tidak mengklik.
    2. Masalah paparan spam. Di halaman pencarian, kueri pengguna ditampilkan sebagai h1 sehingga Google menganggapnya sebagai konten spam.
      AI Overview tidak bisa saya kendalikan, tetapi setelah saya menambahkan noindex ke halaman pencarian, trafik pulih dalam seminggu.
      Detailnya saya tulis di posting blog saya
    • Masalah kedua tampaknya seperti serangan Negative SEO. Halaman /search sepertinya di-cache dan terekspos ke crawler.
      Sebaiknya halaman pencarian jangan di-cache, dan terapkan noindex dengan X-Robots-Tag
    • Sekitar bulan September ada perubahan cara Google menghitung klik dan tayangan. Katanya data lama jadi tidak bisa dibandingkan.
      Ke depan, sepertinya kita perlu melacak trafik dengan alat analitik sendiri
    • Rasanya Google sudah merencanakan situasi ini sejak lama.
      1. Memperbanyak situs SEO untuk mendorong konten berguna ke bawah
      2. Menaruh iklan di bagian atas agar makin terdorong ke bawah
      3. Memperkenalkan ringkasan AI agar pengguna tak punya alasan untuk mengklik
        Sekarang orang hanya melihat ringkasan dan iklan lalu pergi
    • Saya penasaran. Saat seseorang mencari “crypto” di blog saya, bagaimana halaman hasil itu bisa terindeks di Google?
      Mungkinkah ada situs lain yang menautkan URL pencarian itu sehingga ikut dirayapi?
    • AI Overview sepertinya tidak akan hilang. Pengguna umum hanya membaca ringkasan.
      Kalau Google memberi tautan sumber pada kalimat-kalimat ringkasannya, mungkin CTR bisa sedikit pulih
  • Terlepas dari apakah kasus ini benar atau tidak, masalahnya adalah struktur penegakan Google yang tidak transparan.
    Saat sebuah situs dikenai sanksi, kita tidak bisa tahu alasannya maupun mengajukan keberatan.
    Google pada dasarnya berperan sebagai gatekeeper.
    Karena fungsinya sudah seperti barang publik, perlu ada sistem dukungan dan tanggung jawab yang sepadan.
    Regulasi bukan solusi untuk semuanya, tetapi untuk perusahaan setingkat utilitas seperti ini setidaknya harus ada kewajiban menjamin akses
    • Ini bukan sekadar masalah gatekeeper, melainkan lebih dekat ke masalah monopoli. Google memiliki indeks dan alat pencariannya sekaligus
    • Jika Google merasa punya tanggung jawab etis, mereka harus melonggarkan persaingan lelang iklan agar situs normal bisa tampil di halaman pertama.
      Saat ini strukturnya membuat orang harus membayar iklan agar terlihat di hasil pencarian
  • Enam bulan lalu, atas rekomendasi Ahrefs, saya menghapus karakter Unicode dari path URL dan menambahkan redirect.
    Hasilnya, halaman yang terindeks turun drastis dari ribuan menjadi 100
    Lihat screenshot.
    Enam bulan kemudian pun belum pulih. Karena ini proyek pribadi saya tidak terlalu masalah, tetapi kalau ini bisnis saya pasti marah
    Screenshot terbaru
    • Mungkin karena Google memusatkan sumber daya ke AI, setelah invalidasi cache peringkat halaman yang dirayapi ulang jadi berubah
    • Google sudah mengumpulkan semua konten yang mereka butuhkan. Sekarang situs web justru menjadi pesaing untuk pelatihan AI
    • Pelajarannya sederhana — kalau sudah berjalan baik, jangan diutak-atik
    • Saya juga mengalami hal yang sama. Ribuan halaman ter-deindex, dan akhirnya saya menutup bisnis konten berbasis iklan
  • Di Google Maps ada banyak iklan ilegal. Penginapan tanpa izin atau toko penjual minuman keras bisa terdaftar begitu saja.
    Kalau beroperasi cukup lama, kadang malah diakui sebagai “hak penggunaan yang sudah ada”.
    Saya bahkan pernah melihat screenshot Google Maps diajukan sebagai bukti di pengadilan
    • Saya juga pernah dirugikan seperti ini. Saya mencari tukang kunci terdekat di Google Maps,
      ternyata itu usaha penipuan. Mereka merusak kunci lalu meminta $600.
      Setelah saya laporkan, Google cepat menghapusnya, tetapi menurut saya untuk kasus seperti ini perlu verifikasi identitas asli saat pendaftaran
    • Ini mengingatkan saya pada cerita Trap Street yang dulu dimasukkan pembuat peta.
      Masalahnya, di dunia nyata kadang justru kenyataan berubah mengikuti peta
    • Saya penasaran apakah iklan seperti ini diperlakukan berbeda dari iklan lainnya.
      Dalam proses administratif, sering kali lolos dengan pola pikir “kalau tidak ada yang komplain berarti tidak masalah”
    • Ini semacam legal citogenesis — fenomena ketika informasi keliru mengeras menjadi dokumen resmi
  • Akhir-akhir ini kualitas pencarian Google turun tajam.
    Situs saya salah dikenali sebagai konten duplikat sehingga ter-deindex.
    Di Bing tidak ada masalah, tetapi hanya Google yang membuat kesalahan seperti ini
    • Saya juga merasakan hal serupa. Model populer di Hugging Face tidak muncul di pencarian,
      sementara halaman Reddit yang muncul justru versi terjemahan dalam bahasa yang aneh.
      Mungkin logika deduplikasi sedang bermasalah
    • Mungkin perlu dicek apakah permintaan SNI salah diarahkan.
      Jika reverse proxy dipasang dari domain lain, Google akan mengindeksnya sebagai duplikat.
      Sebaiknya gunakan tag canonical dan tautan path absolut
    • Amazon dan Google sama-sama penuh dengan produk palsu dan hasil spam
    • Bing bekerja dengan baik untuk semua situs saya, tetapi Google gagal di semuanya
    • Sekarang pencarian Google nyaris tidak berguna. Mengejutkan bahwa kompetensi inti mereka dibiarkan seperti ini
  • Saya juga mengalami masalah yang sama. Saya memakai tema Hugo Bear, dan belakangan ini Bing benar-benar menghapus indeksnya.
    Padahal blog itu baik-baik saja selama 17 tahun
  • Mungkin kegagalan validasi RSS memicu flag spam.
    Spam sudah terlalu banyak sehingga false positive tampaknya ikut meningkat
    • Jika satu kesalahan RSS bisa membuat seluruh situs ter-deindex, itu masalah yang serius.
      Pendekatan seperti ini justru berdampak sebaliknya dengan menurunkan proporsi konten normal
  • Jujur saja, saat melihat judul “Google de-indexed my Bear Blog”, saya mengira ini tentang blog beruang lalu mengkliknya
    • Kalau menemukan blog yang benar-benar tentang beruang, mungkin Anda akan melihat hasil yang tak terduga
    • Saya juga masih tidak tahu kenapa ada kata “Bear” di judul itu
    • Sebagai quietfox, penting untuk menjaga diri sendiri ^^
  • Ini mirip dengan thread HN sebelumnya.
    Intinya sama dalam hal Google punya struktur yang menentukan siapa yang bertahan hidup
    • Sebagai kasus terkait, ada juga artikel ini.
      Kesalahan RSS mungkin hanya menjadi pemicu ketidakpedulian
    • Dulu TripAdvisor menguasai 60% pasar ulasan lokal di Inggris,
      tetapi apakah Google Maps benar-benar menyusul secepat itu?
      Pengaruh Instagram atau TikTok juga tidak bisa diabaikan,
      jadi rasanya ini interpretasi yang memberi terlalu banyak kekuasaan kepada Google
  • Pencarian Google menguntungkan situs besar dan merugikan situs baru.
    Pada akhirnya ini menjadi persoalan ayam atau telur lebih dulu.
    Situs kecil tidak mendapat paparan sehingga tidak bisa tumbuh,
    sementara situs besar terus tampil di atas tanpa masalah