Cara mengecualikan situs web saya dari ringkasan AI Google

• Google telah memperkenalkan ringkasan buatan AI (AI Overviews) di hasil pencarian, yang sering menarik konten dari situs dan mengambil lalu lintas
• Operator situs pada praktiknya hanya punya pilihan ekstrem seperti memblokir snippet (max-snippet:0, nosnippet) atau pemblokiran sebagian (data-nosnippet), sehingga terjebak dalam dilema tanpa jalan keluar
• Dari sisi pengguna, hanya ada langkah penghindaran yang terbatas dan tidak sempurna seperti menonaktifkan pengaturan Search Labs, parameter URL, dan ekstensi
• Regulator di UE dan Inggris saat ini sedang menyelidiki sifat antipersaingan AI Overviews Google dan dampaknya terhadap publisher, serta mempertimbangkan aturan seperti pembagian lalu lintas dan opt-out yang adil
• Untuk sementara, satu-satunya respons yang benar-benar praktis bagi publisher adalah max-snippet:0, tetapi ini punya kelemahan fatal berupa penurunan rasio klik, sehingga memicu kritik bahwa ini adalah desain dark pattern dari Google

---

Masalah Google AI Overviews

• Baru-baru ini Google memperkenalkan ringkasan AI (SGE: Search Generative Experience) yang dibuat otomatis oleh AI ke hasil pencarian
• Fitur ini bertujuan meningkatkan pengalaman pengguna dengan menganalisis isi utama situs web lalu menampilkan ringkasan singkat secara langsung
• Namun, akibatnya banyak pemilik situs web menghadapi masalah karena pengguna hanya mengonsumsi konten ringkasan tanpa mengunjungi situs asli
• Pada akhirnya ini menyebabkan penurunan lalu lintas organik (organic traffic) situs web

Dampak Google AI Overviews

• AI Overviews secara otomatis meringkas konten tanpa persetujuan pemilik situs web dan menampilkannya di bagian atas hasil pencarian
• Pengguna makin cenderung hanya melihat ringkasannya dan tidak mengeklik situs asli
• Akibatnya, efektivitas strategi SEO tradisional melemah dan ini merugikan operator situs

Cara webmaster merespons

• 1. max-snippet:0
  • <meta name="robots" content="max-snippet:0">
  • Memblokir semua snippet dan ringkasan AI sehingga hasil pencarian hanya menampilkan judul + URL
    • Kekurangannya, ini dapat sangat menurunkan rasio klik (CTR)
  • Saat ini ini adalah metode yang paling efektif, tetapi bukan solusi sempurna
• 2. nosnippet
  • <meta name="robots" content="nosnippet">
  • Memberikan efek yang sama dengan max-snippet:0, yaitu deskripsi atau ringkasan dihapus sepenuhnya dari hasil pencarian
    • Akibatnya, daftar pencarian bisa menjadi monoton dan kurang menarik
  • Ini mencegah ringkasan AI, tetapi berpotensi menurunkan visibilitas pencarian
• 3. data-nosnippet
  • <span data-nosnippet>…</span>
  • Cara untuk mengecualikan bagian konten tertentu secara selektif
    • Namun, Google tetap bisa menggunakan teks lain untuk ringkasan sehingga kendali penuh tidak mungkin dicapai
  • Dapat diterapkan pada elemen HTML (span, div, section)
• 4. Alternatif di sisi pengguna (hanya berdampak pada akun pribadi)
  • Opt-out Search Labs: pengguna yang login dapat menonaktifkan “AI Overviews and more”
    • Ini hanya berlaku untuk akun pengguna dan tidak memengaruhi cara situs ditampilkan kepada orang lain
  • Pengubah URL: tambahkan &udm=14, -AR, -noai ke kueri pencarian
  • Ekstensi browser: dapat menggunakan alat seperti Bye Bye Google AI
    • Bisa saja tidak berfungsi saat Google melakukan pembaruan
  • Hack Reddit: ada usulan untuk menambahkan kata-kata kasar agar dapat melewati ringkasan AI
    • Ini hanyalah langkah sementara yang tidak praktis
  • Di iOS, pengguna dapat mematikan tampilan Gemini di aplikasi Google, menggunakan tab Web, atau memakai browser alternatif seperti Safari dan DuckDuckGo
• 5. Harapan regulasi: penyelidikan UE dan UK
  • UE
    • Independent Publishers Alliance, Movement for an Open Web, Foxglove Legal, dan lainnya telah mengajukan aduan antimonopoli ke Komisi Eropa
    • Mereka berpendapat bahwa AI Overviews menyebabkan penyalahgunaan konten, pengalihan lalu lintas, dan tidak adanya opt-out yang adil
  • Inggris
    • Competition and Markets Authority (CMA) sedang menyelidiki apakah ringkasan AI menghambat persaingan dan merugikan penerbit
    • Opsi yang sedang dipertimbangkan meliputi atribusi sumber wajib, pembagian lalu lintas, dan pembatasan preferensi terhadap layanan Google sendiri

Inti masalah

• Dilema publisher: jika snippet tidak diblokir, AI akan mengekstrak konten dan menyebabkan kehilangan lalu lintas; jika diblokir, maka visibilitas pencarian menurun
• Kurangnya kendali bagi pengguna: alternatif yang ada merepotkan, tidak sempurna, dan tidak konsisten
• Kritik dark pattern: desain struktural Google dianggap sebagai desain manipulatif yang memaksa publisher melepaskan hal yang penting bagi mereka
  • Ini merupakan dark pattern yang khas karena memaksa publisher menerima pilihan yang merugikan

Kesimpulan

• Sampai regulator memaksa perubahan, saat ini satu-satunya pilihan publisher adalah max-snippet:0, tetapi itu disertai kerugian visibilitas yang serius
  • Pemilik situs web harus membuat pilihan yang tidak adil antara memblokir ringkasan AI dan kehilangan visibilitas
• Kebijakan Google adalah struktur pilihan paksa tanpa jalan keluar, yaitu bentuk dark pattern yang khas
• Keputusan regulator UE dan Inggris ke depan mungkin menjadi satu-satunya harapan untuk mengubah situasi, tetapi bukan solusi yang langsung

[laeyoung]

Terkait hal ini, ada baiknya juga membaca tulisan Akhir era SEO? Awal optimasi pemasaran untuk agen AI.

Kalau melihat reddit terkait SEO, ada cukup banyak tulisan yang mengungkapkan kekhawatiran karena meski tingkat eksposur di Google tetap sama, trafik yang masuk banyak berkurang akibat zero-click.

[crawler]

> Apakah Anda menganggap ini fitur yang adil—atau contoh klasik rekayasa dark pattern? Beri tahu kami di kolom komentar.

Lucu juga, di isi artikelnya disuruh meninggalkan komentar, tapi sepertinya situsnya malah tidak punya fitur komentar.
Kalau artikel tentang memblokir AI ini ditulis dengan AI, itu benar-benar artikel yang kontradiktif.

[GN⁺]

Opini Hacker News

• Saya merasa ini adalah fenomena "portal/broker" yang telah menyebar ke semua bidang selama beberapa dekade terakhir. Lapisan pihak ketiga masuk di antara konsumen dan produsen, membuat kedua pihak lebih nyaman, tetapi sekarang keduanya jadi harus bergantung pada lapisan ini. Saat memesan di Amazon, kita tidak lagi berkomunikasi langsung dengan penjual, dan saat memesan makanan pun kita tidak membayar langsung ke restoran. Ketika mencari informasi di web, kita juga tidak lagi berurusan dengan gaya tiap penulis, navigasi, iklan, dan sebagainya. Dari sudut pandang pemilik konten, struktur seperti ini mengurangi kunjungan halaman dan memukul pendapatan iklan, dan tidak seperti Amazon atau aplikasi pesan-antar makanan, kerugian iklan akibat ringkasan Google tidak diberi kompensasi. Karena sebagian besar konten online berjalan dengan iklan, pendapatan iklan pada akhirnya adalah nyawa Google juga, tetapi demi masa depan mereka tampaknya tetap mendorong evolusi ini karena tidak punya pilihan. Google tampak hanya fokus mempertahankan posisinya di masa depan

  • Ungkapan bahwa perubahan ini menguntungkan kedua belah pihak sebenarnya menarik. Memang benar satu pihak dirugikan selama masa transisi, tetapi pada akhirnya saya pikir keuntungan bagi konsumen dan platform jauh lebih besar

• Saya tidak suka materi berhak cipta di situs produk software saya diambil dan diolah ulang oleh Google atau AI lain tanpa izin. Namun, kalau saya memblokirnya, peluang konten saya disebut dalam ringkasan AI mereka hampir hilang

  • Kalau diblokir seperti ini, untuk hasil tentang produk atau perusahaan saya, ringkasan AI bisa jadi merujuk ke informasi yang bukan peringkat 2, sehingga pada praktiknya bisa lebih buruk. Misalnya, pada pencarian "cara menarik uang dari PayPal", jika situs peringkat kedua adalah domain negatif seperti "PayPal sucks", maka akan jauh lebih merepotkan jika situs resmi dikecualikan dari ringkasan. Kesimpulannya, penerbit sebaiknya membiarkannya saja. Jika khawatir soal penurunan trafik, tautan "source" yang muncul di ringkasan terlihat lebih dulu daripada hasil lain mana pun. Jika khawatir soal misinformasi, itu bisa ditangani lewat laporan akurasi atau revisi konten. Selain itu, Google seharusnya memungkinkan opt-out terpisah untuk ringkasan AI dan snippet, dan jika Anda khawatir soal ringkasan AI, snippet juga layak mendapat perhatian yang sama
  • Ada rasa cemas bahwa ke depannya mungkin akan datang permintaan untuk membayar jika saya ingin Google menggambarkan saya lebih positif daripada pesaing saya, atau membayar jika saya ingin menghapus informasi palsu yang dihasilkan secara tidak adil
  • Jika ini adalah situs yang menjual sesuatu secara langsung, saya justru berpikir tampil di ringkasan AI itu diinginkan

• Saya tidak paham bagaimana fitur ringkasan AI seperti ini tidak akan menggerus pendapatan Google di masa depan. Google menghasilkan uang dengan mengarahkan trafik ke situs melalui iklan, tetapi lewat layanan ringkasan seperti ini mereka justru membuat website itu sendiri tidak lagi diperlukan. Kalau begitu, siapa yang mau membuat situs tanpa pengunjung

  • Google sudah punya teknologi untuk menyisipkan iklan produk dan layanan ke dalam ringkasan AI. Sebagai contoh nyata, riset mereka menjelaskan contoh saat pencarian "liburan" menampilkan hotel dan maskapai yang masing-masing disebut. Tautan makalahnya ada di sini
  • 99% pendapatan terkonsentrasi pada kata kunci dengan niat beli yang jelas seperti "buy macbook" atau "book trip to dc". Untuk kata kunci informasional, hampir tidak ada pendapatan iklan
  • Faktanya, kueri yang benar-benar menghasilkan uang hanya sangat sedikit, dan ini bisa dilihat dari kenyataan bahwa pada sebagian besar kata kunci bahkan tidak ada bidding iklan sama sekali
  • Sebenarnya Google lebih takut posisinya digantikan oleh teknologi seperti ChatGPT. Karena itu, memberikan informasi yang diinginkan pengguna secara instan adalah cara terbaik untuk mempertahankan posisi mereka. Menurut saya LLM memang belum sempurna, tetapi untuk pertanyaan ambigu, penggabungan informasi, terjemahan, dan sebagainya, teknologinya jauh lebih unggul daripada mesin pencari. Jika yang diinginkan adalah informasi, bukan menemukan halaman tertentu, LLM lebih mendekati bentuk ideal. Saya tidak akan heran jika dalam 10 tahun ke depan mesin pencari menghilang
  • Mungkin Google juga terpaksa mengadopsi perubahan ini karena realitas bahwa layanan LLM makin menggerus mereka. Melihat Google menaruh ringkasan AI di atas iklan, terasa sekali betapa mendesaknya situasi itu

• Di situs pribadi saya, saya sudah mengatur Apache untuk memblokir indeks, snippet, terjemahan, dan indeks gambar. Meski begitu, Internet Archive tetap mengabaikannya dan meng-crawl situs saya, dan walaupun saya sudah beberapa kali meminta penghapusan, mereka tidak pernah menuruti. Sekarang saya juga memakai Anubis untuk memblokir scraping tambahan. (Situs ini adalah diary publik yang dimulai pada tahun 2000, jadi saya memang tidak ingin situs ini bisa dicari)

  • Saya tidak paham menaruh sesuatu secara publik di internet tetapi berharap itu tidak di-backup. Jika domainnya hilang pun, suatu hari saat Anda ingin melihatnya lagi, justru bagus jika itu masih tersisa di Internet Archive. Begitu dipasang di internet, pada dasarnya itu memang publik
  • Yang paling menyedihkan bagi saya adalah Internet Archive sama sekali tidak menanggapi permintaan saya. Untuk konten ilegal tertentu (pencemaran nama baik, rahasia negara, jenis pornografi tertentu, dan sebagainya), memang ada pengecualian yang memungkinkan penghapusan, tetapi jika itu adalah sesuatu yang Anda publikasikan sendiri, prinsip umumnya adalah tidak boleh mengizinkan penghapusan dari catatan sejarah. Jika saya benar-benar ingin menyembunyikan informasi pribadi, saya pasti akan menaruhnya di balik login. Situs itu masih ada, dan seseorang terus meng-crawl-nya
  • Snapshot punya field bernama "why?". Dalam praktiknya, selain Internet Archive, Common Crawl, Archive Team, dan pihak lain juga bisa saja yang mendorong situs saya ke sana. Perlu cek alasannya agar target yang dimaksud bisa diidentifikasi dengan tepat
  • Coba ajukan permintaan penghapusan atau pengecualian dari Internet Archive lewat robots.txt. Kebijakan ini memang beberapa kali berubah, tetapi dalam beberapa tahun terakhir mereka kembali menghormati robots.txt. Lihat FAQ

• Dalam arti tertentu, memublikasikan itu berarti membuka sesuatu ke publik agar orang punya kebebasan tertentu untuk memanfaatkannya. Kebebasan itu bisa membantu situs, bisa juga tidak. Setiap kali platform besar seperti Google berubah, para penerbit konten selalu harus beradaptasi. Ringkasan AI juga bagian dari arus perubahan itu

  • Menurut saya ini sudut pandang yang agak merasa berhak. Saya pernah memublikasikan software di bawah ketentuan lisensi. Hanya karena sesuatu dipublikasikan, bukan berarti semua orang boleh menggunakannya untuk tujuan apa pun
  • Asumsi saya adalah saya memublikasikannya sambil tetap memegang hak cipta atas konten saya. Bukan berarti saya memberikan kebebasan bagi orang lain untuk menerbitkannya ulang secara komersial. Mungkin masa depan akan menjadi seperti harus menyembunyikan konten di balik login, dan itu masa depan web yang pahit
  • Sejak Statute of Anne tahun 1710 (undang-undang hak cipta pertama), aturan juga berlaku pada informasi yang didistribusikan secara publik
  • Saya memublikasikan tulisan saya karena ingin orang membacanya secara langsung, bukan agar Google membuat ringkasan AI yang asal-asalan. Pada akhirnya keputusan Google bergerak ke arah yang menguntungkan Google
  • Mempublikasikan seharusnya tidak berarti menyerahkan semua hak. Banyak orang menulis untuk mengumpulkan pembaca dengan minat yang mirip dengan diri mereka. Jika ada perantara yang menyelip di tengah, hubungan antara pembaca dan penulis justru rusak. Jika ingin membuat ringkasan, saya bisa melakukannya dengan cara yang saya inginkan, tetapi kebanyakan penulis tidak menginginkan ringkasan LLM. Selain itu, LLM punya banyak bias, dan bisa merangkum secara aneh dengan menghapus paragraf penting lewat filter internalnya sendiri. Sedikit hal yang lebih mematikan bagi sebuah ide daripada ketika ide itu disampaikan sebagai versi lemah dan terdistorsi dari pendapat saya

• Di kalimat terakhir posting blog ini tertulis "silakan tinggalkan komentar", tetapi area komentar sebenarnya tidak terlihat, jadi saya jadi bertanya-tanya apakah ini dibuat dengan AI

• Saya penasaran apakah fitur ini juga berfungsi di Perplexity, OpenAI, Claude, dan lainnya

• Saya pikir akan lebih baik untuk semua pihak jika Google, seperti Perplexity, mengutip sumber dengan jelas. Memberi tautan dan kredit ke sumber asli, sekaligus meningkatkan UX, tetapi sayangnya tidak begitu

  • Google memang mengutip, tetapi terlalu tidak mencolok karena ditampilkan sebagai simbol Unicode satu karakter berbentuk "tautan". Saat diklik, itu tidak langsung menuju halaman sumber, melainkan membuka panel samping, dan di dalamnya sering ada banyak sumber. Secara teknis kutipan itu memang tautan pertama di halaman hasil, tetapi untuk benar-benar sampai ke halaman saya perlu 2 kali klik. Akan bagus jika kutipannya dibuat lebih menonjol, judul halaman dijadikan anchor text, dan diberikan sebagai tautan langsung. Jika ada beberapa kutipan, akan bagus jika panel samping sudah dibuka sejak awal, atau semuanya ditampilkan langsung di halaman utama

• Ke depannya, bidang keahlian saya adalah bagaimana membuat website perusahaan diringkas dengan baik oleh LLM. Konten panduan yang detail dan setia seperti ini memang dibutuhkan

• Saya menempelkan judul dan domain dari tulisan ini, lalu hasilnya keluar berbeda. Gambar referensi