Kemunduran Google Search akibat ‘seribu luka kecil’

 (matt-rickard.com)
1 poin oleh GN⁺ 2023-07-04 | 1 komentar | Bagikan ke WhatsApp
  • Ketika pembatasan akses di situs-situs besar meningkat, seperti peralihan Reddit ke mode privat dan pembatasan login serta kecepatan di Twitter, banyak tautan di hasil pencarian Google pada praktiknya menjadi hasil yang tidak bisa dibuka
  • Saat model bahasa besar dilatih dengan data publik, situs konten memiliki insentif untuk menjual atau memanfaatkan langsung data mereka alih-alih terus membukanya
  • Pembatasan semacam ini dapat menghalangi atau mempersulit Google dalam mengumpulkan indeks pencarian, dan juga dapat memengaruhi perolehan data untuk pelatihan model AI
  • Jika bahkan situs yang sering muncul di hasil pencarian seperti Wikipedia mulai mengenakan biaya atau membatasi akses API, maka sumber data inti Google Search juga bisa terguncang
  • Meski Google memperkuat hasil dengan jawaban AI, jika data berpindah ke balik tembok login dan paywall, kualitas pencarian bisa menurun secara bertahap selama bertahun-tahun

Pembatasan akses mengubah hasil pencarian menjadi tautan mati

  • Sejumlah komunitas di Reddit masih tetap dalam status privat sebagai bentuk protes terhadap aturan API baru
  • Twitter memperketat tembok login dan menerapkan pembatasan kecepatan bagi pengguna
  • Perubahan ini membuat jutaan hasil pencarian yang masih tersimpan di indeks Google pada dasarnya menjadi tautan mati
    • Pengguna yang biasa mencari hasil Reddit lewat Google kehilangan alternatif ketika mereka merasa pencarian bawaan Reddit sendiri lebih buruk
    • Tautan tweet di hasil pencarian akan membawa banyak pengguna ke layar permintaan login

Kontrol data di era AI menekan indeks Google

  • Model bahasa besar dilatih dengan data publik yang dikumpulkan lewat API, dan semakin banyak konten yang dimiliki sebuah situs, semakin besar kemungkinan situs itu terdampak oleh model yang dilatih dengan datanya sendiri
  • Situs-situs seperti ini dapat mempertimbangkan dua pilihan setelah membatasi akses data
    • Menjual data
    • Melatih model mereka sendiri
  • Pembatasan akses menghalangi atau mempersulit proses otomatis Google dalam mengumpulkan data untuk pencarian, dan juga memengaruhi perolehan data untuk pelatihan model
  • Google Search bisa mengalami seribu luka kecil dengan kehilangan hasil dari satu situs demi satu situs

  • Jika Wikipedia memberlakukan pembatasan

    • Wikipedia diperkirakan muncul di halaman pertama pada 99% pencarian Google
    • Jika akses API dikenai biaya atau dibatasi, dampaknya terhadap hasil pencarian bisa besar
    • Data Wikipedia adalah dataset yang termasuk dalam hampir semua korpus model bahasa besar
    • Wikimedia Foundation selama ini meminta dukungan pendanaan melalui banner donasi, dan pada 2021 meluncurkan produk API enterprise bernama Wikimedia Enterprise
    • Jika hasil pencarian satu per satu menjadi tautan mati dan dihapus dari indeks, pengguna akan semakin bergantung pada pencarian per situs di dalam layanan tertutup
    • Google mungkin mencoba memperkuat hasil dengan jawaban yang dihasilkan AI, tetapi tidak semua jawaban akan cukup baik, dan data pelatihan juga bisa berpindah ke balik tembok login atau paywall
    • Hingga muncul alternatif baru, pencarian bisa memburuk secara bertahap selama bertahun-tahun

Bacaan terkait

1 komentar

 
GN⁺ 2023-07-04
Opini Hacker News

  • Rasanya Google Search sudah lama sekarat secara perlahan
    Dulu kita bisa menemukan informasi ringkas seperti dokumen, posting forum, dan wiki, tetapi sekarang yang terlihat adalah kalimat pemasaran yang dioptimalkan untuk mesin pencari, link farm, clickbait, tulisan panjang ribuan kata yang sebenarnya tidak mengatakan apa-apa, ocehan politik panjang yang konteksnya tidak nyambung kalau bukan orang Amerika, dan iklan yang sangat banyak
    Situasi ini tampak seperti hasil yang secara langsung diciptakan oleh iklan Google dan algoritme pencarian Google sendiri, sehingga bertanya ke LLM terasa jauh lebih menarik daripada mencari. Selama tidak berhalusinasi, AI bisa menyaring kebisingan dan mengambil informasi yang benar-benar dibutuhkan
    Web bukan lagi tempat untuk manusia atau penelusuran informasi, melainkan tempat untuk bot, crawler, algoritme Google, dan pemasaran; manusia makin sulit mencerna ini, jadi mereka berharap AI memberi hasil yang lebih ringkas dan langsung ke inti

    • Google seperti membunuh angsa bertelur emas-nya sendiri. Google bergantung pada web terbuka yang sehat, tetapi sebagai salah satu pihak yang paling besar pengaruhnya terhadap web, mereka sepenuhnya gagal menjaga atau memperbaiki ekosistem itu
    • Belum lama ini saya mencari "canned cabbage soup" lalu situs mobile terkunci ke mode yang belum pernah saya lihat sebelumnya
      Yang ditampilkan hanya resep spam blog untuk membuat sup kol kalengan sendiri lewat antarmuka rekomendasi berbentuk ubin, tanpa tautan teks biasa dan tanpa produk sup kalengan yang sebenarnya. Setelah menelusuri beberapa halaman pun tetap sama
      Anehnya, saat mencari "canned cabbage soup history", hasilnya kembali ke mode normal dan menampilkan produk serta Wikipedia. Kalau pencarian yang jelas-jelas berniat membeli produk justru dirusak Google dengan pencarian khusus yang aneh, saya benar-benar tidak paham kenapa ada mode "menyajikan spam blog" seperti itu
      Selain itu, sekarang setidaknya lima kali sehari saya melihat layar yang menanyakan apakah saya robot
    • Tadi malam saya mencari persis frasa yang menjadi judul suatu halaman, tetapi hasilnya 0. Setelah saya ubah kuerinya, halaman yang saya cari langsung muncul sebagai hasil pertama; Google benar-benar merosot parah
    • Yang diinginkan dari mesin pencari bukanlah AI yang merangkum semuanya menjadi lebih ringkas dan mudah dicerna
      Yang diinginkan adalah daftar tautan ke tempat yang punya informasi relevan, dan saya tidak ingin mesin pencari merangkum atau memoles isinya. Kalau tidak membaca dan memahaminya sendiri, terlalu banyak pengetahuan dan konteks yang hilang
    • Menurut saya, sebagian ketakutan terhadap AI/machine learning muncul karena orang sadar bahwa seluruh dunia iklan dan pemasaran mereka bisa menjadi tidak berarti
      Pengguna bisa mendapatkan jawaban singkat dan akurat tanpa harus melewati iklan, dan itu mirip dengan seperti apa web dulu adanya

  • Sementara itu, situs kloning spam Stack Overflow yang memang seharusnya dihapus, atau situs seperti Canva dan Pinterest yang membuat ribuan halaman serupa dengan judul yang hanya sedikit berbeda, masih tetap dibiarkan Google dan bahkan muncul di peringkat atas
    Saya juga benci 10 hasil teratas saat mencari sesuatu seperti "best domain name registrar". Saya ingin ditunjukkan registrar domain yang sebenarnya, bukan posting blog spam penuh tautan afiliasi; kalau tanya ke ChatGPT, itulah yang diberikan
    Google sudah terlalu dimanipulasi, dan kesannya mereka tidak benar-benar membenahinya mungkin karena iklan mereka sendiri ada di posting blog spam itu. Ada juga tips filter uBlock Origin yang saya pelajari dari HN, tetapi pencariannya sendiri tetap harus diperbaiki Google. Sekarang konten yang berguna justru tertahan dan konten spam yang naik peringkat

    • Sejak pertama kali melihat istilah SEO, rasanya stopwatch menuju kematian pencarian langsung mulai berjalan
      Dulu trik seperti kata kunci dengan font sangat kecil dan transparan yang terlihat oleh crawler tetapi tidak oleh pengguna sudah cukup membuat muak, dan begitu manipulasi mesin pencari menjadi sebuah profesi, akhir pencarian mulai terlihat
      Pada akhirnya kita mungkin akan kembali ke webring dan indeks tautan, lalu itu pun akan diintegrasikan dan dimonetisasi berlebihan sebelum ditinggalkan lagi. Kalau beruntung, mungkin pada 2040-an kita balik ke BBS dial-up
    • Kagi baru-baru ini merilis peringkat kustom per domain dari pengguna, dan Pinterest ada di peringkat 2 untuk "diturunkan" serta peringkat 1 untuk "diblokir": https://i.imgur.com/ViLamx7.png
    • Saya selalu merasa cukup efektif kalau ada satu orang acak yang melakukan pencarian acak lalu menandai spam yang jelas untuk dikeluarkan dari indeks
      Tetapi Google tampaknya bersikeras melatih AI agar gagal melakukan pekerjaan itu, padahal mereka bisa mempekerjakan manusia untuk melakukannya dengan baik
    • Saya tidak paham kenapa situs kloning Stack Overflow yang bersifat spam tidak bisa langsung dihapus saja. Setiap kali mencari jawaban, itu membuang waktu berharga
      Kelihatannya ini fungsi yang mudah, tetapi Google sudah lama tersesat
    • Bagi yang memakai Google atau DDG, saya punya filter uBlock berisi ratusan situs kloning GitHub/StackOverflow: https://github.com/quenhus/uBlock-Origin-dev-filter
      Filter ini memblokir dan menyembunyikan situs kloning di berbagai mesin pencari. Bisa juga dipakai bersama uBlacklist

  • Ini adalah kegagalan inovasi Google
    Tujuan Google adalah "mengorganisasi informasi dunia", tetapi mereka tidak berhasil membuat Wikipedia, gudang informasi kurasi berkualitas tinggi yang nyaman dibaca manusia, dan juga tidak berhasil membuat ChatGPT, LLM pertama yang cukup baik untuk melakukan pengingatan serta pengorganisasian informasi yang tidak sepele
    Setelah sukses awal lewat pencarian, Google berusaha mempertahankan posisi terdepan dengan mengucurkan uang kepada "orang-orang paling pintar" agar sulit direkrut pesaing. Akibatnya, menjadi lebih menguntungkan untuk memakai sumber daya demi mempertahankan keunggulan yang ada dengan mengendalikan infrastruktur internet seperti Android, Chrome, dan email, ketimbang berinovasi
    Kecuali ada perubahan yang sangat besar, saya melihat Google sebagai mayat hidup. Yang dimaksud dengan "orang-orang paling pintar" di sini adalah mereka yang sukses secara akademis, patuh pada aturan, kurang imajinatif, dan cenderung menghindari risiko

    • Google memang menciptakan terobosan inti yang sampai hari ini masih dipakai semua LLM, khususnya arsitektur attention dan pelatihan jaringan saraf dalam skala besar, dan bahkan sudah punya chatbot serupa bernama Meena jauh sebelum ChatGPT muncul
      Hanya saja mereka tidak merilisnya ke publik, jadi memang bisa disebut gagal dalam inovasi, tetapi bukan kegagalan dari sisi teknologi atau machine learning
      https://ai.googleblog.com/2020/01/towards-conversational-age...
    • Google sudah punya LLM sebelum OpenAI, dan juga menciptakan teknik inti yang memungkinkan hal itu
      Tafsiran saya, Google tertahan oleh bobotnya sendiri. Denda pemerintah dan struktur korporat yang mulai takut pada denda itu memperlambat kemajuan, dan dalam lingkungan seperti itu sangat sulit merilis perubahan
      Baseline juga berperan. Orang bereaksi terhadap perubahan, dan menganggap keadaan yang ada sebagai standar emas. Dalam kondisi seperti itu, sulit mengeluarkan perubahan yang radikal
      Saya rasa satu-satunya jalan keluar adalah mengecilkan produk. Dipecah, di-shard, atau dibuat cukup kecil dibanding yang lain sehingga tidak menjadi sasaran utama secara default. Perusahaan seperti Coca Cola atau Procter & Gamble melakukan ini dengan baik
    • Saya meragukan kualitas konten Wikipedia
      Apa pun yang bisa dipolitisasi akan dipolitisasi, dan apa pun yang bisa dipakai untuk mendorong agenda atau sudut pandang seseorang akan dipakai
      Terlepas dari niat buruk, karena berbasis relawan, beberapa artikel juga bisa kehilangan informasi yang relevan atau mengandung kesalahan
    • Prediksi bahwa Google sedang sekarat tampak terburu-buru. Di luar pencarian, mereka mengendalikan ekosistem Android
    • Beberapa hari lalu ada yang membahas gagasan Schumpeter bahwa "perusahaan yang sangat besar mendorong inovasi", dan dari sudut pandang itu saya penasaran bagaimana Google Search harus dilihat

  • Saat bekerja di ilmu planet, saya punya kebiasaan mencari image ID di Google
    Biasanya itu adalah gambar orbit bulan tertentu yang disebut dalam makalah, dan tentu ada arsip khusus untuk mencari hal seperti ini, tetapi Google ternyata memberi hasil yang cukup baik
    Sekarang, kalau saya mencari image ID, hasilnya benar-benar 0. Saya tidak tahu apa yang berubah. Saya penasaran apakah mereka menghapus indeks Planetary Data System, atau menghapus indeks makalah ilmu planet

    • Kata kunci berentropi tinggi seperti nomor komponen atau kode error tampaknya mengalami nasib yang sama
      Yang lebih buruk daripada tidak ada hasil sama sekali adalah saat "hasil" dengan angka atau kode yang sedikit berbeda terus muncul di setiap halaman
    • Sepertinya bukan hasilnya dihapus dari indeks, melainkan mereka mulai memakai pencarian vektor alih-alih pencocokan teks. ID seperti itu tidak punya tempat di ruang vektor
    • Saat saya belajar sastra, saya bisa menemukan rujukan yang sangat samar hanya dengan menjelaskan sebagian potongan teks atau makalah yang saya ingat
      Sekarang hasilnya tidak ada, atau hanya artikel SEO yang tidak relevan
    • Untuk pencarian gambar, sebaiknya coba Yandex daripada Google. Dalam pencarian gambar, Yandex unggul lebih dari satu orde besaran dibanding Google
      Ralat: saya terlewat bahwa ini bukan pencarian gambar, melainkan pencarian image ID
    • Dugaan saya adalah BERT dan pencarian semantik
      Sebagian besar model word embedding sebelumnya bersifat satu bahasa dan tidak melihat konteks, jadi tidak berguna untuk pencarian, dan karena itu Google harus memakai inverted index serta algoritme yang disetel selama bertahun-tahun
      Setelah BERT, mereka bisa membuat model yang meng-embed kueri pencarian untuk 99,99% bahasa, dan tampaknya menganggap cukup jika itu bekerja lumayan untuk 99% kueri
      Sebenarnya relatif mudah untuk mendeteksi kueri mana yang bekerja lebih baik pada indeks lama dibanding pendekatan baru, tetapi tampaknya mereka tidak melakukannya, dan akibatnya banyak kegunaan seperti pencarian nomor telepon hilang

  • Kematian Google lebih dalam daripada masalah korpus, dan algoritme peringkat juga memburuk parah
    Seminggu lalu pencarian < James Palmer manchester foreign policy > tidak menampilkan https://foreignpolicy.com/2017/05/23/i-love-manchester-but-p... di halaman pertama, tetapi < James Palmer manchester site:foreignpolicy.com > menemukannya
    Hari ini tampaknya sudah diperbaiki, tetapi kejadian yang bahkan gagal memenuhi maksud pencarian setingkat taman kanak-kanak seperti ini sulit dibayangkan pada Google beberapa tahun lalu
    https://twitter.com/BeijingPalmer/status/1670904508191322112
    https://twitter.com/shalmanese/status/1670973880637493249

  • Ini adalah versi internet dari tragedi milik bersama: https://en.wikipedia.org/wiki/Tragedy_of_the_commons
    Terlalu banyak orang dan kelompok mencoba mengambil keuntungan dengan usaha seminimal mungkin, sementara sumber daya bersama seperti data yang bisa diakses bebas, API terbuka, dan perangkat lunak FLOSS terus dieksploitasi tanpa mempertimbangkan dampak jangka panjang
    Data memang bisa disalin tanpa henti, tetapi pada awalnya tetap harus dibuat oleh seseorang, dan jika tidak diperbarui akan menjadi usang serta kurang berguna. Jika tidak ada yang mau dan mampu membuat atau memperbaruinya, hal-hal baik akan hilang dan rasio sinyal terhadap derau akan runtuh dengan cepat. Semuanya menjadi derau dan berubah jadi buruk

    • Dalam sejarah umat manusia, hak kekayaan intelektual adalah fenomena yang relatif baru
      Banyak teknologi dan budaya diciptakan tanpa "perlindungan" semacam itu. Kadang aku penasaran bagaimana sejarah modern akan berjalan jika tidak ada hak cipta dan paten
    • Sekarang rasanya seperti area di MMO yang dipenuhi spammer dan pedagang sampai-sampai kita tidak bisa menemukan pemberi quest

  • Dulu sekali Google sangat berguna bahkan tanpa Reddit
    Ada alasan mengapa ia bisa menjadi perusahaan raksasa: mereka benar-benar membuat alat dan layanan yang bagus untuk dipakai. Orang-orang memakainya karena produknya bagus, dan Search, Gmail, Maps, Translate, semuanya terasa seperti permata
    Entah pencarian dibiarkan terbengkalai atau memang sengaja dirusak, yang jelas ia rusak terlepas dari Reddit. Memang ada banyak informasi di Reddit, tetapi internet bukan cuma satu situs itu saja
    Namun Google sekarang tampak seperti hanya mengindeks sekitar 150~200 situs teratas di internet, dan bahkan dari hasil itu pun sering ada kata kunci yang hilang

    • Menurutku, penyebabnya juga karena internet makin tersilo, dan banyak ruang publik kini berada di balik login
    • Google Search rusak seiring evolusi internet di era AdWords
      Semua orang sadar bahwa pageview dan optimasi mesin pencari bisa menghasilkan uang, lalu muncullah perlombaan ke dasar untuk merebut peringkat 1 pada semua kata kunci
      Bahkan jika Google mendekatinya sepenuhnya dari sudut pandang pengguna pun ini tampak seperti masalah yang sulit diselesaikan, dan di atas itu, Google setelah Sundar pada dasarnya telah menjadi IBM/Oracle. Jadi sekarang ia berputar dua kali lebih cepat menuju lubang pembuangan
    • Ini sengaja dirusak demi uang
      Begitu mereka mulai membayar orang agar memanipulasi mesin pencarinya sendiri, yaitu saat memperkenalkan AdSense, semuanya mulai masuk ke jalur menjadi tak berguna. Insentif itu mungkin sudah ada sejak awal, tetapi pada 2022 Google memasang turbo pada insentif itu hingga senilai 33 miliar dolar
    • Dari sudut pandang perusahaan jangka pendek, "apakah pencarian dibiarkan terbengkalai atau sengaja dirusak" mungkin adalah dikotomi yang salah
      Jika pendapatan iklan pencarian naik, maka pencarian dianggap baik-baik saja, seolah tidak membusuk dan tidak rusak
      Kita berasumsi Google memperlakukan pengguna sebagai pelanggan, padahal sebenarnya mereka bisa saja diperlakukan seperti sumber daya alam yang bisa dieksploitasi

  • Wikipedia punya dump data yang bisa diunduh, hampir tidak menimbulkan biaya untuk diberikan ke Google, dan juga memiliki misi organisasi untuk membuka data itu
    Kalaupun mereka memutuskan untuk mengenakan biaya akses, Google tetap akan mampu membayarnya. Sebaiknya jangan melempar asumsi yang sepenuhnya tidak realistis

    • Yang menjual hak akses data yang "siap konsumsi" adalah Wikimedia Enterprise: https://en.wikipedia.org/wiki/Wikimedia_Enterprise
    • Jika Wikipedia mulai mengenakan biaya atau membatasi akses API, game puzzle buatanku Redactle(https://redactle.net) akan berada dalam bahaya seperti GeoGuessr yang terancam oleh tagihan Google Maps
      Terkait artikel ini juga, versi-versi murahan yang penuh iklan dan diimplementasikan secara buruk tergabung dalam kelompok link farm, sehingga sulit bagiku untuk menaikkan peringkat Redactle di Google. Banyak di antaranya bahkan berpura-pura menjadi merek "Redactle Unlimited" milikku
      Google tampaknya lebih menyukai kumpulan situs spam yang saling menautkan daripada ribuan tautan dari pengguna terverifikasi di Reddit, Facebook, dan sebagainya
    • Memang benar Google mampu membayar biayanya
      Tetapi bagaimana jika Wikipedia meminta 10% dari pendapatan ketika datanya dipakai untuk menampilkan hasil pencarian? Aku penasaran apakah Google akan setuju, atau malah membuat layanan pesaing Wikipedia lalu mematikannya empat tahun kemudian
      Sistem ini terlalu rumit sehingga sangat sulit memprediksi bagaimana ia akan bertindak ketika satu bagian terkena kendala yang berbeda. Data scraping Reddit oleh OpenAI, keinginan Reddit untuk memonetisasi, moderator Reddit yang memprotes aturan, blackout 2 hari yang diperpanjang tanpa batas, dan situasi ketika makalah LLM yang diterbitkan Google memengaruhi bisnisnya sendiri melalui ChatGPT, semuanya saling terkait

  • Masalah meta yang sebenarnya di sini adalah pertanyaan lama tentang cara pendanaan layanan web, termasuk pencarian
    Google, Twitter, Reddit, dan Gfycat semuanya hanyalah variasi langsung dari masalah yang sama, dan tidak ada solusi teknis untuk masalah ini. Gagasan naif bahwa semua ini bisa gratis sepenuhnya, apalagi ketika mengatakannya dalam ekosistem yang ditopang pendapatan iklan, itu tidak masuk akal
    Seseorang harus membayar biaya pengembangan dan operasional, dan biasanya pihak yang membayar itulah yang mendapat hak menentukan arah, yang kemudian menghasilkan bencana UX modern
    Setidaknya sekarang, berkat situasi modal ventura, praktik dumping produk de facto untuk menghancurkan pasar para pelaku yang sah sudah jauh berkurang

    • Setuju. Ketika orang tidak mau membayar untuk hal yang mereka anggap bernilai, maka hal itu pada akhirnya tidak lagi dibuat untuk mereka
      Ia menjadi untuk pihak yang membayar, yaitu investor

  • Masalah Google saat ini bukanlah Reddit atau Twitter
    Google kini benar-benar telah menjadi merek yang dipenuhi hasil buruk dan kampanye AdWords, dan bahkan tidak jelas para marketer membayar untuk apa
    Sepertinya kita perlu kembali ke makalah asli Brin dan Page: https://research.google/pubs/pub334/
    Google masih melakukan hal-hal menakjubkan seperti AlphaZero atau Project Zero, tetapi rasanya seperti Xerox PARC di masa lalu: tidak ada lagi sesuatu yang benar-benar baru keluar dari organisasinya
    Di sisi lain, Google Workspace, misalnya Sheets dan Docs, adalah pesaing yang bagus di ranah office, tetapi pencarian Google Drive sangat buruk