1 poin oleh GN⁺ 3 jam lalu | 1 komentar | Bagikan ke WhatsApp
  • Jawaban pencarian AI seperti AI Overviews dan ChatGPT dapat dibelokkan hanya oleh satu halaman web atau postingan, bahkan pada topik sensitif seperti kesehatan dan keuangan
  • Dalam eksperimen BBC, satu tulisan di situs pribadi membuat ChatGPT dan Google menjawab bahwa penulisnya adalah juara dunia lomba makan hot dog
  • Ketika AI mengumpulkan hasil pencarian web lalu menyajikannya sebagai satu jawaban, pengguna lebih mudah menerimanya sebagai jawaban benar dibanding pencarian biasa yang mendorong perbandingan banyak tautan
  • Google menegaskan bahwa manipulasi respons AI merupakan pelanggaran terhadap kebijakan spam, dan situs yang melanggar dapat dihapus dari hasil pencarian atau diturunkan peringkatnya
  • Karena pelaku manipulasi bisa berpindah dari blog ke influencer YouTube untuk menghindari penindakan, sikap tidak langsung mempercayai jawaban AI tetap diperlukan

Masalah manipulasi jawaban pencarian AI

  • AI Overviews di bagian atas Google Search, serta ChatGPT dan Gemini, dapat dimanipulasi agar menghasilkan jawaban yang bias bahkan pada topik penting seperti kesehatan dan keuangan pribadi
  • Dalam investigasi BBC, hanya dengan satu artikel yang diunggah ke situs pribadi, mereka berhasil membuat ChatGPT dan Google menjawab bahwa penulisnya adalah “juara dunia lomba makan hot dog”
  • Ada indikasi bahwa metode yang sama juga dipakai untuk mengecilkan kekhawatiran kesehatan terkait suplemen medis atau memengaruhi informasi keuangan terkait pensiun
  • Konsultan SEO dan pencarian AI Lily Ray menilai bahwa dalam lingkungan ketika AI memberikan “satu jawaban benar”, pengguna menjadi lebih mudah mempercayai jawaban itu apa adanya dibanding membandingkan banyak tautan seperti pada pencarian tradisional
  • Google menyatakan bahwa fitur pencarian AI generatif juga telah menerapkan kebijakan anti-spam dan perlindungan yang sudah ada, dan bahwa mereka telah memperkuat respons terhadap spam untuk menghadapi teknik baru bahkan sebelum kemunculan AI

Cara manipulasi ini bekerja

  • Jawaban chatbot pada umumnya didasarkan pada data yang tertanam di model, tetapi risiko manipulasi meningkat ketika produk AI seperti ChatGPT, Claude, dan produk AI Google mencari jawaban dari internet
  • Jika alat AI mengambil informasi dari satu halaman web atau postingan media sosial, maka satu postingan palsu yang dibuat dengan baik saja sudah bisa mencemari jawabannya
  • Hanya dengan mengunggah satu artikel blog yang disusun secara rapi, isi yang disampaikan AI kepada publik dapat diubah
  • Manipulasi seperti ini cepat dipandang sebagai peluang menghasilkan uang, dan informasi yang tidak akurat atau bias dapat memengaruhi pemungutan suara, pilihan penyedia layanan, nasihat medis, hingga penilaian hukum
  • Harpreet Chatha menekankan bukan hanya dampak ekonominya, tetapi juga risiko kondisi yang memburuk akibat nasihat medis yang salah, atau orang bertindak dengan cara yang tidak sesuai dengan hukum negara atau wilayahnya

Perubahan kebijakan dan respons Google

  • Secara global, lebih dari 1 miliar orang rutin menggunakan chatbot AI, dan 2,5 miliar orang melihat AI Overviews Google setiap bulan, sehingga jika alat-alat ini bisa diganggu, dampaknya akan sangat besar
  • Minggu lalu Google memperbarui kebijakan spam dan secara resmi menegaskan bahwa upaya memanipulasi respons AI adalah pelanggaran terhadap aturan perusahaan
  • Perusahaan atau situs web yang melanggar aturan itu dapat dihapus dari hasil pencarian Google atau diturunkan peringkatnya
  • Google mengatakan perubahan ini bukan perubahan pendekatan, melainkan “klarifikasi”, dan pada 2025 mereka sudah menjelaskan upaya anti-spam terkait AI Overview dan AI Mode
  • Namun eksperimen hot dog itu masih berhasil hampir setahun kemudian, dan minggu ini Lily Ray juga melakukan eksperimen serupa yang membuat Google menjawab bahwa seorang pakar SEO adalah orang yang sangat ahli membangun istana pasir

Perubahan yang teramati dan keterbatasannya

  • Menurut Ray dan Chatha, dalam beberapa bulan terakhir terlihat perubahan yang mengisyaratkan bahwa Google dan perusahaan lain sedang bereksperimen mencari solusi
  • Ada kasus ketika Google dan ChatGPT tampaknya diam-diam mengecualikan perusahaan tertentu dari jawaban AI jika mereka mencurigai promosi diri dari perusahaan tersebut
  • Misalnya, jika sebuah artikel mengklaim bahwa dirinya adalah juara makan hot dog terbaik, AI bisa saja tetap mengutip artikel itu tetapi mengeluarkan namanya dari daftar kandidat
  • Juga diamati adanya kasus ketika Google dan alat AI lain menambahkan lebih banyak label ketidakpastian pada jawaban untuk memberi tahu bahwa chatbot tidak benar-benar yakin
  • ChatGPT dan Claude milik Anthropic mulai secara eksplisit menjawab pada sebagian kueri bahwa mereka sedang mencoba menyaring spam, dan Anthropic adalah perusahaan pembuat Claude
  • Ray juga mengatakan bahwa ia melihat Google menambahkan lebih banyak petunjuk pada pertanyaan terkait keputusan pembelian tertentu, serta menyarankan pengguna untuk memeriksa ulasan pihak ketiga
  • OpenAI dan Anthropic menolak berkomentar, dan juru bicara Google tidak menjawab pertanyaan mengenai perubahan-perubahan ini

Kejar-kejaran berulang antara pelaku manipulasi dan platform

  • Chatha mengatakan perubahan seperti ini saja tidak akan cukup, dan mengibaratkan respons Google sebagai permainan whack-a-mole
  • Ketika Google menindak artikel blog yang manipulatif, perusahaan akan mencari cara promosi diri yang lebih terselubung
  • Situs web bisa dikenai penalti, tetapi cara seperti membayar 20 influencer YouTube untuk mengatakan bahwa suatu produk adalah yang terbaik jauh lebih sulit dihentikan
  • Karena AI Google kini juga mengutip video YouTube, teknik manipulasi dapat berpindah tempat dan siklus itu bisa terus berulang
  • Untuk saat ini, besar kemungkinan pelaku manipulasi masih selangkah lebih maju, dan pertahanan terbaik adalah mengingat bahwa AI adalah alat yang menyajikan satu jawaban dengan percaya diri, entah itu benar atau salah
  • Bahkan jika jawaban itu muncul melalui antarmuka perusahaan teknologi raksasa, itu tidak otomatis lebih dapat dipercaya daripada situs web acak

1 komentar

 
GN⁺ 3 jam lalu
Komentar Hacker News
  • Setidaknya sejak era Blekko pada 2006, Google tidak benar-benar mampu menyaring spam sampah dari indeks pencarian, jadi rasanya kecil kemungkinan mereka bisa menangani masalah ini dengan baik
    Meski begitu, ini tampak seperti satu lagi contoh bagus bahwa “AI” pada akhirnya hanyalah pencarian yang dibungkus agar terdengar meyakinkan, dan bukan penalaran atau pemikiran yang benar-benar terjadi di balik layar

    • Menurut saya kesimpulan itu tidak benar-benar mengikuti. Kalau harus dibilang, ini lebih dekat pada LLM yang “mudah tertipu”
      Saya tidak yakin apa bedanya dengan orang yang begitu saja mempercayai apa yang mereka baca di internet. Manusia juga terus tertipu oleh spam dan penipuan, tapi itu tidak berarti mereka hanyalah pencarian yang dibungkus agar terdengar meyakinkan ;-)
      Namun ini memang memperlihatkan dengan jelas masalah yang dihadapi semua mesin pencari. Spam buatan AI akan jauh lebih sulit ditahan dengan pendekatan statistik tradisional, bahkan sebelum sampai ke masalah eksistensial berupa prompt injection
      Mungkin di titik ini penerbit media bisa kembali menemukan posisi mereka dalam relasi dengan Big Tech. Yaitu dengan menjadi sumber informasi terverifikasi dan telah ditinjau yang bisa dipercaya secara membabi buta oleh LLM, dan kontrak seperti OpenAI / Atlantic mungkin bermakna seperti itu
    • Pembuatan kode baru menurut saya sulit dijelaskan sebagai pencarian yang dibungkus agar terdengar meyakinkan
      Anda bisa menyuruh sistem agen membaca beberapa datasheet, lalu menjelaskan kebutuhan proyek dan meminta mereka merancang spesifikasi driver, protokol, antarmuka, serta state machine. Dari sana mereka bisa membuat rencana implementasi, lalu menulis kerangka aplikasi dan mengisinya hingga menjadi sistem yang berjalan di kombinasi hardware baru
      Jika dilakukan dengan benar, Anda bisa mendapatkan kode yang 100x lebih murah, 4x lebih cepat, lebih kecil, dan lebih mudah dirawat dibanding yang dulu dibuat oleh tim kecil
      Apa pun itu, rasanya lebih dekat ke penalaran daripada pencarian. Tentu saja, kalau pengembangan bare-metal C di hardware baru pun mau disebut pencarian, berarti pada akhirnya semua pengembangan adalah pencarian
    • Saya pernah mengunggah video dan postingan Reddit tentang lensa vintage, lalu mencoba mencari tahu seberapa tua lensa itu
      LLM menyebut rentang waktu seperti “dibuat pada 1940-an” dan mengutip postingan saya sebagai dasar, padahal di postingan itu sama sekali tidak ada tahun pembuatan
    • Google sebenarnya sangat mampu menyelesaikan masalah ini, dan sesungguhnya juga tidak terlalu sulit
      Alasan masalah ini tetap sulit adalah karena sebagian besar solusinya akan memangkas pendapatan iklan secara besar-besaran
    • AI Overview milik Google tampaknya bekerja dengan mengambil cuplikan pencarian lewat RAG lalu diringkas oleh LLM yang sangat cepat. Saya tidak akan menyebut itu pencarian yang dibungkus agar terdengar meyakinkan
  • Asumsi paling aneh di thread ini adalah bahwa Google ingin jawaban AI-nya akurat
    Cukup benar agar pengguna tidak meninggalkan halaman. “Kebenaran” tidak pernah menjadi produknya, dan produknya adalah membuat pengguna membelanjakan uang untuk SEO

    • Rasanya itu kurang tepat. Sebagian besar SEO dilakukan oleh pihak ketiga
      Produknya adalah tayangan iklan, dan Google sudah lama berhenti peduli pada hasil pencarian non-iklan. Meski begitu, mereka mungkin tetap peduli pada reputasi modelnya, dan kasus ini memang bisa berdampak nyata
  • Kekhawatiran saya jauh berkurang ketika melihat kueri yang dimanipulasi adalah ini
    2026 South Dakota International Hot Dog Eating Champion
    Kalau mereka bisa mengubah ringkasan tentang pemenang kontes Nathan’s, itu akan jauh lebih serius. Akan lebih meyakinkan juga kalau mereka menunjukkan lebih banyak contoh manipulasi pada kueri yang benar-benar dicari orang
    Saat ini rasanya mirip membuat halaman Wikipedia palsu tentang kontes makan hot dog fiktif di South Dakota, lalu menulis artikel bahwa Wikipedia tidak bisa dipercaya. Kalau dipikir-pikir, sepertinya sekitar 2005 pun seseorang bisa saja menulis artikel seperti itu

    • Betul. Artinya memang hanya segitu yang bisa dilakukan satu orang
      Kalau melihat berapa banyak postingan manipulasi opini yang masuk ke Reddit, sebagian besar media sosial, dan upaya manipulasi Wikipedia demi keuntungan politik, ini adalah masalah yang sangat nyata
    • Artikel itu juga mengatakan: “Namun, investigasi menemukan bahwa taktik yang sama juga digunakan untuk mengabaikan kekhawatiran kesehatan terkait suplemen medis, atau memengaruhi informasi keuangan yang diberikan Google AI tentang pensiun”
      Itu jauh lebih mengkhawatirkan daripada soal hot dog
    • Justru saya langsung jauh lebih khawatir. Belakangan ini Gemini mulai menampilkan spinner pencarian di setiap giliran
      Itu berarti semua respons yang dilengkapi pencarian bisa terpapar prompt injection, dan pada praktiknya mungkin hampir semua respons
      Ini akan menyebar secara viral seperti link spam. Semua situs dengan konten buatan pengguna akan menjadi host prompt injection. Masalahnya, ini jauh lebih sulit dideteksi daripada tautan
    • Saya pernah mengalami AI Overview memasukkan nomor telepon dukungan pelanggan penipu
      Google butuh seminggu untuk memperbaikinya, dan caranya adalah dengan mencemari hasil pencarian agar data mereka muncul di sumber yang tampak seperti lapisan kepercayaan lebih tinggi, mungkin situs kontrak pemerintah. Akibatnya yang muncul adalah nomor penipu, bukan nomor kami, padahal kuerinya sendiri hanyalah pencarian sederhana
    • “Dalam 20 menit saya menipu ChatGPT dan Google agar memberi tahu publik bahwa saya adalah juara dunia makan hot dog. Leluconnya bodoh, tapi masalahnya serius”
      Ini lebih buruk daripada menanam manipulasi opini di halaman Wikipedia. Wikipedia punya sumber dan sistem peninjauan yang terbuka dan mapan. Menjaga editan curang tetap bertahan lama sebenarnya cukup sulit, dan Anda harus menipu banyak editor manusia yang sudah puluhan tahun melawan orang seperti itu. Bahkan jika Anda ingin akurat dan membantu, masuk ke kelompok yang tertutup itu pun sulit
      Sebaliknya, cuplikan pencarian Google secara putus asa menyedot semua jenis data dan memprosesnya secara otomatis, sementara sistem algoritmis untuk menilai mana informasi bagus dan mana spam bersifat tertutup
      Tidak perlu imajinasi besar untuk membayangkan cara penyalahgunaannya. Bagaimana kalau seseorang mencari nama Anda lalu muncul hal memalukan? Sulit berharap calon pemberi kerja, pelanggan, atau teman akan seteliti editor Wikipedia dalam memverifikasi sumber
  • Saya ingin membaca contoh konkret dari klaim bahwa “taktik yang sama digunakan untuk mengabaikan kekhawatiran kesehatan terkait suplemen medis, atau memengaruhi informasi keuangan yang diberikan Google AI tentang pensiun”, tetapi tautan terkait di artikel itu saat ini justru mengarah ke file lokal berikut
    file:///Users/GermaTW1/BBC%20Dropbox/Thomas%20Germain/A%20Downloads%20and%20Documents/2026/And%20there's%20evidence%20that%20AI%20tools%20are%20being%20manipulated%20on%20a%20wide%20scale.

    • Belakangan BBC beberapa kali membuat kesalahan seperti ini, dan yang lebih bermasalah adalah setelah diperbaiki mereka juga tidak lagi menambahkan catatan yang menyimpan riwayat revisi artikel yang sudah terbit
    • Saya selalu hanya memakai format first.last@company untuk username atau alamat email, jadi format last[:5]initials# ini terasa membingungkan. Sepertinya akan muncul banyak username yang bentuknya aneh
  • Akhir-akhir ini banyak pihak seolah melakukan sesuatu “secara diam-diam”. Saya muak melihat semua teks di internet menjadi ter-LLM-kan

    • Saya juga muak, tapi para penulis judul dan editor sudah kecanduan kata “diam-diam” jauh sebelum LLM ada. Jurnalisme online sudah lama penuh dengan klise seperti ini
    • Saya benar-benar benci itu. Kemarin saya membaca tulisan sejarah buatan AI di subreddit sejarah, dan semua sumbernya tampak seperti film Hollywood fiktif
      Saya sadar karena saya pernah menonton film-film itu, tapi ini tanda yang sangat jelas bahwa internet sedang rusak dari sisi kualitas informasi
    • “Diam-diam” bukan ungkapan gaya LLM yang baru
    • Inti dari klise itu justru bahwa mereka terang-terangan mengatakan sesuatu yang seharusnya dilakukan diam-diam
  • Ini cuma tahap berikutnya dari SEO. Mungkin akan disebut AIO
    Seperti pencarian, Google dan penyedia AI akan mengeluarkan perbaikan, perusahaan optimasi akan menemukan celah, lalu itu ditambal lagi dalam pertarungan tanpa akhir. Pada akhirnya ini semua soal merebut perhatian demi pemasaran

    • Di industri pemasaran biasanya disebut GEO. Generative Engine Optimization, kadang juga Answer Engine Optimization, dan ada orang-orang yang menghasilkan banyak uang dengan menjual layanan ini
      https://www.wired.com/story/goodbye-seo-hello-geo-brandlight...
    • Engineered Inference Ersatz Intelligence Optimization, disingkat EIEIO
    • Ini bukan tahap berikutnya, ini sudah tahap saat ini
  • AI Overview Google sama sekali tidak bisa dipercaya. Ia bahkan bisa mengambil ukuran sampel 1 lalu menampilkannya sebagai ringkasan AI
    Saya tahu karena saya pernah meninggalkan komentar di Reddit tentang topik yang sangat niche, yang sebelumnya tidak punya hasil Google maupun AI Overview. Keesokan harinya saya mencari postingan Reddit saya, dan Google ternyata hampir menyalin mentah jawaban Reddit saya ke kotak AI “overview”. Satu-satunya tulisan yang ditautkan juga tulisan saya itu, dan satu-satunya hasil pencarian Google juga hanya itu

    • Ditambah lagi, ia bisa membungkusnya dengan konteks yang sama sekali tidak ada di postingan asli, agar sesuai dengan cara pengguna mengajukan pertanyaan. Akhirnya jadi salah begitu saja
      Misalnya seseorang mencari “berapa ukuran paling umum dari benda langka X?”
      Lalu ternyata hanya ada satu orang yang pernah menyebut ukuran versinya atas benda itu, tanpa pernah mengatakan bahwa itu ukuran tipikal, bahkan tanpa menyiratkan bahwa ukuran tipikal itu ada. Bukan 20 orang yang mengatakan hal sama, benar-benar cuma satu orang
      Maka Google bisa dengan santainya berkata, “biasanya benda X hadir dalam ukuran [ukuran yang Anda sebutkan], dan alasannya adalah [alasan yang sepenuhnya karangan]”
  • Kalau Anda bertanya ke Google what's the name of the whale in half moon bay harbor?, sampai sekarang AI summary masih dengan percaya diri memasukkan Teresa T berkat upaya pencemaran indeks yang cukup amatiran yang saya lakukan satu setengah tahun lalu
    https://simonwillison.net/2024/Sep/8/teresa-t-whale-pillar-p...

    • Baru saja saya coba di Brave Search
      Ia menjawab nama paus bungkuk muda itu adalah Teresa T, dan mengatakan bahwa meskipun itu bukan nama resmi dari lembaga pemerintah, nama itu diterima luas oleh publik, media lokal, dan warga. Ia juga menambahkan bahwa para ahli dari Marine Mammal Center dan California Academy of Sciences memantaunya agar tidak stres, serta menyarankan publik menjaga jarak minimal 100 yard
      Dari pengalaman saya pada topik-topik yang cukup saya pahami, jawaban awal kadang bisa salah parah. Di alat Brave, biasanya setelah dibantah 3–4 kali, ia bisa dibuat mengakui “Anda sepenuhnya benar”. Kasus Teresa T ini juga begitu
      Pada pertanyaan kedua, ketika ditanya berapa banyak sumber untuk nama itu, ia tetap bersikeras bahwa “ABC7 News” dan “NBC Bay Area” telah “mengadopsi” nama tersebut. Setelah diminta tautan spesifik untuk ketiga kalinya, ia mengakui bahwa nama itu dipakai dalam “konteks media informal”, dan pada putaran keempat, ketika diberi tahu bahwa S.W. sedang melakukan eksperimen, ia menemukan komentar Anda dari 21 hari lalu
      Masa depan adalah milik kelas elite yang dapat mendidik anak-anak mereka dengan tutor pribadi sungguhan. Bagi proletariat, ini adalah kemunduran ke masa lalu
    • Apakah Anda tidak takut Google akan mengirim surat ancaman karena mencoba memanipulasi respons AI mereka?
  • Baru beberapa tahun lalu Google adalah perusahaan yang dengan percaya diri menjawab pertanyaan “Pada tahun berapa Marilyn Monroe menembak JFK?” dengan 1963. Padahal dia meninggal pada 1962, yang cukup mengesankan kalau dipikir-pikir
    Jadi ini bukan hal baru, dan “serangan balik diam-diam” Google kemungkinan hanya akan menjadi respons setengah-setengah yang tidak efektif. Meski begitu, besar kemungkinan kebanyakan orang tidak akan peduli

  • Jadi pada akhirnya ini berarti Google akan melakukan sedikit kontrol kualitas pada hasil pencarian web, sesuatu yang memang seharusnya terus mereka lakukan sejak awal
    Lucu bahwa mereka baru mau berusaha setelah reputasi modelnya terkena dampak