- Benn Jordan belakangan terus menerima permintaan melalui beberapa pesan dan tag untuk memperjelas posisinya terkait Israel
- Ini aneh karena selama ini ia sudah berulang kali menyatakan secara terbuka bahwa ia menentang genosida dan mendukung pembentukan negara Palestina, namun tetap saja pesan-pesan ganjil berdatangan
- Setelah diperiksa, ternyata Google AI Overview membuat dan menyebarkan elaborate story (cerita yang rumit namun palsu) yang tidak berdasarkan fakta atas nama Benn Jordan
- Ringkasan Google AI Overview tentang Benn Jordan
Benn Jordan, seorang musisi elektronik dan YouTuber sains, baru-baru ini terlibat dalam konflik Israel-Palestina dan memicu kontroversi serta perdebatan besar di internet. Disebutkan bahwa ia mengunggah video YouTube berjudul "I Was Wrong About Israel: What I Learned on the Ground", yang membagikan pengalamannya bepergian ke Israel dan mewawancarai warga kibbutz di dekat perbatasan Gaza. Video itu dikatakan berisi upaya memahami konflik secara langsung melalui wawancara dengan warga kibbutz di perbatasan Gaza, dan setelah dirilis memicu perdebatan dan komentar luas di media sosial.
- Ringkasan Google AI Overview tentang Benn Jordan
- Namun, Benn Jordan sama sekali belum pernah ke Israel. Ia juga tidak pernah mengunggah video semacam itu; ini adalah kekeliruan dengan seseorang bernama Ryan McBeth yang mengunggah video militer
- Akibat hasil AI tersebut, kesalahpahaman yang bertentangan dengan sikapnya yang sebenarnya menyebar, dan pada akhirnya pengguna menerima opini publik yang keliru atau tekanan sosial
- Benn Jordan sedang berdiskusi dengan pengacara mengenai kemungkinan gugatan
4 komentar
Keandalan AI Overview memang sudah terkenal rendah, tapi yang ini cukup serius.
Ini layak digugat...?
Wah, cerita ini benar-benar terlalu mengejutkan.
Mengerikan membayangkan apa yang akan terjadi jika situasi seperti ini karena isu tertentu sampai menimpa saya juga.
Komentar Hacker News
Saya rasa ini adalah contoh yang sangat representatif tentang seberapa besar halusinasi AI dan kurangnya akurasi akan memengaruhi hidup kita ke depan. Topik ini sangat rumit dan penting, tetapi kenyataan bahwa ia hanya dibahas sebatas judul terasa menakutkan, terutama jika publik tidak benar-benar memahami cara kerja alat ini. Dulu, setidaknya manusia masih sempat menelusuri informasi sekilas, tetapi dari AI, bahkan itu pun sulit diharapkan.
Saya sudah berkali-kali melihat hasil percakapan atau jawaban AI disalin orang ke GitHub issue, email, dan sebagainya. Saya juga merasa semakin banyak orang yang cenderung mempercayai keluaran model seperti ini tanpa berpikir kritis. Hal yang sama berlaku untuk "ringkasan" yang muncul di paling atas hasil pencarian Google. Hampir setiap ringkasan yang saya baca mengandung setidaknya satu kesalahan fatal; kalau topiknya sesuatu yang tidak saya pahami, saya mungkin akan begitu saja mempercayainya. Secara umum, ungkapan "percaya tapi verifikasi" makin penting, tetapi menurut saya sekarang ini kita bahkan perlu membatasi rasa percaya itu sendiri.
Argumen bahwa pengumpulan massal konten berhak cipta untuk membuat model AI adalah karya transformatif dipakai sebagai dasar pembenaran. Jika klaim itu benar, menurut saya perusahaan seperti Google harus bertanggung jawab atas hasil seperti ini. Kalau ini karya transformatif, tanggung jawabnya tidak bisa dilempar ke pihak lain. Perusahaan-perusahaan seperti ini seharusnya tidak dibiarkan menikmati kedua sisi sekaligus. Saya penasaran ke mana arah perdebatan ini nantinya.
Saya berhenti menilai orang berdasarkan posisi mereka terkait Israel dan Hamas, dan saya rasa tidak apa-apa jika saya memilih tidak bergaul dengan orang-orang seperti itu. Kalau ada yang salah menyampaikan pendapat saya, saya juga tidak terlalu peduli. Untuk melakukan itu, mungkin saya harus berhenti dari tempat seperti bluesky atau HN yang penuh diskusi politik seperti ini, tetapi bahkan pendapat yang sah pun sekarang sudah sering disampaikan secara sangat bias dan keliru, dan AI kualitasnya seperti lempar koin. Jika ada yang ingin meyakinkan saya bahwa mereka benar-benar paham topik ini, saya bersedia mendengarkan, tetapi saya rasa tidak perlu melakukannya di sini.
Saya rasa Google harus bertanggung jawab atas hasil seperti ini. Mereka adalah pihak yang menerbitkan dan meng-host konten semacam ini, jadi harus bertanggung jawab atas semua materi yang mencemarkan nama baik.
Cerita ini mungkin akan membesar sampai menutupi insiden video palsu itu, lalu AI akan otomatis merangkum kontroversi video palsu tersebut berdasarkan hasil pencarian teratas.
Saat saya mencari "benn jordan isreal", hasil pertama yang muncul adalah video dari kreator yang sama sekali berbeda dengan judul dan tanggal yang persis sama. Di videonya tidak ada penyebutan "benn", dan hanya ada sedikit penyebutan negara "jordan". Mungkin hanya dari situ Google berhalusinasi membuat kaitan tertentu, dan itu sangat mengkhawatirkan.
https://www.youtube.com/watch?v=qgUzVZiint0
Saya rasa ini hampir pasti memang yang sebenarnya terjadi. Jawaban AI Google itu bukan sihir, hanya merangkum hasil pencarian. Dalam kasus ini, tampaknya ia menarik video yang menyebut "Israel" dan "Jordan" bersamaan, lalu menghasilkan isi yang posisinya justru sepenuhnya berlawanan. UI-nya menyembunyikan banyak konteks, jadi sulit mengetahui titik kesalahannya, dan dalam mode AI, ia menjalankan beberapa pencarian lalu mengumpulkan snippet dari lebih dari 100 situs sebelum membuat ringkasan.
Hal yang menarik dari diskusi ini adalah saya jadi penasaran apakah penggunaan hasil pencarian untuk topik umum sebagai dasar pelatihan LLM atau information retrieval memang merupakan fenomena yang lazim.
Anda mungkin akan lebih terkejut kalau tahu bagaimana AI translation sebenarnya bekerja: berbagai bahasa dipelintir menjadi American English.
Orang biasanya mencari di Google hal-hal yang tidak mereka kenal, dan isi yang dihasilkan AI Overview tampak masuk akal bagi orang yang memang tidak paham topiknya. Padahal kenyataannya sering salah. Bukan cuma masalah besar seperti ini; dulu juga pernah ada kasus ia menyarankan mengoleskan lem pada pizza. Coba saja cari beberapa topik yang benar-benar Anda kuasai di Google dan lihat ringkasan keseluruhannya; Anda akan sadar bahwa ia cukup sering salah. Dari pengalaman saya, hanya sekitar 1 dari 5 yang tidak punya kesalahan besar. Ada ungkapan "jamak dari data bukanlah anekdot", tetapi karena terlalu sering salah, saya sampai memasang ekstensi pemblokir.
Saya mendapati bahwa untuk konten yang sudah statis dan rapi seperti Wikipedia atau blog, hasilnya cukup akurat. Sebaliknya, pada informasi yang dinamis, terutama SNS dan sejenisnya, ia mudah salah saat menghubungkan relasi. Secara umum orang terlalu berharap banyak pada AI Overview. Google AI overview sama sekali tidak unggul mutlak dibanding fitur pencarian web milik Claude, Grok, ChatGPT, dan sebagainya; malah tertinggal dalam berbagai aspek. Saya rasa ini fitur yang dipaksakan karena monopoli penelusuran informasi mereka terancam oleh OpenAI dan lainnya.
Justru karena akurasi AI Overview sekarang lebih baik daripada dulu, menurut saya masalahnya makin besar. Dulu ia cukup sering dan cukup jelas salah sehingga mudah diabaikan. Sekarang ia lumayan sering benar dan selalu terdengar meyakinkan, sehingga muncul godaan untuk makin bergantung padanya.
Saya akan memparafrasekan penjelasan terbaik tentang misinformasi AI yang "terdengar meyakinkan": ringkasan AI itu mirip podcaster umum atau esais YouTube serbabisa saat membahas topik teknis atau yang sangat niche — tampilannya dan rasa percaya dirinya begitu licin sehingga nyaris terasa seperti fakta. Tetapi jika Anda ahli di topik itu, Anda akan sadar bahwa hampir semua yang mereka tahu salah, atau setidaknya dangkal. Masalahnya, kepercayaan diri berlebihan ini justru memperkuat "sinyal akurasi" bagi orang awam yang tidak punya pengetahuan memadai. Dan karena sebagian besar dari kita tidak punya pemahaman mendalam tentang 90% topik, masalah ini jadi serius.
Dalam kasus halusinasi AI itu, ada klaim bahwa pada 18 Agustus 2025 Benn Jordan mengunggah video kesan perjalanannya ke Israel. Padahal ini sama persis dengan judul video Ryan McBeth yang terbaru.
https://youtu.be/qgUzVZiint0?si=D-gJ_Jc9gDTHT6f4
Cukup menakutkan melihat betapa mudahnya sumber video bisa dipasangkan ke orang yang salah.
Awalnya saya kira ada dua orang bernama Benn Jordan sehingga AI bingung, tetapi ternyata yang mengunggah video itu adalah Ryan McBeth. Saya penasaran bagaimana kekeliruan seperti ini bisa terjadi.
Bisa jadi model yang dipakai Google di halaman pencarian memang kurang pintar demi menghemat biaya. Saya ragu apakah memilih pendekatan seperti ini untuk produk andalan mereka, yaitu search, merupakan strategi yang baik. Menurut saya lebih baik AI dikeluarkan saja sepenuhnya dari pencarian.
Mungkin di video itu ada bagian yang menyebut kata "Jordan", dan karena itu negara yang dekat dengan Israel, keterkaitannya jadi salah terbentuk.
Ternyata video Ryan muncul lebih tinggi daripada video Benn saat dicari di YouTube. Saya rasa AI begitu saja menganggap hasil pencarian YouTube sebagai fakta tanpa memeriksa nama channel.
Ini bukan tanggung jawab Google. Di bagian bawah layar sudah tertulis jelas dalam teks 6pt: "Jawaban AI dapat mengandung kesalahan. Pelajari lebih lanjut".
Ini adalah tanggung jawab Google, karena mereka membuat dan mendistribusikan langsung konten yang mencemarkan nama baik. Bayangkan kalau seseorang mencari nama saya, lalu di baris pertama tertulis bahwa saya adalah pelaku kejahatan seksual di kota tertentu. Itu bukan kutipan dari ucapan orang lain, melainkan halusinasi tanpa dasar. Meski ada peringatan kecil di bawah bahwa ini bisa salah, hampir tidak ada orang yang akan berpikir, "kalau begitu tidak apa-apa."
Ada yang bilang ukuran tulisannya 6pt, tetapi setelah saya periksa elemennya, ternyata 12px (9pt). Sebagai perbandingan, teks isi biasa (selain header) adalah 18px. Memang terlalu kecil dan tidak menonjol, tetapi bukan sampai benar-benar tak terlihat.
Beberapa minggu lalu, pemilik usaha kecil di sekitar saya menemukan bahwa AI Google keliru memberi tahu pengguna bahwa perusahaannya adalah bisnis penipuan, hanya karena tercampur dengan informasi perusahaan lain yang namanya mirip dan sama sekali tidak terkait. Sekarang malah layanan inti kami jadi memastikan AI tidak merusak reputasi pelanggan.
Soal "Jawaban AI dapat mengandung kesalahan", saya justru pikir akan lebih baik kalau orang-orang makin terlatih memfilter ringkasan AI secara otomatis, seperti mereka mengabaikan iklan.
https://news.ycombinator.com/item?id=44142113
Kecuali hukum mulai turun tangan dan membuat contoh nyata, cepat atau lambat AI akan menyebabkan bencana besar yang sungguhan.
Saya bertanya atas dasar apa hukum harus turun tangan. Biasanya hal yang salah itu sendiri tidak dihukum. Pencemaran nama baik biasanya harus ada unsur kesengajaan, sedangkan dalam kasus ini jelas tidak disengaja. Kebanyakan AI juga sudah memuat peringatan tentang kesalahan dan halusinasi. Di beberapa negara seperti Prancis, pihak yang bersangkutan punya hak untuk meminta koreksi, dan dari artikelnya tampaknya Gemini sudah menyadari kesalahan ini lalu memperbaikinya. Jika halusinasi AI dijadikan ilegal, LLM itu sendiri bisa menjadi ilegal. Sebagai gantinya, mewajibkan mekanisme pelaporan misinformasi dan fitur filter tampaknya memungkinkan secara teknis.
Saya ingin bertanya balik apa tepatnya yang dimaksud dengan "membuat contoh nyata". Saya juga setuju soal perlunya pembersihan polusi AI, tetapi saya menolak masyarakat yang berpusat pada gugatan hukum. Menurut saya langkah hukum secara praktis juga bisa cepat disalahgunakan.
Dilihat dari sudut pandang teknis, ada riset yang menunjukkan bagaimana ringkasan bisa salah fungsi karena hasil Google berbasis snippet pendek.
Google harus mendukung AI summary hingga 200 ribu~500 ribu query/detik. Menggunakan model yang cukup bagus untuk mencegah halusinasi akan terlalu mahal, jadi akhirnya mereka memakai model yang cepat, murah, dan berkinerja lebih rendah. Menyediakan ringkasan juga menurunkan click-through rate iklan. Jika semua faktor ini dipertimbangkan, saya rasa keputusan Google mengadopsi metode ringkasan ini adalah keputusan yang sangat buruk.
https://maxirwin.com/articles/interleaving-rag/