- Google AI Overview menampilkan informasi yang tidak akurat bahwa 'Dave Barry' telah meninggal
- Padahal Dave Barry sebenarnya masih hidup, tetapi AI berulang kali mencerminkan informasi yang salah
- Pengguna telah beberapa kali mengirimkan umpan balik, tetapi melalui proses obrolan dengan AI dan perbaikan masalah, tidak tercapai solusi yang memuaskan
- AI mencampuradukkan informasi tentang orang sungguhan dengan orang lain atau berulang kali menghasilkan kesalahan
- Kasus ini menunjukkan bahwa AI masih memiliki keterbatasan untuk pekerjaan yang berbasis pada fakta
Pendahuluan
- Dave Barry mengetahui kematiannya melalui 'Google'
- Saat mencari namanya sendiri ("Dave Barry") di Google, muncul fitur ringkasan bernama Google AI Overview
- Fitur ini menggunakan kecerdasan buatan untuk merangkum hasil pencarian, dan belakangan ini menjadi layanan yang menarik perhatian banyak pengguna
Konfirmasi informasi kematian yang salah
- Di Google AI Overview terdapat informasi dasar tentang Dave Barry bersama daftar pertanyaan "People also ask"
- Salah satu pertanyaan tersebut memuat isi bahwa Dave Barry telah meninggal, padahal itu tidak benar
- Dave Barry yakin bahwa dirinya masih hidup, termasuk berdasarkan diagnosis dari beberapa tenaga medis
Proses penanganan umpan balik oleh Google AI
- Dave Barry mengirimkan umpan balik terkait informasi yang salah di Google AI Overview
- Mengingat Google adalah sistem otomatis, ia memang tidak berharap tindakan akan dilakukan dengan cepat
- Namun setelah umpan balik dikirim, bagian pertanyaan memang diperbaiki, tetapi penjelasan yang akurat justru hilang dan digantikan oleh informasi yang lebih tidak akurat (isi tentang Dave Barry yang lain)
Masalah komunikasi dengan AI
- Dave Barry memulai umpan balik tambahan untuk kembali menunjukkan bahwa AI salah memahami kondisinya
- Dalam proses ini, percakapan dengan chatbot AI tidak berjalan dengan baik, dan AI gagal memahami maknanya dengan benar
- Meski sudah dijelaskan berulang kali, AI tidak menyadari masalahnya, dan percakapan berjalan seolah-olah sedang berkomunikasi dengan mesin
Kesalahan berulang dan solusi sementara
- Setelah pengiriman umpan balik tambahan, isi Overview kembali diperbaiki sehingga informasi kematian dihapus
- Namun, masih ada kesalahan di bagian lain (informasi penerbitan buku, riwayat aktivitas kolom, dan sebagainya)
- Setelah itu pun Overview kembali berubah menjadi status meninggal, menunjukkan bahwa akurasi informasi berubah-ubah secara tidak stabil dan berulang
- Saat terakhir diperiksa, ada penjelasan bahwa "terdapat kebingungan", dan Dave Barry kembali ditampilkan sebagai masih hidup
Kesimpulan dan pelajaran
- Dari pengalaman ini, dapat dipahami bahwa AI adalah alat yang sangat kuat, tetapi sulit dipercaya untuk pekerjaan yang memerlukan verifikasi fakta yang akurat
- Untuk saat ini, AI lebih cocok untuk tugas dengan kebutuhan keandalan rendah (misalnya menulis surat rekomendasi, draf kebijakan, dan sebagainya), serta tidak cocok untuk bidang yang menuntut presisi tinggi (misalnya pengoperasian pesawat)
- Pada akhirnya, hal ini menunjukkan keterbatasan AI dan perlunya kehati-hatian saat menggunakannya di masa mendatang
Jajak pendapat
- Kepada para pembaca diajukan survei: "Apakah Anda berpikir bahwa AI di masa depan akan menjadi keberadaan yang bermanfaat bagi umat manusia?"
- Artikel ditutup dengan tambahan lelucon ringan
1 komentar
Opini Hacker News
Toko yang populer di lingkungan kami diringkas di Google Maps seperti ini
Katanya ini bar yang ramai tempat menikmati minuman dan sandwich po' boy, serta ada jukebox, meja biliar, dan dart elektronik, tetapi kenyataannya tidak ada po' boy, tidak ada jukebox (meski playlist-nya bagus), dan juga tidak ada meja biliar maupun dart elektronik. Minumannya pun hanya sebatas bir dan beberapa produk kalengan, tanpa koktail atau mixed drink
Sebulan lalu seseorang datang untuk main biliar atau dart lalu kecewa karena tidak ada, dan meninggalkan ulasan kritik bintang 1
Jelas pemilik toko juga sudah melaporkannya, saya juga sudah melaporkannya, dan saya kira pengunjung lain pun sudah melaporkannya
Namun sebulan berlalu, informasi yang salah itu masih tetap ada
Solusi paling sederhana adalah benar-benar menjual po' boy, lalu menghadirkan jukebox/meja biliar/dart elektronik
Rasanya akan sangat bagus kalau Google punya opsi global untuk mematikan hal-hal semacam “saya sama sekali tidak ingin melihat konten yang jelas-jelas buatan AI”
Mungkin itu terlalu muluk
Karena informasi tidak akurat seperti ini, orang sungguhan benar-benar membuat keputusan (seperti mengunjungi toko), lalu bahkan sampai menulis ulasan yang keliru
Saya penasaran apakah dalam kasus seperti ini bisa diajukan gugatan ganti rugi
Atau sebaiknya cukup menurunkan informasinya dari Google saja
Belakangan ini di forum mobil, grup Facebook, dan tempat online lain, tiap kali orang mencoba membantu, mereka menunjukkan “screenshot yang dilihat di Google”, dan itu jelas ringkasan AI
Misalnya ada penjelasan detail bahwa fitur X itu ada, padahal fitur seperti itu sama sekali tidak pernah ada
Ini terus terjadi
Terutama jadi masalah besar di komunitas online terkait mobil
Menurut saya ini bukan sekadar masalah ringkasan AI, melainkan masalah struktural Google
Google sering menampilkan informasi yang tidak akurat, dan biasanya hampir tidak ada cara untuk memperbaikinya
Formulir umpan balik dan semacamnya sebagian besar diabaikan
Saya sudah bertahun-tahun berjuang membetulkan informasi salah yang sama di Google Maps, dan kebanyakan orang percaya Google Maps adalah kebenaran itu sendiri
Bahkan saya tidak yakin apakah informasi yang berubah itu benar karena umpan balik saya
Google menyalurkan informasi seperti menyemprotkan air dari selang pemadam kebakaran (feed)
Google terlalu besar sehingga tampaknya tidak terlalu peduli pada ketidaksesuaian seperti ini, atau mungkin tidak peduli karena hal seperti ini tidak memengaruhi model bisnisnya
Ini benar-benar masalah ringkasan AI
Awalnya struktur Google adalah menaruh hasil pencarian yang paling relevan dengan kueri pengguna di paling atas, lalu pengguna mengklik dan memeriksa sendiri apakah isinya benar
Sekarang ringkasan AI selalu muncul di paling atas, dan LLM itu sangat cepat tetapi bodoh, pada level yang cukup murah untuk dijalankan di setiap halaman web
Ini jelas keputusan produk, dan keputusan yang sangat salah
Misalnya jika mencari "Suicide Squad", hasilnya bisa seperti ini
Dalam kasus ini, informasi yang tidak akurat muncul karena ringkasan AI mencampur informasi dari dua orang yang berbeda
Kalau ini pencarian biasa, masing-masing halaman web akan membahas satu orang saja
Jadi justru ini masalah yang hanya muncul pada ringkasan AI
Google khususnya tidak punya banyak insentif untuk memprioritaskan akurasi di level pengguna individual
Karena volume kontennya sangat besar, mudah juga bagi mereka menjadikan “skala” sebagai alasan untuk mengabaikannya
Kalau ada informasi yang salah, sebenarnya ada solusi
Yaitu mengangkatnya ke halaman utama Hacker News (HN)
Dulu alasan terbesar saya tidak puas dengan Google cuma hal sederhana seperti dokumentasi Java (mencari nama class) versi 1.4 muncul lebih tinggi daripada dokumentasi versi 6
Saya penasaran apakah kasus “AI menulis Dave Barry meninggal pada 2016” ini nantinya akan mengubah ringkasan saat tulisan-tulisannya terus diindeks
Bisa saja muncul ringkasan AI seperti “Dave Barry meninggal pada 2016, tetapi dia masih menyangkal fakta itu sampai sekarang”
Ringkasan AI yang saya terima langsung sekarang seperti ini
Bahkan rasanya AI juga bisa menulis sesuatu seperti “Dave Barry diketahui meninggal pada 2016, tetapi kontroversi muncul setelah terungkap bahwa ia ternyata masih hidup”
Saya rasa ada sisi bahwa kesalahan seperti ini memang wajar terjadi karena masalah keunikan nama orang
Salah satu caranya mungkin selalu menampilkan pertanyaan dasar seperti “Tokoh lain dengan nama yang sama itu siapa saja?” saat nama dimasukkan
Ini memang tidak akan menyelesaikan masalah tercampurnya informasi beberapa orang, tetapi saya rasa sebagian besar masalah muncul karena nama yang sama dengan tokoh terkenal
Google tampaknya memang memakai knowledge graph sampai taraf tertentu, tetapi saya penasaran seberapa banyak LLM merujuk ke graph itu
Mungkin ia merujuk ke graph dan juga hasil pencarian Google biasa, lalu LLM-nya (mungkin model sederhana seperti Gemini Flash Lite) gagal membedakan tokoh terkenal dari knowledge graph dengan informasi di hasil pencarian, lalu mencampurnya
Ini terutama terjadi karena ada orang-orang dengan nama sama dan tingkat ketenaran berbeda di berbagai bidang
Saya juga menyadari saat membuat aplikasi knowledge graph pribadi bahwa memakai ID entitas hanya berdasarkan nama (nama keluarga, nama depan) suatu saat bisa menimbulkan masalah
Dalam kasus saya, ini akan dipakai untuk mengatur informasi pribadi, jadi mungkin masih cukup aman, tetapi bahkan dalam analisis email sudah muncul masalah bahwa berbagai nama panggilan saya tidak dikenali dengan baik sebagai orang yang sama
“Kebingungan” seperti ini pada akhirnya berasal dari mesin yang tidak memahami bahwa nama manusia itu tidak unik (bukan singleton)
Sebagai bagian dari gerakan sosial, saya berencana menamai semua anak saya Google (termasuk anak-anak yang sebenarnya sudah punya nama)
Dave Barry memang yang terbaik
Ini masalah klasik yang sudah sering terjadi di Google bahkan sebelum era AI
Saya pesimistis ini akan berubah, tetapi saya tetap tidak mau kehilangan harapan
Dan fosil trilobite itu sangat lucu
Saya bahkan punya fosil sungguhan di atas meja, dan seorang teman sampai memakaikan kacamata padanya
Alasannya, di mata teman saya, saya sudah seperti ‘om setingkat dinosaurus’, tetapi trilobite malah makhluk yang lebih tua lagi
https://www.trilobites.info/
Baru-baru ini saya melihat kasus band bernama Dutch Interior yang difitnah secara palsu tanpa dasar sama sekali oleh Meta AI
AI itu mengarang bahwa band tersebut terkait dengan supremasi kulit putih dan ekstremis sayap kanan
https://youtube.com/shorts/eT96FbU_a9E?si=johS04spdVBYqyg3
https://www.politico.eu/article/dutch-scandal-serves-as-a-warning-for-europe-over-risks-of-using-algorithms/
Pada 2019, otoritas pajak Belanda membuat profil risiko dengan AI pembelajar mandiri untuk mendeteksi penipuan tunjangan pengasuhan anak, dan ini mengakibatkan banyak keluarga tercerai-berai, anak masuk pengasuhan, kebangkrutan, bahkan bunuh diri
Pada 2021, otoritas perlindungan data Belanda bahkan menjatuhkan denda 2,75 juta euro kepada otoritas pajak
Pemerintah mendenda dirinya sendiri, benar-benar langkah yang “hebat”
Situasi absurd seperti ini sangat cemerlang
Mirip dengan teks “Saya adalah penulis fiksi ilmiah Greg Egan, dan tidak ada foto saya di internet” serta fenomena bahwa teks itu justru tersebar sia-sia di internet
https://www.gregegan.net/images/GregEgan.htm
Saya rasa sebagian ringkasan tentang Dave Barry sebenarnya tidak salah karena memang ada Dave Barry lain yang sudah meninggal (orang lain dengan nama sama yang benar-benar meninggal pada periode itu)
Saya penasaran kenapa Dave Barry yang ini harus punya klaim representasi lebih besar untuk menjawab pertanyaan “apa yang terjadi padanya?”
Padahal sebenarnya tidak terjadi apa-apa pada dirinya, tetapi pada orang lain yang namanya sama memang benar terjadi sesuatu (meninggal)
Jika informasi itu bercampur di antara info atau tautan tentang Bostonian Dave Batty, konteksnya menjadi tersusun dengan jelas
Jadi dalam konteks ini, informasinya memang salah
Hanya dari kalimat seperti “Dave Barry, penulis humor dan pemenang Pulitzer, meninggal pada 20 November tahun lalu...” atau “Dave Barry (Bostonian)... meninggal pada 20 November...”, sudah jelas informasi itu tentang siapa
Bahkan bila konteksnya berada di luar kalimat (embedding context), dalam ungkapan seperti ini identitas subjek tetap memainkan peran penting
Faktanya, kalau nama itu dicari di Google, ringkasannya diletakkan di paling atas dengan struktur yang merujuk pada Dave Barry (penulis)
Sebagai catatan, ketika saya mencobanya, Google menandai Dave Barry masih hidup, tetapi sumbernya adalah artikel Wikipedia tentang Dave Berry (musisi)
Versi seperti ini (yang memuat info kematian orang dengan nama sama) juga bisa saja ditampilkan bergantian dengan ringkasan AI lainnya
Solusi terbaik adalah melakukan disambiguasi per tokoh dengan jelas seperti Wikipedia
Saya jadi bertanya-tanya jangan-jangan Dave Barry yang satunya juga sebenarnya masih hidup
Di bagian “Apa yang terjadi pada Dave Barry?”, informasi tentang Dave Barry sang aktivis dimasukkan ke subbagian Dave Barry sang komedian
Orang biasa tentu akan membacanya dalam konteks komedian
Karena itu Dave Barry yang ini (penulis humor) punya dasar untuk mengatakan bahwa pertanyaan itu ditujukan kepadanya
Ini seperti jika di tengah-tengah halaman Wikipedia Dave Barry (komedian), tiba-tiba muncul kabar kematian Dave Barry lain tanpa konteks apa pun