Jawaban AI Dapat Mengandung Kesalahan

• Ringkasan AI di Google Search mengarang spesifikasi yang tampak meyakinkan untuk IBM PS/2 Model 280 yang sebenarnya tidak ada, dan jawabannya terus berubah bahkan untuk kueri yang sama
• Jawaban keliru itu menggambarkan Model 280 sebagai sistem 286 berbasis ISA, sambil mencampuradukkan detail seperti rilis pada 1987, RAM 1MB, RAM 640KB, VGA, dan drive 1,44MB
• Sebagian jawaban menyebut sistem 286 dapat diperluas hingga RAM 128MB, tetapi batas arsitektural 286 adalah 16MB, sehingga kontradiksi juga terlihat di dalam jawaban itu sendiri
• Jika kueri yang sama diulang beberapa kali, kadang muncul juga jawaban yang benar, yaitu “Model 280 bukan model tertentu dalam seri PS/2”, tetapi porsinya hanya sekitar 10%
• Semakin banyak detail dalam ringkasan pencarian AI, semakin meyakinkan tampilannya bagi non-ahli, sehingga peringatan “AI responses may include mistakes” sulit dianggap sepele

---

Kasus PS/2 Model 280 yang Tidak Pernah Ada

• Untuk mencari sistem IBM PS/2 Server sekitar tahun 1992, nama model dimasukkan ke Google, tetapi mesin yang sebenarnya dicari adalah sistem yang memakai beberapa prosesor 486 dan Microchannel(MCA)
• Ringkasan AI pada hasil pencarian sejak awal memberikan jawaban yang meleset dari target
  • Menjelaskan PS/2 Model 280 seolah-olah sebagai sistem berbasis 286
  • Mendeskripsikannya seakan berbasis ISA, bukan Microchannel
• Saat kueri yang sama dijalankan lagi, hanya redaksi jawabannya yang berubah; Model 280 tetap dijelaskan sebagai sistem 286 berbasis ISA

Spesifikasi Palsu yang Berubah Setiap Kali Diulang

• Ringkasan AI memberikan spesifikasi yang berbeda-beda setiap kali kueri diulang
  • Satu jawaban menyebut Model 280 memiliki RAM 1MB dan dapat diperluas hingga 6MB
  • Jawaban lain menyebut RAM bawaan 640KB
  • Berulang kali dijelaskan seolah memiliki drive 1,44MB dan grafis VGA
• Dalam percobaan lain, Model 280 diperkenalkan sebagai sistem 286 yang dapat diperluas hingga RAM 128MB
  • 286 secara arsitektural memiliki batas 16MB, sehingga penjelasan ini secara teknis tidak benar
• Ringkasan AI juga menyebut Model 280 sebagai kemajuan penting dalam lini komputer pribadi IBM, dan bahwa model ini membantu menjadikan PS/2 sebagai platform yang populer dan andal

Kesalahan Inti: Model 280 Tidak Pernah Ada

• Masalah terbesarnya adalah model bernama PS/2 Model 280 itu sendiri tidak pernah ada
• Meski nomor model yang dimasukkan salah, Google AI membuat penjelasan yang pada pandangan pertama tampak masuk akal
• Jawaban seperti ini memiliki banyak detail dan kalimatnya alami, sehingga informasi yang tidak faktual pun dapat dengan mudah terlihat seperti informasi yang tepercaya

Jawaban Benar yang Hanya Sesekali Muncul

• Jika kueri yang sama diulang cukup sering, jawaban yang benar memang muncul
  • “Model 280 bukan model tertentu dalam seri PS/2”
  • Jawabannya bernada bahwa ada kesalahan dalam kueri itu sendiri
• Namun dalam kueri berulang, jawaban yang benar hanya muncul sekitar 10%, sementara pada sebagian besar percobaan AI mengarang isi jawabannya
• Jawaban halusinatif bukan hanya tidak berguna; jawaban yang salah juga bisa terlihat lebih “nyata” daripada jawaban yang benar

Saat Ringkasan Pencarian AI Menjadi Berbahaya

• Pakar mungkin dapat mengenali ketidakkonsistenan dalam jawaban dengan relatif cepat
  • Misalnya, dengan memeriksa List of IBM PS/2 Models di Wikipedia, dapat dipastikan bahwa Model 280 tidak ada
• Non-ahli memiliki kemungkinan besar terbantu oleh ringkasan pencarian AI, tetapi pada saat yang sama juga besar kemungkinan tertipu oleh jawaban yang salah
• Asisten riset yang memberikan jawaban berbeda setiap kali dan hanya sesekali benar sulit dipercaya
• Frasa Google “AI responses may include mistakes” bukan sekadar peringatan biasa; ringkasan yang dihasilkan AI dapat berupa informasi palsu sepenuhnya yang tidak terkait dengan kenyataan

[ndrgrd]

Menurut saya, sepertinya lebih baik meminta LLM hanya untuk merangkum. Proses menemukan sumber data dan memverifikasinya pasti diperlukan.

[GN⁺]

Pendapat di Hacker News

• Gemini di Google Search tidak peduli pada konteks maupun akurasi; ia mengarang bebas isi yang tampak mendukung kata kunci pencarian. Ini nyaris seperti confabulation penuh, dan kalau dicoba sendiri terasa absurd
  Kalau kita sudah tahu hasil yang dicari, ini bisa dipakai sebagai alat bantu ingat, tetapi kalau belum tahu, sama sekali sulit dipercaya
  Output Google Veo juga, kalau dilihat lebih saksama, penuh lubang serupa, dan sama sekali tidak tampak ada jejak penalaran yang terlibat dalam outputnya
  Kesalahan konyol Veo: https://arstechnica.com/ai/2025/05/ai-video-just-took-a-star...
  Contoh Tesla FSD bertingkah aneh: https://electrek.co/2025/05/23/tesla-full-self-driving-veers...

  • Ini lebih tidak saya pahami dibanding teknologi apa pun. Google sedang mengubah arah dengan mempertaruhkan bisnis intinya pada teknologi yang sangat cacat
    Seperti yang juga dikatakan Ben Evans, janji bahwa “ini akan membaik” ada batasnya, dan pada akhirnya hanyalah janji kosong
    Kemarin, ketika saya mencari acara peringatan yang diadakan di sebuah gedung pertunjukan di Berlin, AI Overview malah membuat satu album yang tidak pernah ada dari seorang musisi Italia yang sudah meninggal
    Pada dasarnya ia hanya mengambil nama gedung pertunjukan itu lalu mengklaimnya sebagai karya terpenting sang artis
    Lucunya, ketika jawaban itu saya tempelkan ke ChatGPT, ia mengkritik kesalahan AI Overview dengan pedas dan sinis sampai membuat saya tertawa
  • Apakah tiba-tiba kualitas seperti ini dianggap normal dan dapat diterima? Sepertinya tidak ada yang benar-benar mengeluh
    Dulu hal seperti ini tidak mungkin lolos, tetapi sekarang suasananya seolah kira-kira sudah cukup baik
    Saya tidak mengerti mengapa kita harus menerima hasil yang palsu atau tidak akurat
  • Saya memakai uBlock untuk menghapus respons Gemini dari hasil pencarian. Karena sekadar melihatnya sebentar saja bisa mencemari asumsi saya tentang hal yang sedang saya cari
    Kebersihan informasi memang sejak dulu penting, tetapi ke depan sepertinya akan benar-benar menjadi keterampilan yang wajib dimiliki
  • Saya ingin tahu sesuatu tentang mobil, jadi saya mencari di Google dengan format [tahun] [pabrikan] [model] [fitur]. Ini pencarian yang dulu mestinya bisa ditangani Google dengan sempurna, tetapi sekarang 90% halaman berisi sampah AI tentang model yang salah, tahun yang salah, bahkan pabrikan yang salah
    Memang ada satu video YouTube yang lumayan membantu, tetapi baru di bagian paling bawah halaman saya menemukan jawaban pencarian Google gaya lama di forum mobil yang sama sekali berbeda. Terima kasih CamaroZ28.com
  • Beberapa waktu lalu saya mencari petunjuk untuk ruang kasino di game Blue Prince, tetapi hasil AI Google malah menjelaskan panjang lebar game yang tersedia di Blue Prince Casino di dekat sana
    Saya tahu bahwa di sekitar tempat itu sebenarnya hanya ada penjara, Costco, beberapa rumah pedesaan, dan lahan kosong
    Mengejutkan melihat halaman pencarian bagian paling atas diisi sampah yang sepenuhnya palsu dan direkayasa
    Untuk topik seperti hukum ketenagakerjaan dan pencarian lain pun ia sering mengembalikan informasi buruk
    Ini akan lucu kalau saja orang-orang tidak benar-benar bergantung padanya

• Fenomena ini benar-benar membuat frustrasi. Saya memahami, atau setidaknya tahu, sifat probabilistik dan keterbatasan LLM, tetapi ketika saya menunjukkan bahwa istri atau teman-teman saya memakainya secara keliru untuk tugas yang tidak cocok bagi LLM dan tidak dapat diandalkan, mereka hanya menepisnya dan menganggap saya sinis terhadap AI
  Mereka masih menyuruh LLM melakukan perhitungan, misalnya membagi tagihan, dan juga memperlakukan hasil pencarian data faktual sebagai 100% tepercaya dan akurat

  • Ah, benar. Ini memakai solusi teknologi canggih untuk masalah berteknologi rendah. Mari gunakan mesin kata-kata untuk masalah angka!
  • Dalam penggunaan sehari-hari, hasilnya cukup sering “lumayan benar”, sehingga bagian sulitnya adalah orang-orang mulai membangun kebiasaan di sekitarnya
  • Memakainya untuk perhitungan sederhana itu cukup lucu. Entah apakah ia disuruh memakai Python atau tidak… saya hanya bisa berharap begitu
  • Menggunakan LLM atau platform secara umum agak mirip dengan merokok di ruang tertutup bersama orang lain. Itu jadi mengganggu orang lain
  • Saya sendiri tidak melakukannya, tetapi sejujurnya untuk sekadar membagi tagihan, rasanya umumnya tidak masalah. Saya kira chatbot utama sekarang sudah bisa melakukan hal semacam itu dengan benar
    Intinya, karena chatbot bisa mengerjakan beragam tugas, apakah ada alasan untuk berpindah konteks ke aplikasi yang sama sekali lain hanya demi hal seperti ini?
    Saya rasa hal seperti ini akan makin sering muncul di use case lain juga, dan pada akhirnya kemudahan penggunaan mengalahkan semuanya

• Kalimat penafian sederhana seperti “Respons AI dapat mengandung kesalahan” atau tulisan di bagian bawah ChatGPT seperti “ChatGPT bisa membuat kesalahan. Periksa informasi penting” kini jelas tidak memadai
  Faktanya, selama bertahun-tahun sudah terus ada berita tentang orang yang dirugikan oleh halusinasi LLM di bidang tertentu, tetapi orang-orang tetap saja tertipu; jadi selama penyedia belum bisa sepenuhnya memperbaiki halusinasi, mereka harus jauh lebih aktif mengedukasi pengguna tentang kemungkinan kesalahan
  Ini perlu, meskipun menambah friksi

  • Itu tidak terlalu masuk akal. Pilihannya adalah membebankan tanggung jawab hukum atas keluaran model kepada penyedia LLM, atau tetap mempertahankan model seperti sekarang
    Friksi sudah ada. Perusahaan AI dan penyedia cloud semuanya mengoperasikan “model yang disensor”, dan di setiap lapisan makin banyak penyensoran ditambahkan
    Apa yang dimaksud friksi yang lebih besar di sini? Menampilkan lebih banyak popup?
    Jika memilih yang pertama, itu pada dasarnya sama saja dengan mematikan bisnis hosting model
    Perusahaan mungkin masih bisa mengembangkan model untuk dipakai secara internal dan disediakan bagi karyawan, tetapi API publik akan hilang
    Antarperusahaan akan saling memakai atau melisensikan model lewat kontrak yang mengikat secara hukum, tetapi masyarakat umum tidak akan mendapat akses tanpa mekanisme untuk memitigasi risiko hukum
    Beberapa tahun kemudian, ketika sikap mulai melunak, sebagian perusahaan mungkin mulai mendorong batasnya. Misalnya dengan mengotomatiskan proses persetujuan legal atau membuka pendaftaran
  • Saya ingat dulu Apple Maps dihujat habis-habisan setiap kali memberi petunjuk jalan yang salah
    Ketika Google Maps membawa orang ke tempat yang salah seperti lingkungan yang mencurigakan pun itu jadi berita, dan mereka harus menangani krisis PR
    Sekarang cukup tempelkan satu kalimat penafian seperti itu, selesai
    Kelonggaran opini publik yang diterima teknologi-teknologi ini tidak seimbang dan mengecewakan
  • Soal perlunya mengedukasi pengguna secara lebih aktif tentang kemungkinan kesalahan, mungkin ini situasi di mana “mengalami sendiri adalah guru terbaik”
    Rasanya cukup sulit membuat kalimat penafian yang seefektif sekali terkena dampaknya langsung
  • Penyedia LLM tidak bisa melakukan itu. Karena premis dari boom ini sendiri adalah menggantikan kerja intelektual manusia
    Seperti CEO Anthropic yang baru-baru ini berbicara tentang pengangguran massal, mereka sudah berkali-kali berbicara dengan nada seperti itu
    Saya tidak tahu bagaimana penekanan pada kemungkinan kesalahan bisa berdampingan dengan janji menggantikan tenaga kerja manusia
  • Kalimat penafian seharusnya ada di bagian paling atas dengan huruf merah tebal

• Model bahasa tidak dirancang untuk mengetahui sesuatu, melainkan dirancang untuk mengatakan sesuatu. Karena itu disebut model bahasa, bukan model pengetahuan
  Jika diberi kata-kata yang sudah dihasilkan, model terus menambahkan kata berikutnya berdasarkan seberapa umum urutan tersebut
  Alasan jawabannya berbeda setiap kali adalah karena generator pseudorandom memengaruhi pemilihan kata berikutnya
  Model melihat distribusi probabilitas kata-kata berikutnya yang paling mungkin, dan jika nilai pengaturan bernama temperature adalah 0, tidak ada pengaruh acak sehingga kata berikutnya yang paling mungkin, yaitu top-1 MLE, selalu dipilih
  Di GUI, ini sebenarnya tidak bisa disetel ke 0, karena jika begitu keluarannya akan tergolong “sangat membosankan” bagi kita
  Jadi model tidak tahu apa pun tentang IBM, PS/2, 80286 dan 80486, CPU, 280, atau model tertentu itu sendiri
  Salah satu jawaban tampaknya menyiratkan bahwa model 280 tidak ada, dan saya penasaran apakah itu dihasilkan lewat proses lain, karena umpan balik pengguna dimasukkan melalui reinforcement learning, atau hanya hasil beruntung dari pemilihan kata berikutnya yang sama-sama acak

  • Tidak selalu begitu. Saya memakai model lokal dengan temperature 0 dan itu berfungsi dengan baik
    Menurut saya alasan UI cloud tidak mengizinkan temperature 0 adalah karena model kadang terjebak dalam pengulangan token tanpa akhir, dan jika publik melihatnya, rasa imersinya bisa rusak
  • Pernyataan ini benar. Namun alasan orang pergi ke Google bukan untuk “bercakap-cakap”, melainkan untuk mempelajari sesuatu yang, setidaknya di permukaan, berbasis pengetahuan
    Google tampak melakukan kesalahan dengan mengubah penyediaan pengetahuan menjadi penyediaan kata-kata
    Namun dari sudut pandang bisnis sebenarnya, yaitu pendapatan iklan, mungkin tidak ada bedanya

• Di situs Google Search, kalimat penafian lemah “Respons AI dapat mengandung kesalahan” ditampilkan dengan huruf kecil, dan bahkan disembunyikan di balik tombol Show more
  Ketika OpenAI merilis ChatGPT, saya harus menjelaskan kepada seorang profesor yang bukan berlatar belakang ilmu komputer bahwa ini bukan AI seperti yang orang bayangkan, melainkan untuk saat ini lebih mirip keisengan komputasional yang tampak seperti AI
  Namun ternyata keisengan ini sangat hebat untuk menyontek pekerjaan rumah
  Jika tidak terlalu peduli pada kualitas atau hak cipta, ia juga bagus dipakai sebagai trik curang untuk banyak jenis pekerjaan lain

  • Saya kurang memahami sudut pandang “keisengan yang tampak seperti AI”. Sekalipun disebut bukan “sesuatu yang bisa menulis kode” melainkan “sesuatu yang tampak bisa menulis kode”, jika ia benar-benar bisa menulis kode, pada akhirnya ia adalah sesuatu yang bisa menulis kode
    Berdebat soal apa yang terjadi di dalamnya dengan gaya “bukan Scotsman sejati” itu tidak ada gunanya
    Karena kita juga tidak tahu apa yang terjadi di dalam otak manusia
  • Ini adalah alat pencarian informasi/memori tertambah dengan antarmuka input-output yang fleksibel

• Gemini tampaknya disetel untuk menjawab pertanyaan yang biasanya diketik orang, tetapi kalau kita memasukkan kueri pencarian dengan cara yang lebih tradisional, yang keluar adalah omong kosong hasil rekayasa
  Saya melihat banyak orang mempercayai AI Overview seperti wahyu
  Menurut saya, beginilah cara orang “biasa” yang tidak memakai LLM secara langsung berinteraksi dengan AI
  Ini juga bukan soal perbedaan usia seperti dalam kepercayaan terhadap berita; kepercayaan pada keluaran AI tampaknya melintasi sebagian besar kelompok populasi
  Spesies manusia sepertinya menyukai jawaban komputer yang percaya diri tanpa dasar

  • Google berada dalam posisi yang sangat buruk dalam hal ini
    Selama lebih dari 10 tahun, posisi itu di halaman pencarian diisi UI “cuplikan dari halaman”, dan itu masuk akal
    Itu mengurangi satu klik, dan kalau kita memercayai situs asal serta cukup memercayai teknologi ekstraksi cuplikan Google, tidak banyak yang perlu diragukan
    Misalnya, ketika mencari pertanyaan medis sederhana dan muncul cuplikan dari Mayo Clinic, itu sudah cukup karena kita memercayai Mayo Clinic
    Kadang saya bahkan menyalin cuplikan Google lalu masuk ke halaman dan mencarinya dengan ctrl-f
    Google cukup baik dalam memilih sumber bereputasi, dan karena cuplikannya juga selalu bisa ditemukan di dalam halaman tanpa mendistorsi konteks, itu cukup untuk membangun kepercayaan
    Seiring waktu, kemampuan sistem itu memilih sumber tepercaya memburuk, mungkin karena diserang SEO
    Namun sekarang posisi itu digantikan oleh AI Overview
    Saya tidak menentang AI itu sendiri, tetapi AI secara fundamental berbeda dari “menampilkan cuplikan relevan yang bisa diverifikasi dari sumber tepercaya dalam hitungan milidetik”
  • Manajer saya adalah orang yang memakai LLM secara langsung, dan ia menggunakannya untuk mengonfirmasi asumsi sendiri dengan model terbaru
    Kalau pada percobaan pertama tidak terkonfirmasi, ia menyusun ulang pertanyaannya sampai mendapatkan jawaban yang diinginkan
  • Kita memang menyukai jawaban yang percaya diri tanpa dasar. Entah dari komputer atau bukan
  • Sudah cukup lama saya menyadari bahwa kini kita tidak bisa lagi memberi tahu orang tentang sesuatu lalu berharap mereka dapat mempelajarinya lewat pencarian web seperti dulu
    Karena semuanya telah menjadi ampas spam SEO yang tidak dapat dipercaya dan menyesatkan
    Membayangkan betapa jauh lebih buruknya ini ketika AI Overview masuk saja sudah membuat merinding
    Rasanya kita sedang memasuki era ketika orang mencari “bagaimana printer bekerja” lalu diberi tahu bahwa printer dibuat dari sistem katrol dan tali, dan mereka menelannya mentah-mentah
    Skala kesalahan yang saya lihat dari puluhan pencarian di bidang yang saya minati kira-kira sebesar itu, dan semua orang pasti juga pernah melihat tangkapan layar jawaban yang jauh lebih absurd atau terang-terangan berbahaya

• “Respons AI dapat mengandung kesalahan” adalah satu kalimat terpenting yang ingin saya teriakkan ke seluruh perdebatan soal AI
  Bersama dampak energi dan iklim, ini juga seharusnya menjadi masalah inti dalam diskusi etika AI atau keselamatan AI
  Jika hype ini terus berjalan tanpa terkendali, dua hal inilah yang akan paling merugikan kita

  • Masalahnya bukan bahwa kesalahan “bisa ada”, melainkan bahwa AI pasti membuat kesalahan
    Namun orang-orang tidak menyadarinya dan memperlakukannya seperti wahyu mahakuasa
    Pada akhirnya ini model statistik, jadi peluang seekor monyet menghasilkan karya Shakespeare pun bukan nol

• Jadi Google pada dasarnya sudah salah menangani pencarian. Mereka tampaknya tidak lagi peduli pada akurasi hasil, dan terutama hanya tertarik menyediakan jawaban cepat beserta sekumpulan tautan bersponsor di bawahnya

  • Masalahnya, dari 10 “jawaban cepat” itu, 6 keliru secara halus, 2 keliru secara serius, dan 1 terang-terangan berbahaya
    Saya juga pernah melihat tangkapan layar berisi hal-hal yang bisa membuat orang meninggal atau terseret masalah hukum
  • Ini melanjutkan gagasan Eric Schmidt bahwa “banyak hasil lebih baik daripada tidak ada hasil”
    Sekarang tampaknya sudah berevolusi menjadi “lebih baik membuat halusinasi daripada memberi jawaban negatif”

• AI itu seperti seseorang yang bisa mengatakan sesuatu tentang topik apa pun dengan rasa percaya diri luar biasa. Karena itu, saya tidak begitu tahu mengapa kita harus memercayainya lebih dari sekadar obrolan di bar

  • Menurut saya ini masalah psikologis. Kebanyakan orang memakai isyarat gestur visual untuk menilai apakah lawan bicara tidak yakin dengan jawabannya
    AI tidak memiliki sinyal yang menunjukkan kurangnya keyakinan, dan karena pengalaman bahwa algoritma tradisional selalu memberikan jawaban yang benar, orang-orang sangat memercayai keluaran mesin
    Persentase orang yang melihatnya secara kritis mungkin sangat kecil
  • Belum ada perusahaan “AI” mana pun yang cukup berani menamai produknya Cliff Clavin
    Memang butuh keberanian dalam beberapa arti. Ada juga risiko digugat John Ratzenberger
  • Benar-benar tidak tahu mengapa orang memercayainya? Mungkin karena perusahaan-perusahaan dengan misi seperti “mengorganisasi informasi dunia” mempromosikan ini sebagai AI, dan produk ini datang dari perusahaan yang telah menghabiskan puluhan tahun berusaha menyediakan informasi akurat untuk pertanyaan pengguna

• Beberapa hari lalu saya mengalami sesuatu dengan ChatGPT dan kode Python
  Saya ingin memodifikasi kelas logger Gunicorn untuk memfilter jalur URL tertentu
  Karena ini hot code path yang dijalankan pada setiap request, saya membuat 3 solusi dan mengatakan ingin melihat mana yang paling cepat
  Saya membandingkan list+loop yang memakai startswith, regex terkompilasi, dan startswith yang menerima tuple path
  ChatGPT membuatkan kode benchmark dan hasilnya, lalu mengatakan bahwa solusi regex adalah yang terbaik dan tercepat di pustaka standar Python
  Karena tidak percaya, saya menjalankan benchmark sendiri, dan ternyata versi tuple lebih dari 5 kali lebih cepat daripada regex
  Ketika saya mengatakan hasilnya berbeda, jawabannya hampir persis seperti “oh benar, terima kasih sudah mengoreksi. Versi tuple memang sebenarnya yang paling cepat!”
  Ia memang menghemat beberapa menit untuk menulis kode benchmark, tetapi untuk hal-hal yang tidak saya yakini 100%, saya hampir tidak memercayai keluarannya