Halusinasi Abadi pada LLM, Realitas yang Harus Kita Terima

• Halusinasi pada LLM bukanlah kesalahan dalam beberapa situasi, melainkan karakteristik yang esensial dari sistem, sehingga semakin luas cakupan pemanfaatannya, semakin perlu penilaian yang berangkat dari keterbatasan ini
• Karena halusinasi berasal dari struktur matematis dan logis, sulit dihilangkan sepenuhnya hanya dengan perbaikan arsitektur, dataset, atau fact-checking
• Analisis ini didasarkan pada teori komputasi dan Teorema Ketidaklengkapan Pertama Gödel, dengan merujuk pada masalah yang tak dapat diputuskan seperti Halting Problem, Emptiness Problem, dan Acceptance Problem
• Pada tiap tahap seperti penyusunan data pelatihan, pencarian fakta, klasifikasi niat, dan pembuatan teks, masih ada probabilitas non-nol yang dapat memunculkan halusinasi
• “Structural Hallucinations” memandang halusinasi sebagai sifat struktural yang melekat di dalam LLM, dan menantang anggapan bahwa mitigasi penuh itu mungkin dilakukan

---

Batasan struktural halusinasi LLM

• Semakin luas LLM digunakan di berbagai domain, semakin penting untuk mengkaji secara kritis batasan yang melekat pada model
• Halusinasi bukan sekadar error insidental, tetapi lebih dekat pada ciri yang tak terhindarkan dari sistem LLM
• Dari sudut pandang ini, halusinasi tidak bisa dihapus hanya dengan model yang lebih baik, dataset yang lebih besar, atau alat verifikasi eksternal

Mengapa sulit dihilangkan sepenuhnya

• Halusinasi muncul dari struktur matematis dan logis LLM
• Sulit untuk menghapus halusinasi sepenuhnya hanya dengan peningkatan arsitektur, perbaikan dataset, atau mekanisme fact-checking
• Analisis menggunakan teori komputasi dan Teorema Ketidaklengkapan Pertama Gödel
  • Masalah tak dapat diputuskan yang terkait antara lain Halting Problem, Emptiness Problem, dan Acceptance Problem

Kemungkinan halusinasi yang tersisa di setiap tahap pemrosesan

• Di semua tahap proses LLM, ada probabilitas non-nol untuk menghasilkan halusinasi
  • Penyusunan data pelatihan
  • Pencarian fakta
  • Klasifikasi niat
  • Pembuatan teks
• Meski satu tahap tertentu diperkuat, kemungkinan halusinasi di seluruh sistem tidak serta-merta hilang

Structural Hallucinations

• “Structural Hallucinations” adalah konsep yang memandang halusinasi sebagai sifat yang melekat pada sistem LLM
• Konsep ini menekankan keniscayaan matematis dari halusinasi, dan berbenturan dengan gagasan lama bahwa halusinasi dapat dimitigasi sepenuhnya
• Secara praktis, halusinasi pada LLM sebaiknya diperlakukan bukan sebagai target untuk dihapus total, melainkan sebagai kendala yang selalu ada

[GN⁺]

Pendapat di Hacker News

• Sepertinya kesalahpahaman bisa dihindari jika konsep “menciptakan informasi palsu selama pembuatan teks probabilistik” tidak diberi nama hallucination
  Kata ini terdengar seolah ada sesuatu yang salah dalam operasi normal model, padahal operasi normal model sebenarnya adalah membuat teks yang tampak masuk akal
  “Halusinasi” bukanlah kerusakan model, melainkan penilaian nilai yang kita sematkan pada teks hasilnya, dan hanya berarti teks itu tidak sesuai dengan tujuan
  Dari sudut pandang ini, mitigasi halusinasi dan alignment pada dasarnya adalah masalah yang sama, jadi sulit menyelesaikan salah satunya secara terpisah

  • Benar. Itu penilaian nilai setelah fakta, bukan istilah yang presisi
    Jika melihat arti kata “halusinasi” apa adanya, model selalu berhalusinasi, dan ketika kebetulan menghasilkan konten yang secara objektif benar, kita hanya tidak menyebutnya halusinasi
    Jika makalah itu merapikan masalah definisi ini dengan berguna, itu bisa menjadi kontribusi yang baik
  • Saya tidak tahu bagaimana istilah ini pertama kali digunakan, tetapi bagian yang tidak akurat justru tampak menguntungkan pihak yang ingin melebih-lebihkan kemampuan LLM
    Ini bisa membuat masalahnya terlihat seperti “bug” sementara, bukan keterbatasan mendasar dari teknologinya sendiri, sehingga mengaburkan sifat sebenarnya bagi investor dan pembeli
  • Kalau fenomena ini disebut saja makin' stuff up, nuansanya akan sangat berbeda
    Manusia juga terus-menerus mengarang, dan mengarang hal-hal yang jauh lebih absurd daripada AI, jadi kita juga harus bertanya apakah manusia benar-benar cerdas /tidak sepenuhnya bercanda
  • Saya beberapa kali melihat istilah confabulation, dan menurut saya itu lebih baik mencerminkan apa yang terjadi pada LLM
  • Seluruh bidang AI/machine learning membuat istilah dengan bertumpu pada antropomorfisme, lalu istilah itu diperkuat menjadi narasi

• Menurut saya halusinasi lebih mirip hasil dari langsung mengucapkan jawaban pertama yang mungkin muncul ketika diberi pertanyaan
  Manusia biasanya tidak melakukan itu. Kita punya ingatan pernah salah menjawab pertanyaan serupa sebelumnya, dan sebelum berbicara kita mencocokkannya dengan pengetahuan lain secara internal lewat pemeriksaan akal sehat
  Jadi, alih-alih berharap LLM langsung membuat jawaban benar, kita perlu memberinya ruang untuk berefleksi
  Pemikiran manusia juga sering menghasilkan jawaban lewat diskusi internal dan kompromi antara berbagai peran dan persona, dan baru setelah “draf” awal muncul kita bisa membayangkan konteks tambahan seperti akibat dari mengucapkan jawaban itu
  Karena itu, menilai kecerdasan LLM hanya dari “reaksi naluriah” pertamanya terhadap prompt bisa jadi pendekatan yang keliru

  • Jika manusia ditanya sesuatu yang tidak ia ketahui, pikiran pertamanya bukan jawaban karangan, melainkan tidak tahu
    Mengarang cerita justru membutuhkan usaha, dan tanpa latihan biasanya orang tidak pandai melakukannya. Ada orang yang melakukannya secara alami, tetapi biasanya dianggap sebagai gangguan
    LLM tidak punya konsep “tidak tahu”; ia hanya menulis apa yang paling cocok dengan data pelatihan. Karena “tidak tahu” tidak banyak ada di data pelatihan, itu juga bukan jawaban yang alami
    Saya pernah menanyakan daftar bar di sebuah kota kecil, dan model itu mengarang semuanya dengan meyakinkan, termasuk nama, alamat, dan nomor telepon. Jika manusia biasa yang tidak terlalu mengenal kota itu dipaksa memberi jawaban yang meyakinkan tanpa boleh berkata “tidak tahu”, pada akhirnya ia mungkin bisa membuat jawaban, tetapi itu jelas bukan pikiran pertamanya
  • Tidak ada alasan untuk membandingkan LLM dengan pikiran manusia, dan menurut saya perbandingan semacam itu lebih mirip kebiasaan buruk untuk mengantropomorfisasi apa pun
    LLM tidak punya intuisi dan tidak mengalami waktu. Ia bukan anak tegang yang menebak sembarang jawaban karena waktu ujian hampir habis, melainkan produk pengembangan perangkat lunak yang meninggalkan tradisi lebih dari setengah abad untuk membuat komputer menghasilkan jawaban yang benar, lalu mengejar vibe
  • Tidak ada kecerdasan yang bisa dinilai. Ia tidak cerdas, dan di dalamnya juga tidak ada logika atau perenungan
  • Sepertinya karena kamu belum pernah bertanya apa pun kepadaku. Terutama kalau saya ditanya pertanyaan teknis sambil minum kopi, andai dapat 1 sen untuk setiap jawaban salah, saya sudah jadi jutawan
  • Otak manusia tampaknya mengikat pikiran dengan realitas yang diamati melalui suatu cara
    Bagian yang menangani indra dan penalaran berinteraksi dengan bagian yang menangani memori, dan berbagai jenis memori saling bernegosiasi. Ingatan yang masuk akal kadang menjadi lebih kuat daripada sesuatu yang sekadar kebetulan dilihat
    LLM tampaknya tidak melakukan hal-hal ini, dan secara desain lebih lemah daripada otak dalam mitigasi halusinasi
    Arah riset yang terinspirasi otak mungkin adalah melihat bagian yang tampak abnormal pada orang yang mengalami halusinasi di otak dan model kerjanya, lalu menilai apakah itu bisa diterapkan pada LLM
    Gagasan menerapkan model struktur seperti hipokampus ke jaringan saraf juga sudah dikerjakan oleh beberapa peneliti

• Menurut saya struktur saat ini pada dasarnya penuh halusinasi, sehingga akan sangat membatasi penggunaan praktisnya, terutama kegunaan yang dibayangkan oleh ekspektasi yang dibesar-besarkan
  Namun tulisan ini menetapkan standar “tidak berhalusinasi” terlalu tinggi sampai mustahil
  Setelah mengulang kembali keterbatasan mendasar yang sudah dikenal dari sistem formal dan komputasi mekanis, ia menyajikan kesimpulan yang sudah jelas bahwa LLM juga berbagi keterbatasan itu
  Kecuali membawa dualisme atau hiperkomputasi kuantum spekulatif semacamnya, keterbatasan ini juga sangat banyak berlaku pada manusia

  • Sebaliknya, LLM yang halusinasinya dihilangkan hampir menjadi perangkat salin-tempel
    Sifat menarik LLM muncul dari kemampuannya mengarang sesuatu tetapi tetap membuatnya tampak masuk akal
  • C.S. Peirce adalah tokoh yang mengkarakterisasi penalaran abduktif dan juga cukup memengaruhi karya AI klasik John Sowa; ia memiliki sudut pandang yang menarik
    Ia memandang materi dan pikiran sama-sama nyata, tetapi tidak dualistik, dan di antara keduanya ada transisi yang mulus dan kontinu
    Namun apa pun hakikat pikiran dan materi, ada bukti meyakinkan bahwa manusia menciptakan makna pada simbol melalui proses yang disebut Peirce sebagai semiosis
    Kita belum memiliki semiotika yang memformalkan ini dengan benar, dan di wilayah ini ada banyak filsafat terapan matematis yang menarik, tetapi juga banyak omong kosong akademis
    Sampai kita berhasil melakukannya, sulit membuat automata yang menjalankan semiosis, dan untuk sementara masih ada perbedaan kualitatif antara kemampuan manusia dan LLM
  • Jujur saja, yang mengesankan adalah betapa tidak mampunya mereka
    Saya tidak bisa bilang sudah mencoba semua model, tetapi kebanyakan gagal dengan sangat cepat pada permintaan seperti “jelaskan proses ketika tiga entitas berinteraksi”
    Dua entitas biasanya masih bisa ditangani, tetapi akhirnya mereka berputar-putar mengatakan hal yang sama atau, pada banyak model, mulai mengulang seluruh paragraf; tiga entitas tampaknya benar-benar kewalahan
    LLM mungkin punya peran di bidang yang “membakar uang untuk membuat sesuatu yang kebanyakan salah, tetapi murah diverifikasi sehingga kalau ada ide bagus bisa dipungut”

• Mengukur data pelatihan yang tidak sempurna tampaknya tidak terlalu bermakna
  Bukankah belajar pada dasarnya memang berurusan dengan data yang tidak sempurna? Jika datanya sempurna, pembelajaran mesin tidak diperlukan; kita cukup membuat fungsi yang memetakan input ke output
  Pembelajaran mesin adalah pekerjaan mengisi celah lewat prediksi, dan pembelajaran pada umumnya juga demikian
  Jadi apa yang disasar teori ini juga berlaku pada kecerdasan dan pembelajaran manusia
  Kita bisa mengatakan LLM selalu berhalusinasi, tetapi manusia juga selalu berhalusinasi
  Masalah sebenarnya yang perlu dipecahkan adalah bagaimana membuat LLM berhalusinasi seperti manusia

  • Tafsir bahwa “pembelajaran mesin adalah mengisi celah lewat prediksi” tampaknya terlalu lunak terhadap pembelajaran mesin berbasis jaringan
    Pembelajaran mesin dirancang untuk memecahkan masalah, dan berbeda dari AI klasik yang menyusun algoritma secara langsung karena ia dapat menurunkan fungsi dari banyak data
    Namun “kecerdasan” ala pembelajaran mesin saat ini berbeda dari cara berpikir manusia. Manusia tidak membutuhkan jutaan contoh untuk mengenal kucing; cukup melihat dua atau tiga, lalu bisa terus mengidentifikasinya kemudian
    Bahkan setelah hanya melihat satu kucing hitam, manusia dapat mengenali kucing rumahan lain sebagai kucing, dan jika melihat anak-anak, kita tahu memang begitu kenyataannya
    Kecerdasan adalah kemampuan memunculkan solusi tanpa pengetahuan sebelumnya, dan semakin cerdas suatu makhluk, semakin sedikit data yang dibutuhkan. Semakin suatu sistem mendekati sistem yang lebih cerdas, seharusnya data yang diperlukan untuk menghasilkan efek bukan makin banyak, melainkan makin sedikit
  • Benar, tetapi perbedaannya besar tergantung apakah kita meminta model melakukan interpolasi atau ekstrapolasi
    Secara umum model jauh lebih baik pada yang pertama, dan mengalami masalah besar pada yang kedua

• Cara LLM berhalusinasi saat ini tampaknya sangat terkait dengan cara ia merepresentasikan pengetahuan
  Jika melihat fungsi biayanya, ada alasan mengapa itu disebut log likelihood. Tujuan sebenarnya bukan jawaban yang konsisten dengan konsep-konsep dari model realitas yang kukuh, melainkan membuat rangkaian token yang masuk akal dalam arti paling abstrak
  Saat model berhalusinasi pun, pada dasarnya ia cukup baik melakukan hal yang kita latihkan: ia secara implisit mundur ke pola yang lebih umum dalam data pelatihan, seperti tata bahasa dan pilihan kata sederhana, untuk membuat teks yang berprobabilitas tinggi
  Saya membayangkan dengan perubahan arsitektur yang tepat, masalah halusinasi bisa diselesaikan sepenuhnya atau hampir sepenuhnya
  Namun apakah kita bisa membuat model yang tetap dapat dilatih secara efisien sambil melakukan perubahan seperti itu tampaknya masih merupakan pertanyaan terbuka

  • Jika seseorang menemukan perubahan arsitektur seperti itu, hasilnya tidak akan lagi disebut LLM, dan makalah itu pun akan benar
  • Masalah ini tidak bisa diselesaikan sepenuhnya. Secara matematis ia tidak dapat diputuskan, dan sebenarnya hal itu bisa saja ditebak tanpa preprint ini
    Meski begitu, pertanyaan yang lebih baik adalah apakah kita bisa mendapatkan kinerja yang cukup baik

• Untuk menggunakan LLM secara efektif, pada dasarnya kita harus belajar memakai teknologi yang tidak dapat dipercaya dan nondeterministik
  Tampaknya banyak orang hampir tidak mampu melewati penghalang ini

  • Kejujuran dan akurasi membangun kepercayaan
    Ketika kita memercayai sesuatu, kebutuhan untuk membangun model mental tentang bagaimana sesuatu itu bisa menipu kita dan bagaimana harus meresponsnya berkurang, sehingga beban kognitif menurun
    Karena itu, setidaknya bagi saya LLM berguna tetapi sangat menegangkan
  • LLM pada dasarnya tidak nondeterministik. Misalnya, generasi dengan greedy sampling sangat sederhana

• Mungkin sekarang saatnya gelembung pecah

  • Sebelum itu, kita harus lebih dulu mencapai apa yang kita sebut “AGI”
    Bahkan sebelum itu, kita harus mendefinisikannya, tetapi secara realistis tidak ada yang tahu apa itu AGI. Jadi ia bisa menjadi apa saja
    Fakta bahwa Sam tidak percaya AGI telah tercapai bahkan setelah GPT-3.5, ChatGPT, GPT-4 multimodal, dan o1(Strawberry), tampaknya berarti AGI pada akhirnya adalah ketika mereka menangkap kreasi dan tenaga kerja miliaran orang, menghimpun ratusan miliar dolar, dan membuat para orang dalam menjadi kaya sementara semua orang ditempatkan dalam sistem berbasis UBI
    Halusinasi tampak seperti dalih untuk mengatakan AGI belum tercapai. Dengan begitu mereka bisa terus mengumpulkan lebih banyak uang untuk biaya energi pelatihan dan inferensi bagi model yang akan terus berhalusinasi
    Mereka baru akan menginginkan pecahnya gelembung yang membuat 95% startup AI lenyap setelah OpenAI menangkap seluruh nilai dan para orang dalam mencairkan keuntungan. OpenAI tetap menjadi pengecualian
  • LLM memperkuat kecerdasan sekaligus kebodohan
    Karena itu Terence Tao memandang LLM kira-kira setara mahasiswa pascasarjana biasa, dan terus membaik, sementara Anda hanya menunggu mati

• Kita tidak perlu “hidup berdampingan dengan ini”
  Cukup jangan menggunakannya, abaikan, dan menentang penyebaran serta penerimaannya. Saya akan terus melakukan itu

  • Secara teknis benar. Pada akhirnya Donald Knuth pun masih tidak menggunakan email
    Namun “kita” secara global hampir pasti tidak akan mengikuti permintaan itu
  • Ini adalah “anti-kemajuan”. Kita harus selalu mengejar kemajuan, sekalipun itu mengarah ke gerbang neraka runtuhnya realitas yang kita ciptakan sendiri. Saya ingin mengatakan: maju terus ke negeri ajaib
  • Saya ingin menggunakannya, dan banyak orang lain juga menggunakannya. Jika ingin tertinggal, itu pilihan Anda

• LLM akan mengikuti jalan sistem pakar
  Kelak kita mungkin akan heran mengapa dulu kita mengira itu mungkin
  Saya ingin menyarankan agar Anda tidak mengurung diri dalam identitas sempit sebagai pakar AI. Sebentar lagi di luar akan cukup dingin

• Tidak setuju — https://arxiv.org/abs/2406.17642
  Riset terkait membahas masalah penghentian dan masalah yang sulit dihitung
  Tentu saja LLM tidak bisa menjawab masalah yang sulit dihitung
  Saya juga tidak tahu mengapa jawaban “itu tidak dapat dihitung” untuk pertanyaan masalah penghentian harus disebut halusinasi