Halusinasi Abadi pada LLM, Realitas yang Harus Kita Terima

LLMs Will Always Hallucinate, and We Need to Live With This

Pendahuluan

• Seiring model bahasa besar (LLM) digunakan secara luas di berbagai bidang, penting untuk meninjau secara kritis keterbatasan bawaan mereka
• Studi ini berargumen bahwa halusinasi pada model bahasa bukan sekadar kesalahan, melainkan karakteristik yang tak terelakkan dari sistem semacam ini

Hakikat halusinasi

• Halusinasi berasal dari struktur matematis dan logis yang mendasar pada LLM
• Mustahil menghilangkannya melalui perbaikan arsitektur, peningkatan dataset, atau mekanisme pemeriksaan fakta
• Berdasarkan teori komputasi dan teorema ketidaklengkapan pertama Gödel, studi ini merujuk pada ketaktertentuan masalah seperti halting problem, blank problem, dan acceptance problem

Halusinasi di setiap tahap proses LLM

• Ada kemungkinan halusinasi terjadi pada setiap tahap pengumpulan data pelatihan, pencarian fakta, klasifikasi niat, dan pembuatan teks
• Studi ini memperkenalkan konsep halusinasi struktural dan menetapkannya sebagai sifat intrinsik dari sistem semacam ini

Kesimpulan

• Dengan menetapkan kepastian matematis dari halusinasi, studi ini menantang gagasan yang ada bahwa hal tersebut dapat dimitigasi sepenuhnya

Ringkasan GN⁺

• Studi ini membuktikan secara matematis bahwa halusinasi pada LLM tidak dapat dihindari, sehingga tidak mungkin dihilangkan sepenuhnya
• Melalui teori komputasi dan teorema ketidaklengkapan Gödel, studi ini menjelaskan hakikat halusinasi
• Studi ini menunjukkan bahwa halusinasi dapat terjadi di setiap tahap LLM
• Studi ini menyiratkan bahwa memahami keterbatasan LLM dan menerimanya adalah hal yang penting

[GN⁺]

Komentar Hacker News

• Dengan membuktikan halusinasi melalui kepastian matematis, ini menantang gagasan lama bahwa halusinasi bisa diselesaikan sepenuhnya

  • Karena istilah "halusinasi" memberi kesan bahwa ada masalah pada fungsi normal model, seandainya dipilih istilah lain maka kesalahpahaman bisa dihindari
  • Halusinasi bukan malfungsi model, melainkan penilaian nilai bahwa teks yang dihasilkan tidak sesuai dengan tujuan
  • Mengurangi halusinasi dan menciptakan "alignment" adalah masalah yang sama

• Halusinasi adalah hasil dari model yang mengatakan jawaban pertama yang tampak mungkin untuk sebuah pertanyaan

  • Manusia umumnya punya pengalaman pernah menjawab sebagian besar pertanyaan sebelumnya, dan mengingat kesalahan sehingga tidak mengulanginya
  • Manusia berpikir sebelum berbicara, lalu mengaitkan respons awal dengan pengetahuan lain
  • Tidak seharusnya berharap LLM langsung menghasilkan jawaban yang benar
  • Proses berpikir manusia memiliki beragam peran dan persona
  • Hanya setelah jawaban "draf" awal terbentuk, konteks tambahan dihasilkan
  • Menilai kecerdasan berdasarkan "respons intuitif" pertama LLM adalah penilaian yang keliru

• Arsitektur saat ini secara mendasar memiliki "halusinasi" yang melekat sehingga membatasi penggunaan praktisnya

  • Artikel ini menunjukkan batas mustahil dari kondisi "tidak berhalusinasi"
  • Ini menegaskan kembali batas mendasar sistem formal dan komputasi mekanis
  • Batas ini juga berlaku pada manusia

• Halusinasi pada LLM berkaitan dengan cara pengetahuan direpresentasikan

  • Bahkan saat model berhalusinasi, ia tetap menghasilkan teks yang masuk akal sesuai pelatihannya
  • Model bergantung pada pola umum dalam data pelatihan, yakni tata bahasa dan pilihan kata
  • Dengan perubahan arsitektur yang tepat, masalah halusinasi mungkin bisa diselesaikan
  • Namun, belum diketahui apakah perubahan seperti itu dapat selaras dengan pelatihan model yang efisien

• Data pelatihan yang tidak lengkap tidak layak diukur

  • Data yang tidak lengkap adalah hakikat dari pembelajaran
  • Jika ada data lengkap, machine learning tidak diperlukan; cukup buat fungsi yang memetakan input ke output
  • Machine learning adalah mengisi celah berdasarkan prediksi
  • Hal yang sama berlaku untuk kecerdasan dan pembelajaran manusia
  • LLM akan selalu berhalusinasi, tetapi manusia juga selalu berhalusinasi
  • Masalah yang sesungguhnya adalah membuat LLM berhalusinasi seperti manusia

• LLM akan menjadi seperti 'expert system'

  • Disarankan agar tidak membatasi diri sebagai pakar AI saja

• Untuk bekerja secara efektif dengan LLM, pada dasarnya diperlukan kemampuan menggunakan teknologi yang tidak dapat sepenuhnya dipercaya dan bersifat nondeterministik

  • Banyak orang merasa sulit mengatasi hambatan ini

• Sekarang saatnya gelembung ini pecah

• Kita tidak perlu "menerima" LLM

  • Kita bisa memilih untuk tidak menggunakannya, mengabaikannya, atau menentang penyebaran dan penerimaannya

• Makalah ini ditulis dengan buruk, dan kecil keyakinan bahwa teori matematis yang bermakna benar-benar telah dikembangkan

  • Contoh: 10 halaman pertama tidak bermakna