Halusinasi LLM Tidak Terelakkan: Batasan Bawaan Model Bahasa Skala Besar

 (arxiv.org)
5 poin oleh GN⁺ 2024-02-26 | 1 komentar | Bagikan ke WhatsApp
  • Berbeda dari riset yang mengurangi halusinasi LLM secara empiris, makalah ini mendefinisikan halusinasi sebagai ketidaksesuaian antara fungsi jawaban benar yang dapat dikomputasi dan keluaran model, lalu menelaah secara formal kemungkinan penghapusannya secara total
  • Menurut argumen diagonalisasi, LLM yang dapat dikomputasi tidak dapat mempelajari semua fungsi yang dapat dikomputasi, dan ketika dipakai sebagai pemecah masalah umum, halusinasi tidak dapat dihindari
  • Pada LLM waktu polinomial yang realistis, ada masalah yang rentan terhadap halusinasi seperti daftar kombinatorial, Presburger arithmetic, Subset Sum, SAT, dan entailment logika proposisional; sebagian kesimpulannya bergantung pada asumsi P ≠ NP
  • Pembesaran model, ensemble, lebih banyak data pelatihan, serta prompt Chain-of-Thought dan verifikasi dapat mengurangi kesalahan, tetapi jika fungsi jawaban benar berada di luar kemampuan model, penghapusan total tidak mungkin dilakukan
  • Sulit untuk secara otomatis menerapkan LLM yang dilatih hanya dengan pasangan input-output pada pengambilan keputusan yang kritis bagi keselamatan; guardrail, basis pengetahuan, dan kendali manusia tetap diperlukan

Halusinasi LLM yang didefinisikan dalam dunia formal

  • Halusinasi LLM adalah masalah ketika model menghasilkan informasi yang tampak meyakinkan tetapi berbeda dari fakta atau tidak bermakna; seiring meningkatnya penerapan di riset, industri, dan masyarakat, kekhawatiran atas keselamatan dan etika juga makin besar
  • Riset mitigasi yang ada mencari penyebabnya pada tahap pengumpulan data, pelatihan, dan inferensi, serta berupaya mengurangi halusinasi melalui benchmark, metode berbasis pencarian, prompt penalaran, dan prompt verifikasi
  • Karena tidak mungkin menguji dengan mencacah semua input yang mungkin, pendekatan empiris saja sulit menjawab apakah halusinasi dapat dihapus sepenuhnya
  • Karena masalah mendefinisikan semantik dunia nyata secara formal masih terbuka, makalah ini menggunakan dunia formal yang tersusun dari fungsi yang dapat dikomputasi
    • Fungsi jawaban benar f memberikan satu keluaran benar yang unik, f(s), untuk string input s
    • Jika status LLM h[i] pada suatu input s memenuhi h[i](https://arxiv.org/abs/s) ≠ f(s), maka didefinisikan bahwa ia berhalusinasi terhadap fungsi jawaban benar f
    • LLM diperlakukan sebagai fungsi keseluruhan yang dapat dikomputasi, yang menerima sampel pelatihan secara berurutan dan memiliki beberapa status h[0], h[1], ...
  • Pertanyaan utamanya adalah apakah LLM h yang dilatih dengan prosedur tetap dapat, untuk fungsi jawaban benar sembarang f, memenuhi h[i](https://arxiv.org/abs/s) = f(s) untuk semua input s pada suatu tahap pelatihan i

Keniscayaan yang ditunjukkan dengan argumen diagonalisasi

  • Untuk himpunan LLM yang dapat dicacah secara komputabel {h0, h1, ...}, terdapat fungsi jawaban benar yang dapat dikomputasi f yang membuat semua status pelatihan dari semua LLM berhalusinasi
    • Status pelatihan tiap LLM disusun kembali menjadi satu pencacahan {ĥ0, ĥ1, ...}, lalu dibuat tabel keluaran untuk string input {s0, s1, ...}
    • Jika fungsi jawaban benar f(si) didefinisikan agar menjadi string yang berbeda dari ĥi(si), maka ia berbenturan dengan setiap status LLM pada posisi diagonal
  • Dengan cara yang sama, juga dapat dikonstruksi fungsi jawaban benar yang membuat semua status LLM berhalusinasi bukan hanya pada satu input, melainkan pada tak terhingga banyak input
    • f(si) didefinisikan sebagai string yang berbeda dari semua ĥj(si) dengan j ≤ i
    • Maka status LLM tertentu ĥk akan terus berhalusinasi pada input-input yang cukup jauh di belakang
  • LLM tunggal yang dapat dikomputasi h juga merupakan himpunan yang dapat dicacah secara komputabel, yaitu {h}, sehingga untuk semua LLM yang dapat dikomputasi terdapat fungsi jawaban benar yang dapat dikomputasi yang memicu halusinasi
  • Menurut Teorema 3, untuk setiap LLM yang dapat dikomputasi h, terdapat fungsi jawaban benar f yang membuat setiap status h[j] berhalusinasi, dan juga terdapat f' yang membuatnya berhalusinasi pada tak terhingga banyak input
  • Agar LLM dapat menghapus halusinasi dengan sendirinya, harus ada status tanpa halusinasi untuk fungsi yang dapat dikomputasi sembarang, tetapi ini bertentangan dengan Teorema 3
    • Metode mitigasi yang hanya bergantung pada LLM itu sendiri, seperti Chain-of-Thought, tidak dapat menghapus halusinasi sepenuhnya

Jenis masalah yang rentan terhadap halusinasi

  • Jika ditemukan fungsi jawaban benar yang tidak dapat dihitung oleh himpunan LLM tertentu, maka masalah tersebut menjadi masalah yang rentan terhadap halusinasi
  • Untuk LLM dengan batasan waktu polinomial, yaitu kategori yang dalam makalah ini dianggap mencakup semua LLM yang ada saat ini, masalah berikut termasuk di dalamnya
    • Daftar kombinatorial: mencantumkan semua string sepanjang n dari alfabet dua karakter, yang memerlukan waktu komputasi Ω(2^n)
    • Subset Sum: masalah NP-complete yang, ketika diberi himpunan bilangan bulat dan angka q, menjawab apakah ada subset yang jumlahnya q
    • Boolean Satisfiability(SAT): masalah NP-complete yang menjawab apakah ada penugasan yang membuat formula dengan n variabel Boolean bernilai benar
    • Entailment logika proposisional: masalah co-NP-complete yang menjawab apakah M(ψ) ⊆ M(ϕ)
  • Kesimpulan bahwa Subset Sum, SAT, dan entailment logika proposisional adalah masalah yang rentan terhadap halusinasi bagi LLM waktu polinomial disertai asumsi P ≠ NP
  • Presburger arithmetic adalah teori orde pertama tentang penjumlahan dan urutan < pada bilangan asli, dan menjawab apakah suatu proposisi dapat dibuktikan di dalam aritmetika tersebut
    • Komputasinya memerlukan waktu Ω(2^{2cn}), dan diklasifikasikan sebagai masalah yang rentan terhadap halusinasi baik untuk LLM waktu polinomial maupun LLM waktu eksponensial
  • Untuk semua LLM yang dapat dikomputasi, ada masalah rentan yang lebih umum
    • Masalah mempelajari semua urutan linear yang dapat dikomputasi dibahas dalam Teorema 4
    • Memecahkan semua masalah yang dapat dikomputasi adalah objek Teorema 3
    • Entailment logika orde pertama diklasifikasikan sebagai masalah undecidable
  • Jawaban LLM untuk masalah matematika dan penalaran logis selalu memerlukan peninjauan terpisah

Cakupan mitigasi yang ada

  • Model yang lebih besar, ensemble model, dan lebih banyak data pelatihan dapat membantu LLM menangkap fungsi jawaban benar yang lebih kompleks
    • Bertambahnya data pelatihan dapat menyingkirkan kandidat LLM yang tidak valid dan berkontribusi pada konvergensi pelatihan
    • Namun, jika fungsi jawaban benar berada di luar cakupan yang dapat ditangkap LLM tersebut, peningkatan parameter dan data saja tidak dapat menghapus halusinasi
    • Menambahkan attention layer pada LLM waktu polinomial hanya menjadikannya LLM waktu polinomial yang lebih besar, dan tidak menghapus halusinasi terhadap fungsi jawaban benar waktu eksponensial
    • Ensemble model juga pada dasarnya dapat dilihat sebagai satu LLM, sehingga tunduk pada batasan Teorema 3
  • Prompt Chain-of-Thought, reflection, dan verification adalah pendekatan keluarga in-context learning yang menyediakan contoh penyelesaian dan pengetahuan terkait di dalam konteks
    • Masalah kompleks memiliki berbagai cara penyelesaian, dan prompt dapat mengarahkan LLM ke solusi dengan kompleksitas lebih rendah yang lebih disukai manusia
    • Deret Fibonacci digunakan sebagai contoh: solusi rekursif membutuhkan waktu eksponensial, tetapi dapat diselesaikan dalam waktu linear dengan dynamic programming
    • Karena kecil kemungkinan semua fungsi jawaban benar dapat dijelaskan sepenuhnya melalui prompt, efektivitas pendekatan ini hanya dapat diharapkan pada tugas tertentu
  • Guardrail dan fence adalah cara menyelaraskan keluaran LLM dengan nilai manusia, etika, dan tuntutan hukum, atau membuat daftar tugas penting yang tidak boleh sepenuhnya diotomatisasi dengan LLM
    • Dapat diprogram secara formal untuk memengaruhi perilaku LLM secara eksplisit
    • Dapat menjadi mitigasi yang berguna dalam dunia formal dan sebagian masalah nyata
    • Kemungkinan skalabilitasnya di dunia nyata masih menjadi masalah terbuka
  • LLM yang diperkuat pengetahuan memanfaatkan pengetahuan eksternal dan penalaran simbolik seperti knowledge graph, basis data, dan logika dalam pelatihan maupun inferensi
    • Chatbot berbasis LLM seperti ChatGPT mulai menggunakan alat seperti mesin pencari, code interpreter, dan kalkulator untuk menyelesaikan masalah yang berada di luar kemampuan inheren LLM
    • Pencarian basis data pengetahuan menyediakan informasi tentang fungsi jawaban benar di luar sampel pelatihan input-output
    • Dalam kasus ini, Teorema 3 tidak berlaku apa adanya, dan pendekatan ini dapat menjadi mitigasi halusinasi yang berpotensi efektif dalam dunia formal
    • Skalabilitasnya pada tugas nyata masih terbuka

Batasan saat deployment dan keterbatasan riset

  • Semua LLM yang dilatih hanya dengan pasangan input-output akan berhalusinasi ketika digunakan sebagai pemecah masalah umum
    • Sebuah masalah dapat secara intelektual mudah bagi manusia tetapi secara komputasional sulit bagi LLM
    • Sebaliknya, masalah yang sulit bagi manusia bisa saja secara komputasional mudah bagi LLM
    • Penyebab halusinasi di dunia nyata bukan hanya kompleksitas komputasi, dan data pelatihan yang tidak lengkap juga dapat menimbulkan halusinasi pada tugas yang secara komputasional mudah
  • Kesimpulan ini berlaku untuk LLM yang berguna yang pada akhirnya menjawab pertanyaan di luar data pelatihan
    • LLM dapat menjawab “tidak tahu” terhadap banyak pertanyaan sembarang
    • Begitu LLM pada status tertentu menjawab pertanyaan di luar data pelatihan, teknik diagonalisasi pada Teorema 1 dan Teorema 2 dapat diterapkan pada jawaban itu
    • Jika LLM sama sekali tidak pernah menjawab, ia tidak berhalusinasi, tetapi selama ia menjawab pertanyaan yang belum pernah dilihat, ia akan berhalusinasi di suatu dunia formal
  • LLM tidak boleh digunakan secara otomatis untuk pengambilan keputusan yang kritis bagi keselamatan tanpa perangkat bantu eksternal
    • Guardrail, fence, basis pengetahuan, dan kendali manusia dapat membantu melampaui batas Teorema 3 dengan menyediakan informasi selain pasangan input-output
    • Pada ranah yang sulit menerima kesalahan halusinasi, seperti pengambilan keputusan terkait nyawa manusia, diperlukan penilaian yang rasional dan manusiawi
  • Riset dan regulasi tentang batas keselamatan LLM penting
    • Ada kasus nyata ketika LLM yang digunakan dalam layanan pelanggan memberikan informasi keliru dan menyebabkan kerugian finansial
    • Dalam lingkungan penginderaan dan aksi otomatis seperti robot, halusinasi dapat berujung pada konsekuensi nyata yang berbahaya
    • Diperlukan konsensus antara teoretikus dan praktisi mengenai batas kemampuan LLM, serta regulasi yang mencegah penggunaan di luar batas tersebut
  • Keterbatasan riset ini juga jelas
    • Tidak membahas halusinasi yang terjadi pada masalah yang berada dalam kemampuan komputasi LLM
    • Karena mengasumsikan fungsi jawaban benar secara deterministik, wawasannya dari perspektif probabilistik terbatas
    • Dalam studi empiris, LLM yang ada digunakan tanpa fine-tuning tambahan

Bacaan terkait

1 komentar

 
GN⁺ 2024-02-26
Pendapat Hacker News

  • Setelah membaca sekilas makalahnya, inti argumennya tampak seperti klaim bahwa karena P != NP, LLM akan memberikan jawaban halusinatif untuk masalah NP-complete
    Ini poin yang cerdas dan memunculkan pertanyaan filosofis menarik tentang matematika, ilmu komputer, dan bahasa, tetapi orang-orang tampaknya mencoba menerapkannya pada konsep “halusinasi LLM” yang umum. Hubungan antara halusinasi formal yang digunakan makalah ini dan halusinasi dalam pengertian awam—seperti ketika diminta merangkum novel lalu mengarang bab yang tidak ada atau mengarang detail spesifik—tampaknya tidak jelas
    Pernyataan bahwa dunia formal, yakni dunia matematika, logika, dan tata bahasa formal, adalah bagian dari dunia “nyata” atau dunia bahasa alami juga menarik. Kebanyakan manusia tidak bisa menyelesaikan soal logika formal atau mem-parsing tata bahasa formal, tetapi mereka tidak mengalami efek halusinasi yang kuat dan sangat mahir menggunakan bahasa alami. Karena manusia juga tidak bisa menyelesaikan masalah NP-complete tertentu, apakah halusinasi menjadi tak terelakkan? Karena umur terbatas, ada masalah yang mungkin tidak bisa diselesaikan meski seseorang punya kemampuan

    • Istilah halusinasi untuk LLM adalah penamaan yang keliru, dan menyedihkan bahwa istilah itu sudah telanjur melekat
      Ketika manusia melakukan hal seperti ini, itu disebut konfabulasi (confabulation). Ini adalah gejala psikiatris ketika seseorang tidak sadar bahwa ia berbohong dan mengisi kekosongan pengetahuannya dengan omong kosong yang dikarang saat itu juga. Halusinasi adalah gejala yang sama sekali berbeda
      Konfabulasi bukan sesuatu yang normal dilakukan manusia, dan saya juga tidak tahu bagaimana fakta itu bisa dikaitkan dengan P != NP. Orang normal, apa pun alasannya, menyadari batas pengetahuannya sendiri, tetapi LLM tidak
    • Benar. Ini tampak seperti memperkenalkan tak hingga lalu tersandung pada masalah penghentian untuk ketakhinggaan, dan mungkin tidak terlalu membantu
      Titik tempat argumen ini bermasalah adalah bagian yang mengatakan “mendefinisikan halusinasi dalam dunia formal yang hanya memperhatikan LLM yang dapat dihitung dan fungsi kebenaran f yang dapat dihitung di atas S”. Ini menuntut predikat tentang kebenaran yang andal dan dapat dihitung, yang kemungkinan besar mustahil
      Sebagai gantinya, masalah ini bisa dihindari jika keluaran fungsi kebenaran diperbolehkan berupa True, False, Unknown, dan Resource limit exceeded. Kini targetnya menjadi dapat dikelola. True atau False hanya dikembalikan saat valid, lalu kurangi rasio Unknown dan Resource Limit Exceeded pada kueri yang berguna
      Masalah yang sama juga terjadi pada sistem verifikasi program, dan selama puluhan tahun telah ditangani dengan cara yang sama. Menentukan apakah suatu proposisi benar terkadang menuntut terlalu banyak pekerjaan
    • Pernyataan “karena P != NP, LLM berhalusinasi pada masalah NP-complete” tampaknya hanya benar jika halusinasi didefinisikan sekadar sebagai memberikan jawaban yang salah. Namun biasanya orang tidak memahaminya seperti itu
      Saat orang membicarakan halusinasi LLM, yang mereka maksud memang jawaban yang salah tetapi disampaikan dengan percaya diri. Namun tidak semua jawaban salah adalah halusinasi
      Jika LLM ditanya apakah suatu program akan berhenti lalu menjawab “saya tidak tahu”, kita tidak akan menyebutnya halusinasi. Namun jika klaim penulis adalah bahwa LLM tidak selalu bisa menyelesaikan masalah NP-complete dengan tepat, terdengar seolah “saya tidak tahu” pun akan dianggap sebagai jawaban halusinatif. Meski begitu, saya belum membaca makalahnya
    • Manusia sampai taraf tertentu punya kemampuan untuk menyadari bahwa mereka mentok dan menyesuaikan diri. Namun hal-hal seperti teorema kelengkapan, kompleksitas Kolmogorov, dan teori kompleksitas komputasi juga merupakan pengetahuan yang baru dicapai pada abad ke-20
    • Satu-satunya cara mengurangi halusinasi, baik pada manusia maupun LLM, adalah meningkatkan kecerdasan umum dan pengetahuan dunia

  • Saya mengakui hanya membaca abstraknya, tetapi saya cukup skeptis apakah pendekatan yang sangat formal seperti ini bisa membantu pertanyaan praktis tentang apakah kita dapat membuat LLM lebih sering menjawab “saya tidak tahu”
    Ini terdengar mirip dengan teorema ketidaklengkapan. Sama seperti teorema ketidaklengkapan tidak berarti penelitian matematika sia-sia, pernyataan bahwa LLM mungkin tidak bisa menghitung fungsi tertentu juga tidak berarti masalah halusinasi menuntut LLM mengetahui segalanya. Masalah yang kita pedulikan adalah menjawab “saya tidak tahu”, dan itu mungkin saja tetap dapat dihitung

    • LLM tidak bisa mengatakan “saya tidak tahu”. Karena pada kenyataannya ia tidak mengetahui apa pun
      Jawabannya bukan berasal dari pikiran yang berpikir, melainkan dari superkomputer pencocok pola yang kompleks, yang melayang di atas tabel raksasa pola hasil prakomputasi. Setelah menghitung input, ia hanya mengeluarkan yang paling cocok dari pola-pola itu. Tidak ada otak berpikir yang secara konseptual memahami batasannya sendiri
      Mengharapkan AI saat ini mengatakan “saya tidak tahu” mirip seperti bertanya kepada perangkat lunak navigasi berapa lama perjalanan ke rumah keluarga Simpsons di Springfield. Mesin akan memberikan jawaban, tetapi tidak memahami referensi budaya yang membuat jawaban itu mustahil. Sebagai gantinya, ia akan mencari orang bernama Simpson di Springfield nyata terdekat
    • Transformer tidak punya kemampuan introspeksi, juga tidak punya kemampuan menalar proses penalarannya sendiri, dan tidak “tahu” bahwa ia tidak tahu
      Saya menafsirkan makalah ini sebagai klaim bahwa kelemahan tersebut bersifat mendasar. Kita bisa melatih jaringan agar berperilaku seolah mengetahui batas pengetahuannya sendiri, tetapi dalam implementasi nyata akan selalu ada celah yang tidak bisa ditutup
    • Untuk menjawab “saya tidak tahu”, ia harus tahu kapan ia tahu. Untuk tahu kapan ia tahu, ia kembali membutuhkan pemahaman
    • Tampaknya tidak ada cara mudah untuk membuat LLM menjawab “saya tidak tahu”
      Untuk itu, ia harus belajar dari semua materi yang diserapnya bagaimana orang berbicara ketika mereka benar-benar tidak tahu. Namun banyak orang di internet, ketika tidak tahu, tidak sekadar menulis “saya tidak tahu”, melainkan menulis hal-hal yang tidak relevan
    • Ini bukan tentang LLM itu sendiri, tetapi dalam ilmu komputer secara umum, banyak masalah yang diklasifikasikan sebagai “tidak dapat diselesaikan” atau “tidak dapat diselesaikan dalam waktu yang wajar (NP)” tetap dapat dicari solusi hampiran dengan batas nilai tertentu dalam waktu yang wajar (P)
      Di dunia nyata, meskipun rute truk Amazon 20% lebih buruk daripada solusi optimal matematis, masalah wiraniaga keliling bisa dibilang telah “terselesaikan” dengan cara yang cukup baik

  • Pertanyaan harus diajukan dengan sangat hati-hati agar tidak mengarang. Misalnya, jangan bertanya “bagaimana melakukan ini di x?”, melainkan “apakah ini bisa dilakukan dengan x?”
    “AI” seperti ini terasa seperti yes-man. Meski tidak benar atau mustahil, ia akan mengatakan apa saja demi menyenangkan pengguna
    Saya pernah bertemu orang-orang seperti itu, dan sangat sulit bekerja dengan mereka. Kita tidak bisa percaya apakah proyek yang mereka janjikan benar-benar akan diserahkan, dan harus memeriksa ulang semuanya. Kita bahkan tidak bisa percaya apakah hal yang dijanjikan itu sejak awal memang mungkin dilakukan

    • Sebelum ChatGPT pun ada masalah serupa dalam penerjemahan bahasa manusia, tetapi orang-orang tidak membicarakannya sebesar itu
      Belakangan ini menjengkelkan karena makin sulit membuat DeepL menerjemahkan thou menjadi du. Itu adalah cara yang sering saya pakai sebagai “hack” untuk menyiasati inkompatibilitas akibat fitur yang hilang dalam bahasa Inggris
      Untuk sedikit mengurangi masalah “yes-man”, saat mengajukan pertanyaan kita harus menjadi seperti matematikawan yang ketat, dan saya tidak melihat masalah ini bisa sepenuhnya diatasi hanya dengan teknologi LLM. Mungkin terdengar konyol, tetapi sepertinya abstraksi yang memecah pertanyaan atas nama kita akan berkembang, jadi saya harus mengakui keberadaan “prompt engineering”
    • Saya pernah cukup berhasil dengan instruksi “jika perlu kejelasan tambahan, ajukan pertanyaan lanjutan”
      Pengalaman terbaik dimulai dari percakapan bebas tentang apa yang ingin kami lakukan. Sepertinya membantu jika terlebih dahulu memastikan lewat tanya jawab bahwa saya dan AI memikirkan ranah yang sama dan berbagi istilah terkait
    • Analoginya benar-benar tepat. Pada akhirnya ini soal pelatihan dan seleksi
      Selama ada imbalan “bertindaklah seperti itu, atau…”, tidak mengherankan bila muncul sistem yang menggunakan kecerdasan untuk mencapai tujuan yang ditetapkan
      Untungnya, ini lebih banyak menunjukkan keterbatasan struktur imbalan yang kita letakkan di sekelilingnya daripada keterbatasan kecerdasan underlying itu sendiri
    • Cukup sering juga LLM memberi tahu saya bahwa sesuatu yang ingin saya lakukan dengan berbagai teknologi itu tidak mungkin, atau ada cara yang lebih baik
    • AI saat ini disetel dengan RLHF agar tidak menjadi “yes-man” atau penjilat
      Memang benar bahwa prompt yang lebih baik dibutuhkan. Jangan bertanya “siapa presiden perempuan pertama?”, tetapi tanyakan “apakah pernah ada presiden perempuan?”. Seperti di StackOverflow, saat tidak tahu, kita harus mengajukan pertanyaan yang benar tanpa menyelipkan asumsi
      Bayangkan masa-masa awal Google: setiap kali melihat hasil spam, orang hanya menyalahkan mesin pencari, sambil mengabaikan pilihan kata kunci atau perilakunya yang selalu berusaha mengembalikan sesuatu. Mirip pengguna yang memahat lempengan beton dengan pahat lalu mengeluh karena tidak muncul patung yang indah

  • Menulis fiksi dan cerita adalah halusinasi. Itu kebalikan dari burung beo stokastik
    Kedua kutub ekstrem AI sudah tercapai. Komputer bisa menjadi mesin logika sekaligus mesin yang berhalusinasi. Tujuannya adalah membuat mesin yang bisa melakukan keduanya sekaligus dan bisa membedakan keduanya
    Intinya bukan halusinasi itu sendiri, melainkan komputer sadar kapan ia sedang berhalusinasi
    Tentu itu masalah yang sulit, tetapi manusia juga berhalusinasi secara luar biasa. Lihat saja agama. Karena hanya satu agama yang bisa benar atau tidak ada agama yang benar, secara logis semua agama lain berarti halusinasi

    • Membandingkan agama dengan kesalahan LLM adalah salah satu contoh antropomorfisasi yang tersebar luas di masyarakat saat ini. Saya khawatir salah paham dan kebingungan seperti ini benar-benar menghambat peningkatan teknologi
      Sampai pada penjelasan keliru seperti “Helios menarik matahari melintasi langit setiap hari” dan program matematika yang secara keliru mengembalikan token berikutnya yang paling mungkin dalam urutan adalah hal yang secara kategoris berbeda. LLM sama sekali tidak memiliki keyakinan
      Helios adalah jawaban atas pertanyaan “mengapa matahari terbit?”. Keyakinan semacam itu menunjukkan pemahaman logis bahwa suatu kekuatan harus menyebabkannya, tetapi karena kurangnya pengetahuan tentang dunia, ia menghasilkan penjelasan yang keliru
      LLM tidak dapat mengajukan pertanyaan semacam itu dan bernalar. Itu bukan “halusinasi” dari jenis yang sama. Jika kita berasumsi bahwa prediksi kata telah memecahkan kognisi, dalam jangka panjang kita akan cepat menemui jalan buntu
    • Itu bukan kebalikan dari burung beo stokastik, melainkan persis hal yang sama. Hanya saja prediksinya lebih buruk karena data pelatihan yang jarang
    • Kalimat “karena hanya satu agama yang bisa benar atau tidak ada agama yang benar, semua agama lain adalah halusinasi” memiliki beberapa kekeliruan
      Ada kemungkinan beberapa agama menjelaskan dengan tepat aspek tertentu dari dunia, tetapi keliru pada aspek lain. Memperlakukan keadaan berguna yang bisa dimiliki agama hanya sebagai satu “jawaban benar” yang ketat dan lengkap sangat menyesatkan. Fisika Newton dan relativitas khusus juga gagal memprediksi beberapa fenomena yang diamati, tetapi tetap berguna. Tidak semua agama juga mengklaim koherensi yang ketat dan sempurna
      Meski suatu agama dapat tampak salah, itu tidak otomatis berarti halusinasi. Orang bisa percaya pada sesuatu karena alasan yang masuk akal namun tetap keliru
      Sikap seperti “saya tidak bisa membuktikan ini benar dan tidak mencoba membuktikannya, tetapi karena pengalaman penglihatan subjektif tentang Tuhan, saya diyakinkan bahwa itu mungkin nyata” juga mungkin. Ini tampak sangat berbeda dari LLM yang mengarang seluruh makalah tanpa dasar apa pun
    • Sedikit melenceng dari topik, tetapi saya melihat salah satu pendorong keberadaan agama adalah dorongan untuk mempersonifikasikan
      Manusia tampaknya lebih mudah berinteraksi ketika memperlakukan dunia dan unsur-unsurnya sebagai sosok yang akrab seperti manusia dan berkomunikasi dengannya
      Personifikasi juga sering muncul ketika membicarakan LLM dan AI secara umum
    • Contoh yang lebih sederhana bahwa manusia juga berhalusinasi dalam skala besar adalah mimpi

  • Seseorang yang pintar pernah berkata begini
    Kalau hasilnya bagus, kita menyebutnya “kreativitas”; kalau buruk, kita menyebutnya “halusinasi”
    Ini bukan bug. Seperti kata para penulis, ini juga bukan keterbatasan. Ini adalah fitur

    • Benar. LLM selalu sedang berhalusinasi dan mengarang
      Karena halusinasi itu kadang kebetulan benar, orang-orang menyimpulkan bahwa yang salah adalah pengecualian dan yang benar entah bagaimana adalah aturannya
      Mirip seperti menemukan bagian dalam teks berusia ribuan tahun yang cocok dengan hidup sendiri hari ini, lalu menyimpulkan bahwa teks itu meramalkan masa depan
      Makna atau kebenaran teks semacam itu bukan kualitas intrinsik dari teks itu sendiri, melainkan hanya bias kognitif yang berasal dari benak pembacanya
    • Benar, tetapi kita bisa terjebak dalam perangkap berharap terlalu banyak dari LLM. Pengetahuan LLM bisa terlihat sempurna. Karena ia bisa menjawab hampir apa saja, mudah muncul ilusi bahwa ia bisa menjawab apa saja dengan benar
      Mengenai peningkatan ke depan, menurut saya terlalu optimistis untuk mengharapkan superintelligence melampaui level yang kita lihat hari ini. Maksudnya level seperti mengakses informasi publik di seluruh dunia, atau dengan cepat membuat teks, gambar, dan video yang sesuai dengan pola kreasi yang ada
      Saya menduga kecerdasan yang lebih kreatif membutuhkan keseimbangan yang sangat halus agar tidak “menjadi gila”. Dengan kata lain, ia harus menghasilkan keluaran yang kita anggap kreativitas, bukan halusinasi
      Semakin kita membuat loop umpan balik agar kecerdasan berevolusi di dalam AI, semakin sulit secara eksponensial untuk mencapai keseimbangan ini
      Mungkin saja manusia sudah mengoptimalkan loop umpan balik kecerdasan kreatif ini hingga batas yang diizinkan alam semesta. Untuk pengetahuan yang sangat besar, lebih banyak neuron atau ruang penyimpanan jelas membantu, tetapi kita belum tahu apakah itu juga berlaku untuk kecerdasan kreatif
    • Jika bukan bug, maka itu juga bukan halusinasi maupun kreativitas
      Ini adalah cacat desain yang terintegrasi sangat dalam, yang mengungkap apa yang sebenarnya kita lakukan: memodelkan secara statistik banyak bahasa manusia
      Melempar lebih banyak data ke jalur ini tidak akan secara ajaib membuatnya tersadar dan menjadi AGI. Masalah ini tidak akan hilang
      Komunitas machine learning harus turun dari kereta hype. Langkah pertama adalah berhenti memanusiakan proyek sendiri
    • Meminta LLM menulis kode pada dasarnya sama dengan meminta LLM untuk berhalusinasi
    • Intinya sepertinya apakah LLM memahami mana dari dua hal itu yang sedang ia lakukan
      Bukankah ini perbedaan antara manusia dan LLM?
      Manusia tahu bahwa dirinya sedang membuat tebakan yang berdasar, dan jika memang begitu, seharusnya mengatakannya. Atau ia tahu bahwa dirinya sedang membuat sesuatu secara kreatif dan bisa mengatakannya demikian
      Jika tidak tahu mana yang sedang terjadi, maka menjadi jelas bahwa LLM pada akhirnya tidak jauh berbeda dari perangkat input-output mekanis yang sangat canggih

  • Hype AI tampaknya kini memasuki tahap “mari melihat realitas”. Rasanya sudah cukup lama saya tidak melihat tulisan penuh antusiasme tentang masalah alignment

    • Hype-nya sudah gila. Saya pikir LLM masih punya banyak ruang untuk berkembang dan sudah sangat berguna, tetapi seperti yang dikatakan para peneliti hebat, ini bukan cawan suci
      Jika menginginkan AGI, LLM bukan jawabannya. Banyak orang tampaknya melihat ini sebagai masalah rekayasa dan mengira LLM bisa membawa kita ke sana, tetapi tidak bisa. Karena ini bukan masalah rekayasa

  • Pernyataan bahwa “halusinasi didefinisikan sebagai ketidaksesuaian antara LLM yang dapat dihitung dan fungsi nilai kebenaran yang dapat dihitung” hanyalah ketidakakuratan atau manipulasi
    Menyebutnya halusinasi hanya melayani gagasan bahwa program-program seperti ini cerdas

    • Benar. Bayangkan kalkulator saku yang sekitar 10% jawabannya benar-benar salah, tetapi alih-alih menyebutnya rusak, kita menyebutnya moody
    • Kalimat itu juga terlalu murah hati terhadap “nilai kebenaran yang dapat dihitung”. Dalam tugas-tugas yang kita gunakan untuk LLM, hal seperti itu tidak ada. Kecuali jika kita membuat definisi baru dengan merusak definisi tiap kata

  • LLM didefinisikan sebagai “model probabilistik yang mengondisikan keluaran pada waktu t dalam sebuah string pada semua token sebelumnya”
    Definisi ini tampaknya cukup luas untuk mencakup kecerdasan manusia, sehingga kesimpulannya juga seharusnya sama validnya untuk manusia

    • Itu jelas benar. Memori manusia dan kemampuan untuk mengingat dengan benar apa yang kita kira kita ingat dipengaruhi oleh segala macam hal, dan kadang sangat tidak dapat diandalkan
      Namun, kecerdasan manusia tidak seperti LLM yang hanya terbatas pada mengingat informasi yang pernah dipelajari. Kita juga bisa melakukan penalaran logis, dan meskipun kemampuan ini tampaknya membaik pada LLM, masih jauh dari sempurna
      Masalah lain adalah kita memperlakukan tingkat kepercayaan dengan sangat berbeda bergantung pada sumber informasi, terutama berdasarkan bias pribadi. Dalam pengalaman saya, LLM cenderung cepat runtuh dan mengubah pendapatnya sendiri bergantung pada input pengguna, jadi saya melihat ini sebagai faktor besar
    • Setelah kita bisa mendefinisikan dan mengukur kecerdasan, diskusi semacam ini juga akan menjadi bermakna
    • Ini mungkin juga menjelaskan alasan evolusioner dari mimpi. Mimpi mungkin memangkas halusinasi. Apakah masuk akal memasukkan pembelajaran dan bermimpi secara bergantian?

  • Dengan definisi ini, sangat mudah membuktikan bahwa kalimat pada judul, yaitu “halusinasi itu tak terhindarkan”, salah
    Tetapkan panjang konteks input LLM menjadi 1 byte. Terus latih LLM sampai ia menjawab “yes” untuk input “A” dan menjawab “no” untuk semua input lainnya
    Fungsi nilai kebenaran mendefinisikan jawaban benar untuk input “A” sebagai “yes”, dan jawaban benar untuk semua input lain sebagai “no”
    LLM ini dapat dibuktikan tidak akan pernah berhalusinasi. Sebab telah dilakukan verifikasi penuh bahwa untuk semua input yang mungkin, outputnya cocok dengan fungsi nilai kebenaran
    Tidak ada yang mencegah kita memperbesar ukuran konteks input dan jumlah entri tabel nilai kebenaran secara induktif sesuka hati, dan pada tahap mana pun halusinasi tidak menjadi “tak terhindarkan”

    • Saya juga tidak setuju dengan makalahnya, tetapi alasannya berbeda
      Sudah jelas bahwa potongan satu kalimat itu tidak bisa memuat semua asumsi para penulis. Mereka membuktikan sesuatu yang secara intuitif jelas: LLM dengan input panjang sembarang dan batasan sumber daya tertentu—misalnya LLM yang boleh memakai waktu polinomial untuk komputasi, dan operasi waktu polinomial ini harus bisa dibuktikan sehingga selama pelatihan tidak secara tidak sengaja berjalan lebih lama—tidak dapat menghitung fungsi tertentu yang tidak memiliki batasan seperti itu
      Dalam beberapa kasus, pembuktian ini mengasumsikan P != NP. Lalu mereka berargumen bahwa sebagian pertanyaan berguna di dunia nyata kemungkinan besar berada dalam kelas yang tidak bisa dihitung oleh LLM. Sebab kita bisa menanyakan soal matematika kepada LLM, dan soal matematika kadang sangat sulit
      Model formal ini bersifat asimtotik, yakni mengasumsikan input dengan panjang sembarang dan sebagainya, tetapi menurut pengalaman saya teorema semacam ini biasanya juga sering benar untuk masalah dunia nyata dengan panjang kueri yang wajar
      Namun ini tidak sama dengan membuktikan bahwa halusinasi tak terhindarkan. Dengan definisi yang masuk akal, baik LLM maupun manusia seharusnya bisa mengatakan “saya tidak tahu”, dan itu tidak boleh dianggap sebagai halusinasi. Dengan begitu LLM bisa menghindari halusinasi, dan pertanyaannya menjadi seberapa banyak pekerjaan berguna yang bisa dilakukan tanpa halusinasi
    • Pernyataan “latih sampai menjawab yes untuk input A dan no untuk yang lain” pada dasarnya sama saja dengan mengatakan latih sampai tidak berhalusinasi
      Maka klaimnya turun menjadi tautologi. LLM yang dilatih agar tidak berhalusinasi tidak akan berhalusinasi. Bagian sulitnya adalah benar-benar membuatnya demikian
    • “Ukuran konteks input dan jumlah entri tabel nilai kebenaran bisa diperbesar secara induktif sesuka hati” itu bukan induksi
      Anda baru menunjukkan kasus dasar, tanpa hipotesis induksi maupun langkah induksi. Mungkin saja langkah itu sudah Anda lakukan di kepala, tetapi kalau begitu pembuktiannya tidak setrivial klaim tersebut

  • Karena itu pembelajaran bahasa harus dipasangkan dengan pengalaman nyata. Robot-robot seperti ini perlu diberi dunia untuk dijelajahi, bahkan dunia virtual sekalipun, lalu mengalami konsekuensi di dalamnya dan bertahan hidup
    Jika tidak, semuanya hanya sistem tanda dan simbol yang mengambang tanpa terikat pada pengalaman

    • Saya cenderung setuju, tetapi ini juga bisa jadi antropomorfisasi
      3–5 tahun lalu saya juga berpikir begitu tentang LLM. Saat benda-benda saling menempel dengan cara yang ambigu, LLM tidak bisa menjawab mana yang akan jatuh, dan argumen waktu itu adalah bahwa untuk menyadari hal semacam itu, ia harus mengalaminya. Namun LLM sudah lama memperbaiki masalah-masalah seperti itu
      Cara LLM “menyelesaikan” pertanyaan sangat berbeda dari kita. Sekarang, untuk membuktikan bahwa LLM harus berakar pada dunia nyata agar memperoleh kecerdasan, sepertinya kita harus menemukan fenomena dunia nyata yang begitu jelas sampai tidak ada orang yang menuliskannya. Tetapi kalau begitu, bukankah kita akan langsung menuliskannya?