Teknik Deteksi Ketidakpastian pada LLM
(thariq.io)Deteksi Ketidakpastian pada LLM
Tulisan ini menjelaskan teknik penalaran baru yang dikembangkan dalam Entropix, proyek baru dari XJDR. Entropix mencoba meningkatkan penalaran model dengan membuat sampling lebih cerdas pada saat-saat yang tidak pasti. Namun, karena evaluasi skala besar masih belum dilakukan, belum jelas seberapa besar manfaat nyatanya.
Ikhtisar ketidakpastian
- Sampling adalah proses memilih token dari distribusi token yang mungkin dipilih LLM (logits).
- Tingkat keyakinan model terhadap prediksinya dapat diketahui melalui distribusi ini.
- Entropix menggunakan sampling adaptif agar model dapat membuat keputusan yang lebih baik saat tidak pasti.
Makna dan pentingnya ketidakpastian
- Ketidakpastian pada logits dapat memiliki berbagai penyebab, dan tidak semuanya buruk.
- Penyebabnya mencakup sinonim atau token yang setara, jalur percabangan, atau situasi ketika AI tidak yakin.
- Entropix mengusulkan bahwa token berikutnya harus dipilih dengan cara yang berbeda tergantung pada tingkat ketidakpastian.
Entropi dan varentropi
- Entropix menggunakan dua metrik untuk mengukur ketidakpastian, yaitu entropi dan varentropi.
- Entropi mengukur seberapa berbeda logits yang diprediksi satu sama lain.
- Varentropi menunjukkan "bentuk" dari ketidakpastian; varentropi yang tinggi menunjukkan bahwa beberapa nilai sangat berbeda dari nilai lainnya.
Penjelasan matematis
- Surprisal adalah konsep yang mengukur seberapa tidak terduganya suatu peristiwa.
- Entropi adalah nilai harapan dari surprisal untuk semua kemungkinan hasil.
- Varentropi dihitung sebagai varians dari surprisal.
Sampling adaptif berbasis entropi dan varentropi
Entropi rendah, varentropi rendah
- Ini adalah kasus ideal ketika model yakin bukan hanya pada opsi pertama, tetapi juga pada opsi lainnya.
- Menggunakan sampling argmax standar untuk memilih token dengan probabilitas tertinggi.
Entropi rendah, varentropi tinggi
- Ini adalah kondisi ketika model memprediksi beberapa opsi dengan keyakinan yang sangat tinggi.
- Ini dapat menunjukkan percabangan output baru, dan percabangan bisa diimplementasikan dengan beberapa cara.
Entropi tinggi, varentropi rendah
- Model mungkin sedang melihat sesuatu yang tidak dikenalnya, atau semua opsi bisa saling dipertukarkan.
- Menggunakan token "think" untuk mendorong model memakai lebih banyak waktu komputasi.
Entropi tinggi, varentropi tinggi
- Model tidak memiliki preferensi yang jelas, tetapi lebih yakin pada beberapa output tertentu.
- Dapat memilih secara acak, melakukan percabangan, atau menyisipkan token berpikir.
Percabangan dan token berpikir
- Prediksi percabangan adalah metode yang melihat beberapa logits untuk mengetahui apakah mereka mengarah ke token yang berbeda.
- Token berpikir adalah cara untuk melakukan lebih banyak komputasi dalam keadaan tidak pasti.
Entropi perhatian
- Entropix menggunakan entropi perhatian untuk menyesuaikan temperatur.
- Entropi perhatian dan keselarasan perhatian dapat memberikan sinyal tambahan untuk sampling.
Apakah ini penting?
- Wawasan Entropix mudah dipahami dan bukan sesuatu yang sepenuhnya baru.
- Meskipun evaluasi mungkin tidak menunjukkan manfaat yang besar, teknik penalaran seperti ini adalah arah yang mudah untuk dieksplorasi.
Ringkasan GN⁺
- Entropix mengusulkan pendekatan baru untuk menangani ketidakpastian pada LLM.
- Dengan menggunakan entropi dan varentropi untuk mengukur tingkat keyakinan model, model dapat membuat keputusan yang lebih baik melalui sampling adaptif.
- Teknik ini membuka kemungkinan bagi para peretas open source untuk meningkatkan kemampuan penalaran model tanpa anggaran besar.
- Sebagai proyek dengan fungsi serupa, Hugging Face Transformers direkomendasikan.
1 komentar
Pendapat Hacker News
Charles Babbage merasa bingung dengan pertanyaan tentang apakah input yang salah bisa menghasilkan output yang benar
Teknik berbasis sampling yang menggunakan perangkat keras konsumen adalah peluang langka untuk meningkatkan model SOTA. Namun, ini tidak akan bertahan lama, dan pada akhirnya kemungkinan akan dibutuhkan sampler yang dapat dilatih
Banyak masalah pada LLM disebabkan oleh kebocoran makna atau informasi yang tidak relevan. Mungkin masih ada ruang untuk meningkatkan attention
GPT modern menghasilkan logit dari pengklasifikasi besar atas kosakata token. Ini berada dalam suatu ruang dan dapat menghitung manifold dengan sifat kekonveksan yang tidak biasa
Dibutuhkan kemampuan agar model dapat mendeteksi ketidakpastian dalam situasi berentropi tinggi dan memperingatkan pengguna
Tidak yakin apakah ada teknik untuk menilai ketidakpastian LLM. Riset terbaru menggunakan entropi semantik untuk mengukur secara statistik apakah LLM sedang menebak
Penasaran apakah ada yang pernah bereksperimen dengan output saat model tidak diizinkan untuk tidak pasti. Sampler akan mundur sampai semua token memiliki tingkat kepastian di atas ambang tertentu
Ada keraguan untuk mempercayai LLM menyelesaikan tugas dengan pengawasan minimal. Semua hal bisa saja merupakan "halusinasi" atau tebakan
Masalah LLM bukan sekadar "ketidakpastian", tetapi memiliki berbagai dimensi. Bisa karena kurangnya makna dalam pertanyaan, kurangnya informasi, tidak adanya konsensus ahli, dan alasan lainnya
Ada sangat banyak strategi sampling untuk model bahasa. Sulit membuktikan secara empiris bahwa strategi sampling tertentu lebih unggul daripada sampling top-k atau top-p standar