Teknologi Kecerdasan Buatan Probabilistik
(arxiv.org)- Kecerdasan buatan probabilistik membahas pendekatan yang melampaui AI yang hanya menghasilkan nilai prediksi, dengan menalar ketidakpastian dan memasukkannya ke dalam pengambilan keputusan
- Bagian awal materi berfokus pada machine learning probabilistik, serta membedakan antara ketidakpastian epistemik yang muncul akibat kekurangan data dan ketidakpastian aleatorik yang sulit dikurangi, seperti noise pengamatan
- Pemodelan probabilistik dibahas melalui Bayesian linear regression, Gaussian process models, dan Bayesian neural networks, sementara approximate inference digunakan untuk inferensi dan prediksi yang sulit dihitung
- Bagian akhir menjelaskan bagaimana ketidakpastian memandu pengumpulan data dan eksplorasi dalam pengambilan keputusan berurutan seperti active learning, Bayesian optimization, dan reinforcement learning
- Sebagai materi pengantar tingkat pascasarjana selama satu semester, isi ini akan lebih mudah diikuti jika pembaca memiliki pengetahuan tentang probabilitas, kalkulus, aljabar linear, dan dasar machine learning
Masalah inti yang ditangani AI probabilistik
- Kecerdasan buatan merujuk pada sains dan rekayasa sistem buatan yang melakukan tugas-tugas yang dianggap memerlukan beberapa aspek kecerdasan manusia, seperti bermain game, menerjemahkan bahasa, dan mengemudikan mobil
- Perkembangan AI terbaru berjalan seiring dengan pendekatan berbasis pembelajaran dan berbasis data, sementara machine learning dan deep learning memperluas cara sistem komputer memahami dunia
- Reinforcement learning menunjukkan hasil pada game kompleks seperti Go dan tugas robotika seperti locomotion berkaki empat
- Sistem yang cerdas memerlukan kemampuan bukan hanya untuk membuat prediksi, tetapi juga untuk menalar ketidakpastian dari prediksi tersebut dan mencerminkannya dalam pemilihan tindakan
Machine learning probabilistik
- Bagian awal disusun dengan berpusat pada pendekatan machine learning probabilistik
- Ketidakpastian dibagi menjadi dua jenis
- Ketidakpastian epistemik (epistemic uncertainty): ketidakpastian yang berasal dari kekurangan data dan dapat dikurangi dengan informasi tambahan
- Ketidakpastian aleatorik (aleatoric uncertainty): ketidakpastian yang secara inheren sulit dikurangi, seperti pengamatan yang bernoise dan hasil yang acak
- Model inferensi probabilistik utama adalah sebagai berikut
- Bayesian linear regression
- Gaussian process models
- Bayesian neural networks
- Dalam model-model ini, inferensi dan prediksi sering kali menjadi rumit secara komputasional, sehingga metode approximate inference modern juga dibahas bersama
Pemanfaatan ketidakpastian dalam pengambilan keputusan berurutan
- Bagian akhir berfokus pada tugas pengambilan keputusan berurutan, di mana data perlu dikumpulkan dan tindakan harus dipilih seiring waktu
- Active learning dan Bayesian optimization adalah pendekatan pengumpulan data yang mengusulkan eksperimen yang bermanfaat untuk mengurangi ketidakpastian epistemik
- Reinforcement learning adalah kerangka untuk memodelkan agen yang mempelajari tindakan dalam lingkungan yang tidak pasti
- Setelah membahas bentuk dasar Markov Decision Processes, materi berlanjut ke pendekatan deep RL modern yang menggunakan aproksimasi fungsi berbasis jaringan saraf
- Pada bagian terakhir, dibahas pendekatan model-based RL yang memanfaatkan ketidakpastian epistemik dan aleatorik untuk memandu eksplorasi sekaligus mempertimbangkan aspek keselamatan
Target pembaca dan pengetahuan prasyarat
- Materi ini dapat digunakan sebagai bahan pengantar tingkat pascasarjana selama satu semester tentang machine learning probabilistik dan pengambilan keputusan berurutan
- Ditujukan untuk pembaca dari beragam latar belakang, tetapi mengasumsikan pengetahuan dasar berikut
- konsep dasar probabilitas
- kalkulus
- aljabar linear
- dasar machine learning, termasuk jaringan saraf
- Bab 1 memperkenalkan inferensi probabilistik secara mulus untuk mendukung isi berikutnya, sekaligus meninjau kembali konsep-konsep inti teori probabilitas
- Di bagian akhir naskah, terdapat bab yang meninjau konsep-konsep utama dari latar belakang matematika tambahan
Struktur pembelajaran
- Berfokus pada konsep dan ide inti, bukan pada perkembangan historis
- Pembelajaran lebih mendalam dan konteks historis diarahkan untuk dilanjutkan melalui referensi
- Di akhir setiap bab terdapat latihan soal
- Item yang ditandai dengan tanda tanya dan ditekankan dalam teks merujuk pada latihan soal
- Jawaban untuk semua latihan soal dapat dilihat di bagian akhir naskah
1 komentar
Komentar Hacker News
Artikel utamanya memiliki diagram penjelas yang sangat bagus, dan tampak seperti ikhtisar berkualitas tinggi yang meninjau machine learning dari sudut pandang probabilitas dengan baik secara matematis.
Belakangan ini, buku ajar gratis dan kuliah YouTube dari Zhao, Mathematical Foundation of Reinforcement Learning, juga terasa mengesankan: https://github.com/MathFoundationRL/Book-Mathematical-Founda...
Jika tidak punya banyak waktu, setidaknya ada baiknya melihat diagram ikhtisar daftar isi Zhao, yang bagus sebagai peta konsep seluruh bidang ini: https://github.com/MathFoundationRL/Book-Mathematical-Founda...
Kalau bisa, saya juga merekomendasikan video pengantarnya.
Saya melihat materi ini beberapa hari lalu, dan alasan untuk membacanya dengan serius adalah karena Andreas Krause telah melakukan riset yang mendalam dan menarik di bidang Gaussian process dan bandit.
[1] https://scholar.google.com/scholar?start=10&q=andreas+krause...
Mungkin ini pertanyaan bodoh, tetapi bisakah LLM memberi tahu probabilitas dari jawaban yang baru saja dikeluarkannya? Maksudnya, saya penasaran apakah ia bisa diubah seperti fuzzy logic.
Lebih jauh lagi, bisakah ia mengatakan seberapa besar ia memercayai dirinya sendiri? Maksud saya probabilitas bahwa probabilitas di atas benar, semacam tingkat kepercayaan atau fuzzy logic intuisionistik.
Dulu sekali di universitas saya sempat mempelajari hal seperti ini, dan pernah membuat interpreter Prolog yang setiap klausa memilki F+IF, yaitu koefisien probabilitas dan kepercayaan.
Jika sumber daya komputasi cukup, mungkin bisa melakukan beam search, lalu memakai LLM untuk menilai berapa banyak dari jawaban yang muncul yang secara substansial sama, sehingga membuat indikator proksi untuk “kepercayaan”.
Untuk menyederhanakan, jika token dianggap sebagai kata, probabilitas setiap kata dalam urutan kalimat bisa dilihat. Namun saya tidak yakin bagaimana menilainya sebagai probabilitas seluruh kalimat atau probabilitas kebenaran.
Saya bukan orang matematika, dan saya tahu “probabilitas” punya makna matematis yang lebih rumit, tetapi dari sudut pandang “mengapa kamu begitu yakin?”, saya merasa ia cukup baik memberikan penjelasan yang bisa disetujui atau dibantah.
Jika saya menambahkan konteks tambahan yang saya ketahui, estimasinya juga diperhalus. Jadi belakangan ini saya memperlakukan LLM seperti sistem penghubung konteks, dan menggunakannya untuk melihat apakah titik-titik itu sejak awal mungkin terhubung sebelum saya menghubungkannya sendiri.
Bagian sulitnya adalah mengalibrasi prediksi, dan menentukan apakah memakai kapasitas model untuk kuantifikasi ketidakpastian lebih baik daripada membuat model yang lebih besar tetapi tidak pasti.
https://en.wikipedia.org/wiki/Calibration_(statistics)
Contoh: Efficient and Effective Uncertainty Quantification for LLMs (https://openreview.net/forum?id=QKRLH57ATT)
Untuk memopulerkan interpretabilitas sehingga gamer pun bisa mengeksplorasi model, tampaknya diperlukan GUI untuk model. Pada dasarnya, melatih model lain untuk mengubah LLM menjadi bentuk 3D dan menempatkannya di dunia 3D yang bisa dipahami manusia.
Sebagai contoh yang lebih sederhana, kita bisa membayangkan ruang tempat LLM direpresentasikan sebagai padang hijau dan objek-objek, dengan manusia sebagai satu-satunya agen.
Anda berdiri di dekat monyet, melihat mulut yang sedang mengunyah di dekatnya, lalu jika bergerak ke sana prompt saat ini menjadi “monkey chews”. Di dekatnya ada panah yang menunjuk ke pisang, lebih jauh ada apel, dan sangat jauh di cakrawala ada panah yang menunjuk ke ban. Karena monyet jarang mengunyah ban.
Yang dekat adalah token yang lebih mungkin, yang jauh adalah token yang kurang mungkin, dan semuanya bisa dilihat sekaligus seperti dari atas bukit. Dengan cara seperti ini, saya rasa kita bisa membuat AI statis berbentuk tempat, dengan manusia sebagai satu-satunya agen.
Pikiran saya berubah menjadi department store yang tak terhingga besarnya, setiap lorong adalah cabang pikiran yang berlangsung bersamaan, dan daftar bahan bersama di atas tiap lorong terisi kata, emosi, dan konsep yang terkait dengan cabang tersebut.
Sistem pengumuman menggantikan monolog batin saya, dan meskipun tidak ada lagi monolog batin, pikiran saya terdengar dari luar seperti suara orang lain.
Sambil berjalan di lorong-lorong itu, saya bisa melihat dengan takjub jaringan pikiran simultan yang besar, fraktal, saling bergantung, dan dibuat otak secara real time.
Mungkin itulah sebabnya token dan bahasa begitu berguna bagi manusia. Bisa jadi itu analogi terdekat yang kita miliki.
Sebagai materi yang mirip atau setidaknya sebagian tumpang tindih, saya teringat Introduction to Statistical Learning karya Gareth James dkk., yang bisa dibilang buku rujukan terbaik untuk topik ini
Materi ini mungkin sedikit lebih mudah diakses, tetapi yang terakhir memang terbantu oleh contoh R/Python
[1] https://www.statlearning.com/
Terus terang, belakangan ini saya tidak lagi merekomendasikan ISLR. Menurut saya terlalu usang
Kevin Murphy sepertinya akan segera datang untuk mengganti nama seri Probabilistic Machine Learning miliknya
Cara membedakan antara input berderau, pemrosesan berderau, dan rangkaian berderau itu menarik
Realitas ontologis bukanlah susunan keadaan, melainkan distribusi potensialitas
Potensialitas itu ada, dan probabilitas adalah deskripsi matematis dari distribusinya. Semua atribut adalah dimensi, yakni vektor. Keadaan hanyalah pengukuran sementara dari resolusi
Potensialitas saling berinteraksi melalui interferensi konstruktif dan destruktif, dan interferensi konstruktif/destruktif teresolusi menjadi keadaan dalam pengukuran sesaat yang disebut “sekarang”. Ini adalah proposisi bahwa keniscayaan runtuh
Realitas ontologis bukanlah susunan keadaan, melainkan proses distribusi potensialitas
Gemini 2.0 Experimental 02-05 melihat materi ini “hanya” sebagai 107K token
Berguna jika ingin dibantu memahami isinya dengan memecah-mecahnya
https://aistudio.google.com
“Aproksimasi Laplace” adalah metode cepat dan kasar untuk mengubah distribusi probabilitas yang kompleks menjadi Gaussian sederhana, yaitu kurva berbentuk lonceng
Cara kerjanya adalah menemukan titik tertinggi, yaitu modus, lalu mencocokkan kelengkungan di titik tersebut
Cepat dan mudah, tetapi jika distribusi sebenarnya tidak berbentuk lonceng, hasilnya bisa sangat tidak akurat dan terlalu percaya diri
Saya mengikuti kelas ini di ETH Zurich, dan ini salah satu kelas favorit saya. Saya terutama menyukai cara kelas ini menguantifikasi ketidakpastian dan membangun blok awal untuk reinforcement learning
Menurut saya ini bacaan yang sangat baik bagi data scientist dan engineer machine learning. Dokumen ini adalah catatan kuliah dari kelas tersebut