Statistik Bayesian: Tiga Budaya

Bayes subjektif (Subjective Bayes)

• Mazhab Bayes subjektif tradisional mengasumsikan distribusi pembangkit data (yakni likelihood sebagai fungsi dari parameter)
• Dengan mengondisikan pada asumsi ini, keyakinan awal dienkodekan sebagai distribusi prior atas parameter
• Setelah itu dilakukan inferensi posterior dan tidak menoleh lagi
• Tidak jelas apakah saat ini ada yang mengikuti filosofi ini secara ketat, atau menganggap dirinya sebagai bagian dari mazhab Bayes subjektif

Bayes objektif (Objective Bayes)

• Filosofi "Bayes objektif" berasal dari gabungan keinginan melakukan pengujian hipotesis (menggunakan Bayes factor) dan rasa kuat terhadap apa yang disebut Andrew sebagai "Bayes cringe"
• Mengutip dari makalah salah satu pendukung utamanya:

Analisis referensi menghasilkan inferensi Bayes objektif dalam arti bahwa pernyataan inferensial hanya bergantung pada model yang diasumsikan dan data yang tersedia, serta dalam arti bahwa prior yang digunakan untuk inferensi memiliki informasi minimal dalam pengertian teori informasi

• Dari diadakannya konferensi dan diterbitkannya buku dengan "Objective Bayes" di judulnya, tampak bahwa masih banyak orang yang melakukan pekerjaan yang dicirikan oleh pendekatan ini
• Sampai taraf tertentu, pendekatan ini menjadi latar belakang prior gamma(epsilon, epsilon) dan normal(0, 10_000) yang banyak digunakan dalam contoh BUGS

Bayes pragmatis (Pragmatic Bayes)

• Andrew mengikuti filosofi yang ia sebut "Bayes pragmatis"
• Disajikan dengan jelas dalam edisi pertama buku Gelman, Carlin, Stern, Rubin, "Bayesian Data Analysis"

1. Menyusun model probabilistik lengkap, yaitu distribusi probabilitas gabungan untuk semua kuantitas yang dapat diamati maupun tidak dapat diamati. Model harus selaras dengan pengetahuan tentang masalah ilmiah yang mendasari dan proses pengumpulan data
2. Menghitung dan menafsirkan distribusi posterior yang sesuai, yaitu distribusi probabilitas kondisional dari kuantitas tak teramati yang diminati, dengan mengondisikan pada data yang diamati
3. Mengevaluasi kecocokan model dan implikasi dari distribusi posterior yang dihasilkan: seberapa baik model sesuai dengan data, apakah kesimpulan substantif masuk akal, dan seberapa sensitif hasilnya terhadap asumsi model pada langkah 1. Sebagai tanggapan, model dapat dimodifikasi atau diperluas dan ketiga langkah tersebut diulang

• Inilah proses yang pada akhirnya Andrew beri nama "workflow"

Prosedur operasi standar dalam rekayasa

• Ini adalah prosedur operasi standar yang dalam rekayasa disebut "desain iteratif"
• Hampir semua machine learning dilakukan dengan cara ini
• Sebagai orang yang datang dari latar belakang CS dan ML, saya terkejut mengetahui bahwa para statistisi tidak berpikir dengan cara ini

Catatan tambahan tentang strategi saat menulis BDA

• Andrew mengatakan bahwa pada awal penulisan edisi pertama BDA, ia membuat keputusan eksplisit untuk melewati filsafat dan langsung "melakukan" sains
• Ia dan Rubin tidak memberi nama pada proses desain iteratif mereka
• Ini adalah pilihan yang bijak karena sulit untuk mencirikan keyakinan filosofis orang lain secara akurat, dan lebih sulit lagi mengubahnya lewat perdebatan
• Jika metode ilmiah memerlukan klausul pengecualian filsafat sains, mungkin itu bukan sains yang terlalu meyakinkan

Catatan tambahan tentang likelihood vs prior

• Saya setuju dengan pandangan Andrew bahwa pilihan prior tidak lebih "subjektif" maupun kurang "subjektif" daripada pilihan likelihood
• Andrew merangkum ini dengan ringkas dalam tulisan berjudul "Menelan unta bernama likelihood sambil merisaukan nyamuk bernama prior"

Catatan tambahan tentang keyakinan vs pengetahuan

• Dari sudut pandang filosofis, saya lebih suka mencirikan prior dan likelihood secara epistemologis dalam kerangka "pengetahuan" daripada "keyakinan"
• Ini adalah kerangka yang mula-mula diberikan oleh Laplace dan dieksplorasi lebih mendalam oleh John Stuart Mill, lalu diikuti oleh Gelman dkk. dalam BDA

Catatan tambahan tentang etimologi judul post ini

• Pada 1959, C.P. Snow menulis esai terkenal "Dua Budaya" tentang seni vs sains
• Pada 2001, L. Breiman menulis esai berpengaruh "Statistical Modeling: The Two Cultures" tentang pembedaan antara pemodelan eksplisit proses generatif dan penggunaan model yang sangat fleksibel
• Breiman mendukung decision forest dalam karyanya, dan pendekatannya masih menang dalam kompetisi Kaggle yang datanya tidak cukup untuk melatih neural network mutakhir
• Saya penasaran apakah Andrew menganggap decision forest dan neural network sebagai contoh dari apa yang ia sebut "bunga yang mekar"

Opini GN+

• Dua pendekatan tradisional, yaitu Bayes subjektif dan Bayes objektif, terlalu ekstrem. Pendekatan Bayes pragmatis menawarkan titik kompromi yang realistis dan berguna
• Setuju dengan pandangan bahwa pemilihan prior sama subjektifnya dengan pemilihan likelihood. Semua komponen model melibatkan subjektivitas dan asumsi
• Pendekatan "workflow" yang mengevaluasi model, memeriksa kinerja prediksi, dan mengulang bila perlu harus menjadi standar dalam sains
• Menggunakan prior informatif berdasarkan data masa lalu bukan hal yang langka, dan seharusnya dimanfaatkan dalam lebih banyak analisis Bayesian
• Pada akhirnya, berfokus pada benar-benar melakukan sains, bukan pada filosofi inferensi Bayesian, adalah strategi yang bijak. Namun, sesekali membahas dasar-dasar inferensi juga bernilai