Statistik Bayesian: Tiga Budaya

• Perdebatan tentang statistik Bayesian bukan sekadar soal satu prior distribution, melainkan bermuara pada perbedaan cara Bayes subjektif, objektif, dan pragmatis memandang model serta proses peninjauannya
• Bayes subjektif adalah pendekatan tradisional: mengasumsikan distribusi pembangkit data, lalu mengodekan keyakinan awal tentang parameter sebagai prior distribution dan melanjutkan ke inferensi posterior
• Bayes objektif memandang inferensi harus bergantung hanya pada model yang diasumsikan dan data, sementara prior distribution harus menjadi yang paling sedikit informatif dalam makna teori informasi
• Bayes pragmatis menyusun model probabilitas gabungan untuk seluruh kuantitas teramati dan tak teramati, melakukan conditioning pada data, lalu meninjau kecocokan model dan kesimpulan, serta mengulang bila perlu
• Proses iteratif ini dekat dengan desain iteratif dalam rekayasa dan cara kerja umum dalam machine learning, sehingga analisis Bayesian dipandang sebagai workflow pemodelan nyata, bukan filosofi yang kaku

---

Membedakan tiga budaya Bayes

• Bayes subjektif pertama-tama mengasumsikan distribusi pembangkit data, yaitu likelihood jika dilihat sebagai fungsi dari parameter
• Di bawah asumsi itu, keyakinan yang sudah ada tentang parameter dinyatakan sebagai prior distribution
• Setelah itu, inferensi posterior dilakukan, dengan pendekatan yang cenderung tidak meninjau kembali langkah sebelumnya
• Tidak jelas apakah pernah benar-benar ada orang yang secara ketat mengikuti filosofi ini, atau apakah hari ini ada orang yang akan mendaftarkan dirinya sebagai Bayesian subjektif

Motivasi Bayes objektif dan reference prior

• Bayes objektif dapat dipandang sebagai filosofi yang lahir dari gabungan dorongan untuk memakai uji hipotesis, khususnya Bayes factor, dan “Bayesian cringe”
• Makalah reference prior Berger, Bernardo, dan Sun tahun 2009 menjelaskan bahwa reference analysis menghasilkan inferensi Bayesian yang objektif
  • Pernyataan inferensi hanya bergantung pada model yang diasumsikan dan data yang tersedia
  • Prior distribution yang digunakan harus paling sedikit informatif dalam makna teori informasi tertentu
• Arus ini masih berlanjut melalui konferensi dan buku-buku berjudul “objective Bayes”
• Prior distribution lebar gamma(epsilon, epsilon) dan normal(0, 10_000) yang digunakan dalam contoh BUGS juga, sampai batas tertentu, berada di balik arus ini

Bayes pragmatis dan tiga tahap BDA

• Pendekatan Andrew Gelman dapat disebut Bayes pragmatis
• Edisi pertama Bayesian Data Analysis karya Gelman, Carlin, Stern, dan Rubin mengidealkan proses analisis data Bayesian ke dalam tiga tahap
  • Menetapkan model probabilitas lengkap untuk seluruh kuantitas teramati dan tak teramati, yaitu distribusi probabilitas gabungan
  • Melakukan conditioning pada data teramati untuk menghitung dan menafsirkan distribusi posterior dari kuantitas tak teramati yang diminati
  • Mengevaluasi kecocokan model, validitas kesimpulan yang diimplikasikan oleh distribusi posterior, serta sensitivitas terhadap asumsi pemodelan
• Jika ada masalah, model diubah atau diperluas, lalu tiga tahap yang sama diulang
• Di sini, model probabilitas adalah model gabungan yang mencakup prior distribution dan likelihood
• Input dinyatakan sebagai “knowledge” alih-alih “belief”
• Proses menilai seberapa baik model cocok dengan data dan hasil prediksinya, lalu mencoba lagi jika ada masalah, belakangan disebut “workflow”

Desain iteratif yang akrab dalam rekayasa dan machine learning

• Cara ini sama dengan prosedur operasi standar yang dalam rekayasa disebut desain iteratif (iterative design)
• Hampir semua machine learning juga dilakukan dengan cara seperti ini
• Bagi mereka yang berlatar belakang ilmu komputer dan machine learning, bagian yang mengejutkan adalah bahwa para statistikawan tidak selalu berpikir dengan cara seperti ini

Strategi BDA dan menghindari perdebatan filosofis

• Saat menulis edisi pertama BDA, Andrew Gelman memilih untuk benar-benar “melakukan” sains daripada membahas filosofi secara panjang lebar
• Gelman dan Rubin tidak memberi nama tersendiri untuk proses desain iteratif mereka
• Karena sulit merumuskan secara tepat keyakinan filosofis orang lain, dan lebih sulit lagi mengubahnya lewat perdebatan, pilihan ini tampak bijak
• Mirip dengan “show, don’t tell”, pendekatan ini menunjukkan metodologi melalui pemodelan nyata dan praktik sains, bukan lewat perdebatan filosofis

Prior distribution dan likelihood harus dibahas bersama

• Sebagian pembahasan memang tentang prior distribution, tetapi pemilihan prior distribution tidak lebih subjektif ataupun kurang subjektif dibanding pemilihan likelihood
• Tulisan Andrew Gelman “Straining on the gnat of the prior distribution while swallowing the camel that is the likelihood” merangkum sudut pandang ini
• Secara filosofis, ada preferensi untuk memperlakukan prior distribution dan likelihood dengan ungkapan epistemologis knowledge alih-alih “belief”
• Framing ini pertama kali diberikan oleh Laplace, dieksplorasi lebih mendalam oleh John Stuart Mill, dan juga diikuti Gelman dkk. dalam BDA

Silsilah judul dan dua budaya Breiman

• Pada 1959, C.P. Snow menulis “The two cultures”, yang membahas kontras antara seni dan sains
• Pada 2001, L. Breiman menulis artikel berpengaruh “Statistical modeling: the two cultures”
• Kontras Breiman menyangkut perbedaan antara cara yang memodelkan proses pembangkitan secara eksplisit dan cara yang memakai model sangat fleksibel, yang dalam istilah machine learning setara dengan model berkapasitas tinggi
• Dalam penelitiannya, Breiman mendukung decision forests, dan pendekatan ini masih menang dalam kompetisi Kaggle yang datanya tidak cukup untuk menyesuaikan neural networks modern
• Tulisan ditutup dengan pertanyaan apakah decision forests dan neural networks termasuk contoh yang Andrew sebut “unfolding flower”

[GN⁺]

Komentar Hacker News

• Penulis tampaknya membagi Bayesian ke dalam dua sumbu: (1) seberapa informatif distribusi prior ditetapkan berdasarkan pengetahuan atau keyakinan tentang dunia, dan (2) apakah bentuk fungsi model diperbaiki secara iteratif dengan melihat kecocokan serta validitas dan kegunaan keluarannya
  Dari kombinasi ini, tiga di antaranya disebut informatif+iteratif=praktis, informatif+non-iteratif=subjektif, dan non-informatif+non-iteratif=objektif, tetapi yang paling sulit disetujui justru kotak non-informatif+iteratif yang dibiarkan kosong
  Menurut saya, sebagian besar orang di industri yang menyebut diri mereka Bayesian masuk ke kotak ini. Bentuk fungsi model, yakni proses pembangkitan data yang diasumsikan, jelas baik dan perlu untuk terus disempurnakan secara iteratif, dan karena sering kali data cukup besar untuk mengalahkan distribusi prior, prior biasanya non-informatif atau hanya lemah informatif
  Jadi seluruh kolom non-iteratif terasa seperti straw man, tetapi penulis secara eksplisit mengatakan bahwa ia sendiri dulu percaya begitu, lalu “terkejut ketika mengetahui bahwa para statistikawan tidak berpikir seperti ini”

  • Non-iteratif memang ada, dan tidak selalu karena alasan buruk. Penyempurnaan model secara iteratif dilakukan agar model menjadi lebih baik menurut kriteria apa pun, tetapi dalam penelitian ilmiah ada insentif yang terdistorsi yang kuat di sekitar kriteria signifikansi dan hasil positif
    Situasi seperti “garden of forking paths”, ketika analisis berubah bergantung pada data, tampaknya juga menjadi penyebab langsung krisis statistik dan epistemologis dalam sains saat ini. Iterasi itu sendiri tidak buruk, tetapi fungsi objektif yang dioptimalkan sering kali berbeda dari apa yang diinginkan secara ilmiah
    Bagi peneliti sains nyata, menyesuaikan model secara iteratif bisa terasa seperti tindakan yang agak tidak jujur, dan hal ini tampaknya juga sangat terkait dengan epistemologi cacat yang telah menjadi titik temu banyak bidang, yaitu kerangka jika p<0,05 maka benar, jika tidak maka salah
    Dengan kata lain, inti ketidaknyamanannya mungkin terletak pada jumlah derajat kebebasan yang dikendalikan analis. Dalam konteks Bayesian, jika prior dipilih berdasarkan keyakinan atau data masa lalu, analis memperoleh kendali yang sangat besar atas seperti apa hasilnya nanti
    Karena itu, menurut saya banyak bidang lebih condong ke sekumpulan uji “standar” daripada membuat model statistik yang baik. Uji-uji seperti ini mengambil sebagian besar kenop pengatur dari tangan analis, dan umumnya bekerja lebih konservatif
  • Saya tidak terlalu memahami sisi Bayesian, tetapi saya penasaran apakah metode nonparametrik Bayesian termasuk dalam pendekatan “non-informatif + iteratif”
    Mungkin saya sedang melihat ke arah yang benar-benar keliru, tetapi saya tidak tahu di mana pemikiran atau pemahaman saya meleset
  • Menariknya, dalam pengalaman saya, hampir seluruh machine learning modern berjalan sebagai Bayesian praktis. Kita mencari ELBO, memilih tren variabel laten terbaru yang paling baik memodelkan domain masalah, lalu sekarang ini biasanya memakai Transformer dan mulai menjalankan eksperimen

• Saya rindu masa kuliah ketika para profesor berdebat tanpa henti tentang Bayesian vs frequentist
  Tulisan ini sangat ringkas, tetapi juga menjelaskan mengapa bahkan di antara profesor Bayesian pun pendekatan terhadap riset dan analisis bisa berbeda. Saya tidak tahu ada kubu ketiga, yaitu Bayesian praktis, tetapi itu jelas bersinggungan dengan penelitian salah satu profesor yang sangat teliti melakukan fitting probabilistik dan banyak iterasi untuk benar-benar mencocokkan prior dan fungsi kepadatan probabilitas gabungan
  Saya juga sangat merekomendasikan ceramah Andrew Gelman “Andrew Gelman - Bayes, statistics, and reproducibility (Rutgers, Foundations of Probability)” bagi para data scientist

  • Tautan ceramah: https://youtu.be/xgUBdi2wcDI
  • Kalau bicara sedikit provokatif tentang perdebatan frequentist vs Bayesian, tiga budaya ini tampak seperti berikut
    Bayesian subjektif adalah straw man yang disukai akademisi frequentist untuk diserang, Bayesian objektif adalah citra diri naif yang dimiliki banyak akademisi Bayesian, dan Bayesian praktis adalah pendekatan yang diambil praktisi yang menerapkan statistik pada sesuatu yang nyata, atau dalam istilah Gelman, orang-orang yang melakukan sains
  • Belakangan saya juga mendengar Statistika Fiducial sebagai kubu ketiga. Episode 581 podcast Super Data Science yang menghadirkan editor Harvard Business Review cukup menarik
  • Di negara asal saya, pendekatan frequentist umumnya dominan, tetapi hampir tidak ada pertarungan dengan Bayesian, jadi saya selalu merasa heran. Itu hanya kumpulan teori dan alat matematika, dan pakailah yang berguna
    Saya masih berpikir kecenderungan orang Amerika untuk tidak menyukai sudut pandang frequentist adalah karena pendekatan itu menuntut latar belakang matematika yang lebih kuat

• Saya selalu tidak suka suasana yang menuntut kita menentukan termasuk “klub” mana, atau berada di “pihak” mana. Saya juga tidak suka gagasan bahwa masalah yang terlihat dalam sains saat ini bisa direduksi menjadi pilihan filsafat inferensi tertentu
  Dalam banyak hal saya lebih dekat ke arah teori informasi, dan kalau harus disebut mungkin Bayesian objektif, tetapi sebenarnya saya bukan frequentist maupun Bayesian
  Pembagian “tiga budaya” ini tampak agak seperti sulap tangan. Budaya “praktis” tidak eksklusif terhadap Bayesian subjektif maupun objektif, sehingga tidak banyak menjelaskan bagaimana prior seharusnya ditentukan atau ditafsirkan
  Gelman mungkin akan mengatakan istilah yang lebih baik adalah sesuatu seperti “fleksibilitas”, tetapi dengan begitu tetap tersisa pertanyaan kapan harus mengambil jalur objektif, kapan jalur subjektif, dan mengapa. Memformalkan hal itu tampaknya lebih baik daripada membiarkannya seperti tabir asap
  Selain itu, kalau berperan sebagai devil’s advocate, budaya “praktis” juga menunjukkan mengapa Bayesian bisa tampak mencurigakan. Alur “memilih prior”, “melihat seberapa cocok”, lalu “mengulangi” bisa terlihat seperti fine-tuning model atau p-hacking
  Saya tahu niatnya bukan begitu, dan saya juga tahu pemodelan tidak bisa dilakukan tanpa fine-tuning, tetapi dengan pendekatan seperti itu, prior tampak seperti satu lagi derajat kebebasan untuk sedikit mendorong hasil dan memancing temuan
  Saya pernah menulis dan menyunting makalah inferensi Bayesian, dan masalahnya tidak pernah ada pada teori yang kuat. Masalahnya ada pada bagaimana orang benar-benar menggunakannya dan menyalahgunakannya

• Jika ingin mendapatkan perspektif yang tepat tentang metode frequentist modern, saya merekomendasikan “In All Likelihood” karya Yudi Pawitawn
  Pada bab-bab awal, buku itu menjelaskan dengan cukup fasih perbedaan antara paradigma frequentist dan Bayesian, terutama kekuatan model frequentist yang dirancang dengan baik atau model berbasis likelihood
  Dengan beberapa pengecualian, jika seorang Bayesian benar-benar menggunakan prior noninformatif, analis yang sama seharusnya mendapatkan jawaban yang sama baik memakai model Bayesian maupun model frequentist. Di bidang tempat saya bekerja, bahkan bisa dibilang 99% peneliti yang memakai metode Bayesian menggunakan prior noninformatif, sehingga kadang saya bertanya-tanya apakah mereka memakai Bayesian hanya karena terlihat keren dan lebih mudah lolos peer review
  Pada model yang kompleks, misalnya model dengan ratusan atau ribuan parameter, bisa sangat sulit mengetahui apakah suatu prior benar-benar noninformatif dalam konteks dataset tertentu. Kita harus menunggu model selesai dijalankan, dan jika prior diubah secara sistematis, itu bisa memakan waktu sangat lama bahkan dengan sumber daya komputasi berkinerja tinggi
  Selain itu, dalam lingkungan Bayesian, mudah sekali “merekatkan” model dengan satu atau beberapa prior secara kebetulan; padahal dalam frequentist, model seperti itu mungkin akan meledak karena Hessian yang tidak positif-definit dan memberi diagnosis bahwa “model ini mungkin kacau atau terlalu kompleks untuk dataset-nya”
  Orang bisa saja menertawakan model dengan kompleksitas seperti ini, tetapi di banyak lingkungan aplikasi, itulah kenyataannya. Contohnya model ruang-waktu yang menghadapi masalah “n besar”, atau model penilaian perikanan terpadu yang menyediakan informasi tentang status sumber daya dan keberlanjutan
  Jadi, meskipun saya mengajar inferensi Bayesian tingkat pascasarjana, keluhan utama saya terhadap statistik Bayesian adalah bahwa ia terlalu mudah disalahgunakan oleh non-statistikawan dan pemula. Apalagi sekarang perangkat lunak yang sangat fleksibel juga terbuka bagi non-statistikawan seperti biolog
  Secara keseluruhan, saya sangat sependapat dengan argumen Gelman bahwa kedua paradigma sama-sama subjektif, dan bahwa pada akhirnya semuanya bertumpu pada kura-kura—yakni subjektivitas

  • Saya setuju dengan rekomendasi “In All Likelihood”, tetapi perlu juga disebutkan bahwa buku itu menjelaskan pendekatan ketiga yang tidak bergantung pada probabilitas subjektif maupun probabilitas objektif
  • Jika masalahnya adalah non-statistikawan dan pemula dapat dengan mudah menyalahgunakan statistik Bayesian, bukankah statistik frequentist juga begitu? :-)

• Menurut saya, probabilitas adalah konsep yang tidak terdefinisi dengan baik dan tidak dapat difalsifikasi. Meski begitu, secara empiris tampaknya cukup baik dalam memodelkan sebagian aspek dunia. Namun, mungkinkah ia juga menyesatkan kita?
  Apa sebenarnya arti kalimat p(X)=0.5, yaitu probabilitas peristiwa X adalah 0,5? Apakah itu sebuah proposisi? Jika ya, apakah dapat difalsifikasi, dan bagaimana caranya?
  Jika bukan proposisi, apa artinya? Saya akan berterima kasih jika ada orang dengan landasan teoretis yang lebih kuat bisa menjelaskan. Masih banyak yang ingin saya katakan, tetapi terlebih dulu saya ingin mendengar jawaban dari orang-orang yang punya latar belakang yang ketat

  • Sebagai teori matematika, probabilitas terdefinisi dengan baik. Probabilitas adalah penerapan dari topik yang lebih besar, yaitu teori ukuran, dan teori ukuran juga menyediakan landasan teoretis bagi kalkulus
    Semua probabilitas didefinisikan oleh tiga hal: sebuah himpunan, himpunan dari subhimpunan himpunan tersebut—sederhananya, cara mengelompokkan berbagai hal—dan sebuah fungsi yang memetakan subhimpunan-subhimpunan itu ke angka antara 0 dan 1. Agar valid, himpunan subhimpunan, yang juga disebut peristiwa, harus memenuhi aturan tambahan
    Contoh p(X)=0.5 hanya berarti suatu fungsi menetapkan nilai 0,5 pada suatu subhimpunan yang disebut X
    Alasan mengapa ini tampak bagus untuk memodelkan dunia nyata bisa ditemukan pada asal-usul teorinya. Ia tidak muncul dari ketiadaan, melainkan dibuat karena orang ingin memformalkan peristiwa di dunia nyata yang tampak acak
  • Secara pribadi, saya sampai pada kesimpulan bahwa probabilitas adalah konsep yang terdefinisi dengan baik dan dapat diuji hanya dalam situasi yang bisa diperdebatkan dari simetri eksak tertentu
    Lempar koin, permainan untung-untungan, dan banyak masalah dalam fisika statistik termasuk di sini. Sebaliknya, dalam penalaran, prediksi, dan estimasi dunia nyata, probabilitas bersifat subjektif dan jauh lebih sulit dikuantifikasi daripada yang dibayangkan para statistikawan, termasuk Bayesian
    Apakah probabilitas bisa menyesatkan kita? Menurut saya ya. Saya makin kuat merasa bahwa semua sains yang mengandalkan pengujian hipotesis statistik sebagai metode empiris utama pada dasarnya lebih mirip tumpukan sampah raksasa, dan krisis reprodusibilitas hanyalah puncak gunung es. Ini mencakup ekonomi, psikologi sosial, sebagian besar kedokteran, data science, dan sebagainya
    Kalimat seperti p(X)=0.5 dalam kebanyakan kasus saya anggap sebagai proposisi yang tidak dapat difalsifikasi. Bahkan untuk lempar koin, di mana eksperimen bisa dilakukan banyak kali dengan murah, Anda harus melakukannya sejuta kali hanya untuk “mengonfirmasi” probabilitas yang dihitung dengan presisi sekitar 1%. Menurut standar ilmu presisi, itu buruk sekali, dan akan makin buruk jika asumsinya kurang kokoh, ruang sampelnya lebih kompleks, atau biaya replikasinya lebih besar
  • Probabilitas bukan satu konsep, melainkan keluarga konsep yang saling terkait. Probabilitas epistemik dalam Bayesian subjektif adalah konsep yang berbeda dari probabilitas frequentist, meski tentu saja dalam beberapa hal berhubungan
    Jika definisi-definisi yang tidak saling kompatibel dicampuradukkan, tidak mengherankan kalau ia tampak seperti “konsep yang definisinya tidak jelas dan tidak dapat difalsifikasi”
    Dari sudut pandang Bayesian subjektif, p(X) adalah ukuran tingkat keyakinan saya, atau seseorang tertentu, bahwa suatu proposisi benar; penilaian atas bobot bukti yang mendukung dan menentangnya; atau tingkat pengetahuan saya tentang benar-salahnya proposisi itu
    0,5 berarti tidak ada keyakinan ke salah satu sisi, tidak ada bukti ke salah satu sisi atau bukti di kedua sisi sepenuhnya saling meniadakan, dan sama sekali tidak ada pengetahuan tentang apakah proposisi itu benar
    Ini adalah proposisi dalam arti yang sama seperti “Paus percaya bahwa Tuhan ada” adalah proposisi. Terlepas dari apakah Tuhan benar-benar ada atau tidak, bahwa Paus mempercayai hal itu sangat masuk akal untuk dianggap benar
    Karena itu, klaim tentang keyakinan saya mudah difalsifikasi lewat introspeksi saya sendiri, dan klaim tentang keyakinan orang lain juga dapat difalsifikasi jika kita bisa bertanya kepadanya, ia bersedia menjawab, dan kita menganggap ia tidak punya alasan untuk berbohong
  • Memang benar bahwa klaim spesifik seperti p(X=x)=a pada umumnya tidak dapat difalsifikasi. Namun, fungsi p secara keseluruhan dapat dibandingkan, dan kita bisa mengatakan mana yang lebih cocok dengan data
    Misalnya, katakanlah Nate Silver dan Andrew Gelman masing-masing memublikasikan probabilitas untuk hasil semua kontes dalam pemilu November. Setelah hasil pemilu keluar, kita tidak bisa mengatakan apakah probabilitas individualnya benar atau salah, tetapi kita bisa mengatakan siapa yang lebih akurat
  • Jika hasil 1000 kali lempar koin adalah 99% sisi depan dan 1% sisi belakang, dan Anda yakin bahwa proses yang sama digunakan untuk semua lemparan, lalu Anda punya kesempatan bertaruh pada sisi belakang dengan payout 50%, apakah Anda akan bertaruh?
    Ini adalah jawaban praktis untuk menolak P(X)=0.5. Dan kita bisa mencoba memahami keputusan praktis ini dengan suatu teori. Sebagai tambahan, karena angka tepat 0,5 hampir mustahil, lebih masuk akal memeriksa apakah ia berada dalam interval seperti (0.49, 0.51)
    Teorema limit pusat mengatakan bahwa jika kita melakukan percobaan independen, kita bisa memperoleh probabilitas X, dan dalam limit, jumlah rata-rata kemunculan X akan mendekati p(X)
    Namun, ‘limit’ berarti jumlah percobaan yang tak hingga, sehingga deret awal mana pun tidak menentukan limit tersebut. Kita harus memilih N yang besar sebagai acuan dan mengambil rata-ratanya
    Tetapi apakah ini hanya khas probabilitas? Jika ada kalimat tentang dunia seperti “ada pohon di lokasi G”, dan ada prosedur untuk memeriksa kalimat itu, misalnya “pergi ke G dan cari pohonnya”, bisakah kita mengatakan bahwa prosedur itu pasti menentukan benar-salahnya kalimat tersebut? Selalu ada hambatan, misalnya “bayangan semu yang tampak seperti pohon”, dan sebagainya. Untuk mengecualikan semua hambatan seperti itu, kita harus mengandaikan proses observasi yang diidealkan
    Idealisasi yang bekerja dalam verifikasi probabilitas adalah observasi independen yang tak hingga, dan itulah yang memberikan p(X)
    Saya tidak sedang berusaha membela frequentisme; maksud saya, kebutuhan akan idealisasi proses observasi tidak semestinya dianggap sebagai hambatan yang luar biasa besar. Tentu saja, jika ada hambatan prinsipil seperti pengamatan posisi dan momentum secara bersamaan dalam mekanika kuantum, kita mungkin saja meninggalkan konsep probabilitas

• Perlu diingat bahwa tulisan polemis Breiman adalah tentang metode generatif vs metode diskriminatif. Artinya, analisis sebaiknya tidak dimulai dari bagaimana pembangkitan data dapat dimodelkan, melainkan dari prediksi
  Dari arus itulah muncul metode black-box non-generatif seperti boosting tree, bagging, random forest, dan XGBoost
  Bahkan saat ini pun, sebagian besar alat machine learning klasik tidak bersifat generatif

• Hal baik dari statistik Bayesian adalah sifatnya yang subjektif. Anda bahkan tidak harus termasuk dalam mazhab subjektivis; Anda bisa memilih interpretasi sesuai penilaian subjektif Anda sendiri
  Saya melihat ini sebagai kekuatan Bayesianisme. Dalam pekerjaan statistik apa pun, penilaian subjektif manusia individual pasti meresap ke dalamnya. Justru lebih objektif bila kita tidak menghindari fakta yang tak berubah ini

  • Tepat tidaknya masing-masing pendekatan sangat bergantung pada apa yang dimodelkan dan konsekuensi kesalahan yang menyertainya

• Bayesian hacking: mencari iterasi yang memberikan signifikansi terbesar bagi riset sendiri

• Di mana posisi deep learning?

  • Keyakinan implisit yang, menurut penulis, dimiliki bersama oleh para praktisi adalah bahwa mereka berusaha membuat model yang sesuai dengan suatu “proses pembangkitan data” yang mendasarinya
    Praktisi machine learning bisa memakai model yang mirip dengan, bahkan sama dengan, model para statistikawan Bayesian, tetapi mereka cenderung menilai model terutama, atau sepenuhnya, berdasarkan kinerja prediksi, bukan berdasarkan intuisi tentang mengapa data memiliki nilai seperti itu
    Lihat makalah klasik Breiman “Two Cultures” yang dirujuk oleh judul tulisan ini: https://projecteuclid.org/journals/statistical-science/volum...
  • Sebagian besar model diturunkan dari prinsip-prinsip machine learning, yang merupakan campuran teori probabilitas klasik, statistik frequentist dan Bayesian, serta banyak dasar ilmu komputer
    Meski begitu, ada juga kemajuan dalam inferensi Bayesian dan Bayesian deep learning, jadi ada baiknya melihat pekerjaan pada framework seperti Pyro yang dibuat di atas PyTorch
  • Pada level tinggi, statistik Bayesian dan deep learning berbagi tujuan yang sama, yaitu menyesuaikan parameter model
    Khususnya, inferensi variasional adalah keluarga teknik yang membuat masalah semacam ini bisa dihitung. Ia muncul di banyak tempat, mulai dari variational autoencoder, pemodelan state-space deret waktu, hingga reinforcement learning
    Jika ingin belajar lebih lanjut, saya merekomendasikan buku teks machine learning karya Murphy: https://probml.github.io/pml-book/book2.html
  • Deep neural network hanyalah model data yang sangat kompleks, dan cara menangani estimasi parameternya serta prediksi data baru menentukan apakah pendekatannya Bayesian atau frequentist
    Bayesian memberi distribusi pada parameter, lalu mengondisikannya pada data untuk memperoleh distribusi posterior, dan berdasarkan itu memperoleh distribusi prediktif posterior untuk data baru
    Sebaliknya, frequentist memandang parameter sebagai besaran tetap dan mengestimasinya hanya dengan likelihood. Misalnya memakai maximum likelihood, dan bisa juga menggunakan trik seperti regularisasi; hal-hal seperti ini pun dapat diberi interpretasi Bayesian
  • https://en.wikipedia.org/wiki/Statistical_learning_theory