Paradoks Simpson
(en.wikipedia.org)- Paradoks Simpson adalah fenomena probabilitas dan statistik ketika tren yang terlihat pada subkelompok menghilang atau berbalik saat data digabungkan, sehingga penilaian bisa sangat terdistorsi jika hanya melihat data agregat
- Jika data frekuensi langsung ditafsirkan sebagai sebab-akibat, variabel perancu mudah terlewat, dan ini menjadi masalah khususnya dalam statistik ilmu sosial dan kedokteran
- Contoh penerimaan pascasarjana UC Berkeley, pengobatan batu ginjal, dan rata-rata pukulan bisbol profesional menunjukkan bahwa perbandingan per subkelompok dan perbandingan total gabungan dapat menghasilkan kesimpulan yang berbeda
- Pembalikan rasio juga dapat dijelaskan dari sudut pandang vektor, dan keterbatasan utamanya adalah sulit menentukan apakah data harus dipisah atau digabung hanya dengan melihat tabel
- Interpretasi yang benar memerlukan model kausal seperti back-door criterion dan do-calculus dari Pearl, dan memahami proses terbentuknya data lebih penting daripada sekadar agregasi sederhana
Fenomena dan nama
- Paradoks Simpson adalah fenomena ketika tren yang muncul di beberapa kelompok data menghilang atau justru berbalik saat kelompok-kelompok itu digabung
- Ini sangat berbahaya terutama saat memberi interpretasi kausal yang berlebihan pada data frekuensi, dan variabel perancu serta hubungan sebab-akibat harus ditangani dengan tepat dalam pemodelan statistik
- Ini digunakan sebagai contoh utama untuk menunjukkan bagaimana penyalahgunaan statistik dapat menghasilkan kesimpulan yang salah
- Edward H. Simpson menjelaskan fenomena ini dalam makalah teknis pada 1951, sementara Karl Pearson pada 1899 dan Udny Yule pada 1903 lebih dulu menyebut efek serupa
- Nama
Simpson's paradoxdiperkenalkan oleh Colin R. Blyth pada 1972 - Nama lain yang digunakan antara lain Simpson's reversal, Yule–Simpson effect, amalgamation paradox, dan reversal paradox
Kasus penerimaan pascasarjana UC Berkeley
- Dalam data penerimaan pascasarjana University of California, Berkeley pada musim gugur 1973, secara total pelamar laki-laki tampak memiliki peluang diterima lebih tinggi daripada pelamar perempuan, dan selisihnya cukup besar sehingga sulit dianggap kebetulan
- Dari total 12.763 pelamar, tingkat penerimaan keseluruhan adalah 41%
- Tingkat penerimaan untuk 8.442 laki-laki adalah 44%
- Tingkat penerimaan untuk 4.321 perempuan adalah 35%
- Jika informasi per jurusan diperhitungkan, muncul pola yang berbeda dari hasil agregat keseluruhan
- Perempuan cenderung lebih banyak melamar ke jurusan yang lebih kompetitif dengan tingkat penerimaan lebih rendah
- Laki-laki cenderung lebih banyak melamar ke jurusan yang kurang kompetitif dengan tingkat penerimaan lebih tinggi
- Data agregat dan data yang disesuaikan menunjukkan bias kecil namun signifikan secara statistik yang menguntungkan perempuan
- Dari total 85 jurusan, ada 4 jurusan yang menunjukkan bias signifikan yang merugikan perempuan, dan 6 jurusan yang menunjukkan bias signifikan yang merugikan laki-laki
- Kesimpulan tersebut tidak didasarkan pada jumlah jurusan yang bias itu sendiri, melainkan pada hasil penerimaan berdasarkan gender di seluruh jurusan yang dibobot menurut tingkat penolakan tiap jurusan terhadap total pelamar jurusan itu
Kasus pengobatan batu ginjal
- Dalam penelitian medis nyata, paradoks Simpson muncul saat membandingkan tingkat keberhasilan pengobatan batu ginjal A dan B
- Treatment A mencakup prosedur operasi terbuka
- Treatment B mencakup prosedur operasi tertutup
- Jika dilihat menurut ukuran batu, tingkat keberhasilan Treatment A lebih tinggi
- Batu kecil: A 93%
(81/87), B 87%(234/270) - Batu besar: A 73%
(192/263), B 69%(55/80)
- Batu kecil: A 93%
- Namun jika ukuran batu digabung, Treatment B tampak memiliki tingkat keberhasilan lebih tinggi
- Total: A 78%
(273/350), B 83%(289/350)
- Total: A 78%
- Pembalikan ini terjadi karena pilihan pengobatan dan tingkat kesulitan kasus bekerja bersamaan
- Dokter cenderung lebih sering menerapkan Treatment A yang lebih baik pada batu besar, dan lebih sering menerapkan Treatment B yang relatif lebih buruk pada batu kecil
- Karena ukuran batu sangat memengaruhi tingkat keberhasilan, tingkat keparahan kasus memberi pengaruh lebih besar pada rasio keseluruhan daripada pilihan pengobatan
- Alasan Treatment B yang kurang efektif tampak lebih efektif adalah karena lebih sering diterapkan pada kasus batu kecil yang lebih mudah ditangani
- Jaynes menilai bahwa Treatment A jelas lebih baik daripada Treatment B, tetapi ukuran batu ginjal adalah variabel yang lebih penting
Kasus rata-rata pukulan bisbol profesional
- Paradoks Simpson juga dapat muncul dalam rata-rata pukulan pemain bisbol profesional
- Seorang pemain bisa memiliki rata-rata pukulan lebih tinggi daripada pemain lain pada masing-masing dari beberapa tahun, tetapi memiliki rata-rata yang lebih rendah ketika semua tahun digabung
- Ken Ross menunjukkan hal ini dengan rata-rata pukulan Derek Jeter dan David Justice pada 1995 dan 1996
- 1995: Jeter
12/48,.250; Justice104/411,.253 - 1996: Jeter
183/582,.314; Justice45/140,.321 - Gabungan: Jeter
195/630,.310; Justice149/551,.270
- 1995: Jeter
- Justice memiliki rata-rata pukulan lebih tinggi daripada Jeter pada masing-masing dari dua tahun itu, tetapi ketika dua musim digabung, Jeter mencatat rata-rata yang lebih tinggi
- Menurut Ross, fenomena seperti ini dapat diamati sekitar sekali setahun di antara pasangan pemain yang mungkin dibandingkan
Pembalikan rasio dilihat sebagai vektor
- Paradoks Simpson juga dapat dijelaskan melalui ruang vektor dua dimensi
- Tingkat keberhasilan
p/q, yaituberhasil/percobaan, dapat dinyatakan sebagai vektor dengan kemiringanp/q - Menggabungkan dua rasio dapat direpresentasikan sebagai penjumlahan vektor menurut hukum jajargenjang, dan kemiringan hasilnya menjadi tingkat keberhasilan gabungan
- Dalam perbandingan individual, kemiringan satu vektor bisa lebih kecil daripada vektor lain, tetapi setelah dua vektor digabung hasil kemiringannya justru bisa lebih besar
- Agar pembalikan seperti ini terjadi, sebagian dari satu vektor harus memiliki kemiringan lebih besar daripada sebagian vektor lain, dan vektor-vektor tersebut biasanya lebih panjang sehingga mendominasi perbandingan keseluruhan
Korelasi dan interpretasi kausal
- Pembalikan Simpson juga dapat muncul pada korelasi
- Dua variabel bisa menunjukkan korelasi positif secara keseluruhan, tetapi jika variabel perancu tersembunyi diperhitungkan, sebenarnya bisa memiliki korelasi negatif
- Dalam contoh ekonomi, jika hanya melihat data agregat, permintaan tampak berkorelasi positif dengan harga, tetapi ketika variabel waktu diperhitungkan, muncul korelasi negatif yang diharapkan pada beberapa periode
- Jika pengaruh waktu diabaikan dan hanya permintaan serta harga yang diplot, korelasinya berbalik menjadi positif
- Paradoks Simpson menunjukkan bahwa intuisi bahwa pembalikan tanda mustahil tidak dapat diturunkan hanya dari logika klasik atau perhitungan probabilitas
- Bentuk terbatas dari sure-thing principle milik Savage dapat diturunkan dari do-calculus Pearl
- Jika suatu tindakan A meningkatkan probabilitas peristiwa B pada setiap subkelompok, maka tindakan itu juga harus meningkatkan probabilitas B pada populasi keseluruhan selama tindakan tersebut tidak mengubah distribusi subkelompok
- Pavlides dan Perlman memberikan pembuktian bahwa dalam tabel acak
2 × 2 × 2dengan distribusi seragam, paradoks Simpson terjadi dengan probabilitas tepat1/60 - Dalam penelitian Kock, pada model jalur dengan dua variabel prediktor dan satu variabel kriteria, probabilitas kemunculan acak paradoks Simpson sekitar
12.8%, yakni sedikit lebih tinggi dari 1 kali per 8 model jalur
Paradoks kedua Simpson dan graf kausal
- Makalah Simpson tahun 1951 juga memuat paradoks kedua yang kurang dikenal
- Dalam kasus ini, tidak seperti contoh batu ginjal, data yang dipisah tidak selalu memiliki interpretasi yang masuk akal, dan data gabungan justru bisa menjadi interpretasi yang benar
- Apakah yang harus digunakan adalah data terpisah atau data gabungan bergantung pada proses yang menghasilkan data tersebut
- Karena itu, hanya dengan mengamati tabel saja tidak selalu mungkin menentukan interpretasi yang benar
- Judea Pearl menunjukkan bahwa agar data terpisah merepresentasikan hubungan kausal yang benar antara variabel
XdanY, variabel pemisah harus memenuhi kondisi graf yang disebut back-door criterion- Semua jalur semu antara
XdanYharus diblokir - Tidak ada variabel pemisah yang boleh dipengaruhi oleh
X
- Semua jalur semu antara
- Kriteria ini memberi solusi algoritmik untuk paradoks kedua Simpson, dan menjelaskan bahwa graf berbeda yang sama-sama konsisten dengan data yang sama dapat memerlukan back-door criterion yang berbeda
- Jika himpunan kovariat
Zmemenuhi back-door criterion, maka rumus penyesuaian memberikan efek kausal yang benar dariXterhadapY - Jika himpunan seperti itu tidak ada, metode lain untuk mengestimasi efek kausal dapat dicari melalui do-calculus Pearl
- Kelengkapan do-calculus dapat dipandang sebagai solusi lengkap atas paradoks Simpson
Kritik dan implikasi praktis
- Salah satu kritik menyatakan bahwa paradoks Simpson bukanlah paradoks yang sesungguhnya, melainkan akibat variabel perancu yang tidak diperhitungkan dengan benar atau kegagalan mempertimbangkan hubungan kausal antarvariabel
- Jika terlalu berfokus pada paradoks itu sendiri, perhatian bisa teralihkan dari masalah statistik yang lebih penting
- Kritik lain menyebut bahwa paradoks Simpson yang tampak bisa merupakan hasil dari cara data distratifikasi atau dikelompokkan
- Jika data distratifikasi secara berbeda atau variabel perancu lain dipertimbangkan, fenomena itu bisa hilang atau justru berbalik
- Contoh Simpson menekankan fenomena noncollapsibility, yaitu bahwa rasio tinggi pada subkelompok tidak menjadi rata-rata sederhana saat digabung
- Meski demikian, paradoks Simpson tetap menjadi topik yang terus diteliti dan didiskusikan dalam statistik serta analisis data, dan tetap menjadi contoh jebakan dalam interpretasi data yang terlalu sederhana
1 komentar
Komentar Hacker News
Dulu sekali saya pernah mengalami ini secara langsung saat bekerja sebagai analis data di The Hut Group
Tim pemasaran mengatakan bahwa sepanjang tahun rasio biaya pemasaran terhadap pendapatan turun di semua lini produk, tetapi di akhir tahun manajemen kaget melihat total biaya penjualan naik hampir dua kali lipat dari 10% menjadi hampir 20%
Setelah dicek atas permintaan tim keuangan, angka dari tim pemasaran ternyata benar, dan rasio biaya pemasaran untuk lini game, kecantikan, dan nutrisi semuanya memang turun, masing-masing kira-kira dari 15%→10%, 30%→25%, dan 50%→30%
Namun, komposisi lini produk berubah drastis: lini nutrisi tumbuh dari sekitar 10% dari total penjualan menjadi hampir 50%, dan karena kategori dengan rasio biaya tertinggi membesar, rasio total biaya pemasaran justru naik
Pada akhirnya efisiensi penjualan di tiap kategori membaik, tetapi metrik keseluruhan memburuk, dan saya pun mendapat tugas menarik untuk menjelaskan paradoks Yule-Simpson kepada para akuntan
Ada contoh terkenal di Google: seorang network engineer pergi ke tempat seperti Indonesia, melihat layanannya lambat, lalu saat bertanya semua orang menjawab, “memang selalu begitu”
Jaringan seluler setempat lambat dan koneksi serat optik keluar pulau sudah jenuh, jadi setelah kembali ke kantor pusat ia melakukan optimasi untuk mengecilkan ukuran payload dan merilis perubahan yang memangkas ukuran unduhan menjadi setengahnya, tetapi latensi rata-rata dan p95 justru meningkat
Alasan perubahan yang secara objektif bagus itu tampak lebih buruk adalah karena pengguna yang layanannya membaik drastis mulai memakainya jauh lebih sering
Walau beban bandwidth berkurang, latensi jaringan menuju data center tetap lebih tinggi daripada pengguna di AS, dan layanan yang “tidak seburuk sebelumnya” dipakai lebih sering sehingga menaikkan metrik keseluruhan
Banyak kasus orang melihat hanya potongan tertentu dari telemetry request, tidak memodelkan keseluruhan sistem dengan cukup baik, atau mengendalikan variabel yang salah sehingga menarik kesimpulan keliru
Yang terburuk adalah lempar tanggung jawab melingkar yang diciptakan paradoks Simpson, misalnya developer aplikasi menyalahkan regresi server sementara tim server menyalahkan tim aplikasi; kadang itu terjadi hanya karena jadwal rilis server dan aplikasi kebetulan terlalu pas berbarengan
Bahkan bisa dilihat di dataset mainan “klasik” seperti Iris: https://github.com/DataForScience/Causality/blob/master/1.2%...
Apakah itu berarti tim pemasaran melakukan over-optimasi sehingga permintaan produk non-nutrisi menurun, atau berarti jika produk nutrisi dikeluarkan dari lini maka efisiensi per produk dan efisiensi total sama-sama membaik, atau justru berarti metrik seperti ini tidak memadai sehingga kita harus melihat perubahan absolut, bukan rasio
Saya bukan lulusan statistik, tetapi di bidang yang memodelkan efek biologis, masalah seperti ini sering ditangani dengan pendekatan itu
Contoh: https://www.pymc.io/projects/examples/en/latest/generalized_...
Namun pemasaran cenderung memilih hal yang positif ketimbang objektif, dan punya kecenderungan memilih hanya fakta yang mendukung apa yang mereka kerjakan
Kutipan dari Jordan Ellenberg ini sangat bagus
Disebut paradoks karena pada intuisi awal hal itu bertentangan dan tampak seperti kontradiksi, bukan karena harus benar-benar merupakan kontradiksi
Justru kebanyakan hal yang dinamai paradoks kemungkinan besar ternyata bukan kontradiksi sungguhan, karena sesuatu yang tampak salah dan memang benar-benar salah biasanya tidak cukup menarik untuk diberi nama
Ini tampaknya merujuk ke mekanika kuantum, tetapi saya tidak merasa itu menggambarkan mekanika kuantum atau kehendak bebas dengan tepat, dan mazhab Epikurean jelas tidak mungkin mengetahui mekanika kuantum
Akan bagus kalau ada bahan pengantar yang membahas semuanya bersama-sama dan menunjukkan bagaimana itu terkait dengan pemikiran multi-kemungkinan
Pertama, cahaya memiliki massa tepat 0, dan hanya partikel tanpa massa yang dapat bergerak tepat pada kecepatan cahaya, dan itu pun hanya pada kecepatan itu
Kedua, penjelasan itu menghilangkan dualisme gelombang-partikel cahaya, yang juga mirip dengan penjelasan paradoks Simpson sebagai “dua cara berbeda untuk memikirkan data yang sama”, dan tanpa hal itu kita tidak bisa memahami sepenuhnya perilaku cahaya maupun sistem statistik yang sedang diamati
Dulu, saat mengajar statistik pengantar, saya memakai harga rumah sebagai contoh yang bagus untuk paradoks Simpson
Mahasiswa diminta meneliti data nyata dalam latihan perhitungan, dan data saat itu adalah data penjualan rumah di AS tahun 2008, jadi sekarang datanya sudah berumur sekitar 15 tahun
Saat itu, harga jual rata-rata rumah tapak tanpa pendingin udara sentral lebih tinggi daripada rumah yang memilikinya
Namun, jika dibagi per negara bagian, hubungan itu terbalik di setiap negara bagian: rumah dengan pendingin udara sentral lebih mahal daripada rumah tanpa pendingin udara sentral
Alasan utama mengapa harga rumah tanpa pendingin udara sentral tampak lebih tinggi pada rata-rata nasional adalah karena di antara rumah-rumah mahal di California, ada banyak rumah yang tidak memiliki pendingin udara sentral
Dalam kasus ini, rata-rata nasional tidak terlalu penting; yang penting adalah rumah saya, jalan saya, wilayah saya
Sebaliknya, dalam kasus seperti pemasaran, statistik yang penting pertama-tama adalah laba bersih total, lalu baru menggali faktor-faktornya, dan proporsi bisnis akan dilihat sebelum biaya pemasaran
Dalam contoh jaringan, tujuannya bukan kecepatan atau latensi, melainkan penggunaan/throughput
Jika sejak awal memilih statistik yang salah, kesimpulannya juga akan salah
https://en.wikipedia.org/wiki/Berkson%27s_paradox juga layak diketahui
Ada banyak jalan bagi kesalahan untuk merembes masuk ketika populasi dibentuk dengan cara yang bias
Kedua efek ini menjelaskan cukup banyak keputusan bodoh yang lahir dari proses “berbasis data”
Sering kali data justru menyiratkan hal yang sepenuhnya berlawanan dengan kebenaran
Jika kita tidak memahami faktor sebab-akibat yang benar-benar bekerja, maka seberapa banyak pun data yang kita punya dan seberapa banyak pun cara kita membaginya dengan statistik, pengetahuan yang didapat tetap sangat terbatas
Misalnya, dalam kasus UC Berkeley yang muncul di tulisan tentang paradoks Simpson, data hampir tidak memberi tahu hal yang berguna tentang “bias” apa yang harus diubah orang agar proses penerimaan menjadi lebih adil
Tanpa konteks seperti apakah proses penerimaan terutama dikendalikan di tingkat departemen atau di tingkat universitas secara keseluruhan, kita bahkan tidak tahu harus mencari kemungkinan bias di mana
Animasi singkat di halaman wiki itu adalah contoh bagus bahwa satu gambar bernilai seribu kata
[https://en.wikipedia.org/wiki/File:Simpsons_paradox_-_animat...](https://en.wikipedia.org/wiki/File:Simpsons_paradox_-_animation.gif)
Paradoks Lord sangat terkait erat dengan paradoks Simpson, dan secara visual sedikit lebih mudah dipahami: https://repository-images.githubusercontent.com/597130499/46...
Bayangkan sumbu horizontal adalah dosis obat dan sumbu vertikal adalah respons seperti lama tidur
Jika melihat respons Lisa, jelas bahwa semakin tinggi dosis, semakin berkurang tidurnya, dan hal yang sama berlaku untuk Bart
Namun, jika seluruh data dianalisis dengan regresi linear, hasilnya seperti garis merah: semakin tinggi dosis, semakin lama tidur, padahal itu kesimpulan yang salah
Sampai belum lama ini saya tidak tahu bahwa paradoks Simpson adalah pelajaran tentang inferensi kausal
Jika paradigma yang benar diterapkan, paradoksnya menghilang
Tulisan yang lebih baik ada di sini: https://plato.stanford.edu/entries/paradox-simpson/
Waktu pertama kali melihatnya, saya kira ini tentang episode The Simpsons ketika Mr. Burns memiliki “sekumpulan penyakit yang luar biasa beragam sampai saling meniadakan”
Penjelasannya ada di sini: https://simpsons.fandom.com/wiki/Three_Stooges_Syndrome
Kemiripannya mengejutkan, tetapi mengingat kejeniusannya tim penulis The Simpsons di akhir 90-an, besar kemungkinan itu memang disengaja
https://en.wikipedia.org/wiki/Hickam's_dictum
[0] https://www.independent.co.uk/arts-entertainment/tv/news/the...
Saat membaca contoh bahwa dalam penerimaan UC Berkeley tampak ada bias gender, saya melihat isi seperti ini
“Perempuan cenderung mendaftar ke jurusan yang lebih kompetitif dengan tingkat penerimaan lebih rendah, dan itu juga berlaku bahkan di antara pelamar yang memenuhi syarat. Misalnya jurusan bahasa Inggris. Sebaliknya, laki-laki cenderung mendaftar ke jurusan yang kurang kompetitif dengan tingkat penerimaan lebih tinggi, misalnya teknik”
Saya kaget karena ini kebalikan dari dugaan saya
Saya kira bahasa Inggris dan bidang seni secara umum akan jauh lebih mudah dimasuki daripada STEM, dan begitulah rasanya di Australia
Yang dimaksud “masuk” di sini adalah penerimaan universitas, bukan masuk ke industri
Data ini adalah data pendaftaran program pascasarjana
Di bidang teknik ada pendanaan yang jauh lebih banyak, dan cukup banyak mahasiswa yang masuk program doktor teknik tidak membayar biaya kuliah sendiri
Di bidang humaniora pendanaannya sangat sedikit, dan karena kebanyakan mahasiswa tidak ingin membayar mahal untuk doktor humaniora, jurusan membatasi kuota penerimaan dengan ketat
Jadi, kalau cukup kompeten, masuk program doktor teknik memang lebih mudah
Seorang teman yang belajar teknik bersama saya merasa muak lalu ingin pindah ke jurnalisme, jadi dia mendaftar pindah ke program Communications di universitasnya; persaingannya sangat ketat sampai-sampai menerima kurang dari 10 orang per tahun, dan dia akhirnya ditolak
Namun, persaingan juga bisa dilihat dari rasio penerimaan, yaitu jumlah yang diterima / jumlah pendaftar
Jika pada jurusan yang sangat populer proporsi pendaftar dengan ATAR tinggi justru tidak seimbang dan rendah, saya rasa kedua indikator ini bisa sama-sama benar
Tampaknya jawabannya adalah bahwa yang dilihat di sini adalah tingkat penerimaan = jumlah diterima / jumlah pendaftar, dan itu tidak sama dengan tingkat kesulitan keseluruhan dalam makna konseptual
Orang yang mendaftar ke pascasarjana matematika hanyalah mereka yang mendapat nilai bagus di sarjana matematika atau yang mengambil cukup banyak mata kuliah matematika teoretis di jurusan STEM lain
Bidang seni menarik pelamar dari latar belakang yang lebih luas, dan tampaknya jauh lebih banyak orang berpindah dari STEM ke bidang lain daripada sebaliknya
Mudah untuk meyakinkan diri sendiri bahwa cerpen yang ditulis itu hebat meskipun orang lain mungkin tidak setuju, tetapi jauh lebih sulit meyakinkan diri sendiri bahwa pembuktian matematika yang secara objektif salah itu benar
Karena itu, seleksi diri di sisi pelamar lebih sedikit terjadi, dan tingkat penerimaan menjadi lebih rendah
Jurusan teknik cenderung lebih sulit dimasuki secara kualitatif, sedangkan humaniora cenderung lebih sulit secara kuantitatif
Visualisasinya begitu efektif sampai saya tidak perlu membaca wiki
Hanya dengan melihat itu saja saya langsung paham