Segala Sesuatu Saling Berkorelasi (2014–23)

• Dalam ilmu sosial dan ilmu hayati, hampir semua variabel memiliki tingkat korelasi tertentu satu sama lain
• Fenomena ini bukan sekadar kebetulan atau kesalahan statistik, melainkan fakta nyata yang berasal dari faktor genetik dan lingkungan yang saling bertaut secara kompleks
• Semakin besar ukuran sampel, korelasi yang signifikan akan muncul pada sebagian besar pasangan variabel, dan peneliti pun mulai memusatkan perhatian pada pola korelasi itu sendiri, bukan pada korelasi individual
• 'Crud factor' berarti ada korelasi kecil pada hampir semua pasangan variabel, sehingga hanya dengan memilih teori dan pasangan variabel secara acak pun kemungkinan besar akan muncul hasil yang signifikan
• Dalam situasi seperti ini, makna dari tingkat signifikansi tradisional (0,05) menjadi melemah, sehingga interpretasi statistik dalam ilmu sosial perlu dilakukan dengan hati-hati

---

Gambaran umum dan latar belakang

• Dalam psikologi dan sosiologi, gagasan bahwa "segala sesuatu sampai taraf tertentu saling berkorelasi" diterima secara luas
• Karakteristik tertentu ditentukan oleh berbagai faktor genetik dan lingkungan, dan di antara faktor-faktor ini sendiri juga terdapat korelasi
• Karena itu, pada praktiknya hampir semua variabel yang dapat diukur memiliki tingkat keterkaitan timbal balik tertentu

“Crud Factor” dan temuan statistik

• “Crud factor” merujuk pada fenomena bahwa selalu ada korelasi kecil bahkan di antara pasangan variabel acak dalam penelitian ilmu sosial (dan sebagian ilmu hayati)
• Dalam data skala besar terhadap 57.000 siswa SMA Minnesota pada tahun 1966, hasil analisis 105 tabulasi silang (crosstabulation) di antara beragam variabel seperti keluarga, pendidikan, aktivitas hobi, rencana karier, dan agama semuanya signifikan secara statistik
  • Sebanyak 96% dari keseluruhan hasil menyingkirkan kemungkinan bahwa itu kebetulan, dengan probabilitas yang sangat rendah pada tingkat p<10⁻⁶
• Saat jumlah variabel diperluas menjadi 45, sebanyak 92% dari total 990 kombinasi terbukti signifikan secara statistik
  • Median hubungan signifikan antara satu variabel dan semua variabel lainnya adalah 41 dari 44

Contoh pada variabel nyata

• Pada hubungan antara skor MCAT dengan jumlah saudara kandung, urutan kelahiran, jenis kelamin, rencana pekerjaan, preferensi agama, dan lain-lain, semuanya menunjukkan signifikansi statistik yang tinggi
  • Contoh: siswi mendapat skor lebih tinggi daripada siswa, skor cenderung menurun seiring bertambahnya jumlah saudara kandung, anak sulung/anak tunggal lebih pintar daripada anak bungsu, ada perbedaan yang jelas antarkelompok agama, dan banyak lagi
• Bahkan pada 5 denominasi Protestan utama, signifikansi tinggi juga diamati dalam hubungan dengan berbagai variabel
  • Contoh: kemungkinan anak tunggal menjadi Presbyterian hampir dua kali lipat dibanding Baptist, ada perbedaan dalam kesukaan terhadap sekolah dan harapan pekerjaan menurut denominasi, serta banyak korelasi lainnya

Contoh item MMPI

• Dari 550 item MMPI (tes kepribadian), 507 item (92%) menunjukkan perbedaan signifikan menurut jenis kelamin
  • Beberapa item dapat menjelaskan perbedaan kecenderungan yang jelas, tetapi item lainnya memiliki alasan yang kompleks atau tidak dapat dijelaskan
• Karena hasil seperti ini muncul dalam penelitian berskala besar dengan jumlah sampel sangat besar, ini bukan kesalahan statistik (type I error), melainkan fenomena nyata

Keterbatasan korelasi ilmu sosial dan pengujian teori

• Bahkan jika teori dan pasangan variabel acak digabungkan secara acak, bila korelasi rata-rata (crud factor) berada di tingkat 0,30, maka secara praktis ada kemungkinan menemukan perbedaan signifikan sekitar satu dari tiga kali
  • Fenomena ini terjadi jauh lebih sering daripada tingkat signifikansi (0,05) yang biasanya dianggap bermakna dalam ilmu sosial
• Karena korelasi mudah muncul bahkan pada pasangan variabel yang tidak diprediksi secara teoretis oleh peneliti, sulit menjadikan signifikansi statistik saja sebagai dasar bagi hubungan kausal yang substansial
• Penyebab yang kompleks (gen/lingkungan) dan kekayaan data observasional menghasilkan korelasi yang beraneka arah seperti ini

Kesimpulan praktis

• Saat menafsirkan data ilmu sosial dan menguji teori, perlu selalu mengingat "korelasi yang biasa-biasa saja tetapi benar-benar ada" akibat 'crud factor'
• Daripada memercayai mentah-mentah statistik tingkat signifikansi (misalnya p<0,05), diperlukan pendekatan yang lebih berfokus pada kausalitas substantif antarvariabel dan interpretasi pola
• Seperti pepatah Thorndike, "semua hal yang baik cenderung datang bersama", di dunia nyata terlalu banyak hal saling terjalin satu sama lain

[GN⁺]

Komentar Hacker News

• Ini membahas salah satu hal yang paling mengganggu saya
  Orang sering salah paham mengartikan istilah "statistically significant" sebagai "patut diperhatikan/bermakna"
  Mereka menemukan perbedaan yang terukur lalu menganggap statistik mengatakan itu 'penting', padahal itu cara yang keliru
  Sebenarnya, uji signifikansi hanya memberi tahu probabilitas bahwa perbedaan yang diamati merupakan 'pengukuran yang baik'
  Artinya, kita hanya bisa mengatakan dengan tingkat keyakinan tertentu bahwa "perbedaan itu benar-benar ada"
  Apakah perbedaan yang diukur itu juga 'bermakna' dalam penilaian nilai harus dinilai secara terpisah, dan biasanya dinilai dari besarnya perbedaan yang terukur
  Ini terdengar terlalu jelas, tetapi merupakan kekeliruan yang sangat umum di industri maupun di berbagai bidang sains
  Contohnya, "tindakan ini mengubah [metrik] dengan p<0.001, luar biasa signifikan! Besar perubahannya 0.000001%"
  Dalam kasus seperti ini, kita perlu berpikir lagi apakah itu benar-benar 'bermakna'

  • Seperti yang ditunjukkan, signifikan tidak serta-merta berarti 'bermakna'
    Namun, saya ingin menambahkan sedikit soal contoh itu
    p-value yang sangat kecil tidak selalu berarti efek yang 'bermakna', tetapi juga tidak sepenuhnya tak terkait dengan ukuran efek
    p-value sendiri muncul dari (ukuran efek)/(noise/akar kuadrat jumlah sampel)
    Jadi, statistik uji yang lebih besar berarti p-value yang lebih kecil
    p-value yang sangat kecil biasanya muncul dari efek yang besar atau ukuran sampel (n) yang sangat besar
    Karena itu, hanya ketika N sangat besar efek yang amat kecil pun bisa menghasilkan p<0.001
    Namun dalam penelitian dunia nyata, jika p<0.001, karena keterbatasan jumlah sampel, kemungkinan efeknya juga memang cukup besar
  • Using Effect Size—or Why the P Value Is Not Enough
    Disebutkan bahwa signifikansi statistik adalah bagian yang paling tidak menarik dari hasil, dan ditekankan bahwa hasil harus dijelaskan dengan ukuran efek
    Fokusnya bukan sekadar apakah perlakuan punya efek, tetapi 'seberapa besar' efeknya
    – Gene V. Glass
  • Sangat setuju
    Namun, alih-alih menyebutnya sekadar 'pet peeve', saya melihatnya sebagai kesalahpahaman yang patologis terhadap statistik
    Kesalahpahaman seperti ini, terutama di media kesehatan/wellness populer, bisa menghasilkan kesimpulan yang salah
    Studi tentang kesehatan dan nutrisi sering dilaporkan signifikan secara statistik, padahal efek nyatanya sangat kecil
    Akibatnya, orang bisa mengubah hidup dan kebiasaannya secara besar-besaran hanya karena percaya pada hasil studi semacam itu, padahal sebenarnya tidak ada dasar kuat untuk itu
  • Jika N (ukuran sampel) dinaikkan cukup tinggi, Anda bisa menemukan 'pengukuran bagus' atau 'perbedaan signifikan secara statistik' seperti ini di mana saja
    Yang lebih buruk adalah ketika hipotesis yang akan diuji tidak ditentukan sebelumnya, lalu orang membongkar data lama untuk mencari korelasi yang 'signifikan secara statistik'
  • Saya sangat menyukai video dari 3blue1brown ini
    Di sana disarankan agar signifikansi dipikirkan sebagai cara memperbarui probabilitas
    Argumennya adalah satu tes (atau studi) hanya memperbarui probabilitas sebesar X%, sehingga untuk membuat penilaian yang 'bermakna' biasanya dibutuhkan lebih banyak eksperimen

• Ini benar-benar tulisan bergaya "rationalist" yang sangat khas
  Di satu sisi ada pengamatan yang benar tentang fenomena statistik, tapi dibumbui juga dengan kalimat-kalimat politik yang aneh
  Contoh kalimatnya: "Pertimbangan teoretis dan empiris menimbulkan keraguan terhadap inferensi kausal tentang 'bias algoritmik' atau 'kelompok yang dilindungi': tidak mengecualikannya mungkin tidak diinginkan, tidak mungkin dilakukan, atau tidak bermakna"
  Kalimat itu terasa sangat aneh, muncul begitu saja tanpa penjelasan konteks
  Sepertinya dia ingin berargumen bahwa karena ada variabel laten tersembunyi yang menentukan kriminalitas, maka memakai is_black dalam black box (model parole) itu boleh saja, dan menurut saya itu tidak masuk akal
  Sebenarnya, perhatian terhadap bagaimana model bekerja adalah masalah yang lebih dalam daripada sekadar interpretasi statistik
  Jika derajat kebebasan dalam proses pemilihan model menjadi terlalu banyak, model bisa dirancang untuk menghasilkan hasil apa pun
  Misalnya, jika model parole memasukkan variabel seperti likes_hiphop, kita harus memeriksa mengapa itu dimasukkan dan apakah itu benar-benar 'model optimal'
  Pada akhirnya, fakta bahwa variabel-variabel dalam fenomena sosial saling berkorelasi mengingatkan kita bahwa model apa pun setidaknya sebagian bisa menjadi produk politik

  • Kalimat yang terasa aneh itu, dalam konteksnya, sebenarnya tidak terlalu janggal
    Frasa "pertimbangan teoretis dan empiris" merujuk pada pembahasan sebelumnya
    Intinya, karena semuanya saling berkorelasi, hanya melihat adanya korelasi tidak cukup untuk yakin bahwa itu punya makna yang esensial
    Ilmuwan sosial membuat model yang kompleks, mengamati banyak variabel, lalu menemukan korelasi yang mendukung hipotesis mereka, tetapi dikatakan bahwa korelasi semacam itu bisa ditemukan di mana-mana sehingga lemah sebagai bukti nyata
    Dan kita juga tidak bisa begitu saja memastikan bahwa model itu benar-benar memakai variabel seperti is_black
    Hanya karena suatu model black box menghasilkan keluaran yang merugikan orang kulit hitam, bukan berarti variabel is_black benar-benar dipakai di dalamnya
  • Menurut saya, "rationalists" punya kecenderungan terobsesi dengan membuat peringkat orang atau kelompok
    Terutama pada topik seperti genetika dan IQ, mereka sering tampak menarik kesimpulan dari penelitian dan data yang dasarnya lemah
  • Soal kutipan itu
    Saya pikir pemodelan ilmu sosial memang harus punya latar teori, tetapi saya ragu apakah TFA (artikel utama) akan mengambil posisi yang sama pada isu politik tertentu
    Misalnya, saya penasaran apakah dia akan mengatakan hal yang sama jika variabel is_white dipakai dalam perekrutan oleh organisasi untuk kelompok minoritas
  • Menurut saya penilaian terhadap gwern itu sangat tepat
    Gayanya adalah memancarkan kesan pintar sambil melempar dugaan tak berdasar seolah-olah itu fakta
    Saya juga heran komunitas scaling/AI sangat menyukai gwern

• Saya agak kecewa tulisan ini tidak menyebut kutipan dari The Hitchhiker's Guide to the Galaxy
  Itu mengingatkan saya pada pesan bahwa "karena semua materi di alam semesta memengaruhi satu sama lain dalam satu atau lain cara, secara teoretis hanya dengan melihat sepotong kue peri kita bisa menyimpulkan seluruh alam semesta, matahari, planet, orbit, bahkan sejarah sosial dan ekonomi"

  • Agar logika seperti itu berlaku, bukankah kita perlu mengetahui konfigurasi T_zero (keadaan awal) alam semesta?
    Konfigurasi T_zero yang berbeda akan terhubung ke T_current (keadaan sekarang), dan bahkan dengan konfigurasi fisik yang sama, keadaan "alam semesta-kue" sebelumnya bisa berbeda
    Itu juga mengasumsikan sistem yang sepenuhnya deterministik
  • Dalam Buddhisme ada konsep 'pratītyasamutpāda'
    Tautan penjelasan terkait
  • Partikel tidak menderita fatalisme

• Di masa lalu orang juga bisa menemukan kebenaran dunia tanpa statistik
  Memang setelah statistik muncul, itu menjadi alat yang berguna, tetapi seiring metode seperti itu disalahgunakan, masalah kebodohan yang dibungkus seolah-olah kecerdasan juga makin bertambah
  Jadi pengamatan tentang 'noise korelasi' ini tetap layak dipertanyakan
  Yang terpenting, logika dan pengetahuan dasar tentang domain harus didahulukan
  Saya rasa sekadar menghitung angka bisa menimbulkan salah paham

  • Menanggapi "dulu kita hidup tanpa statistik", saya ingin menunjukkan bahwa saat itu justru jauh lebih buruk
    Logika saja tidak bisa membuat kita mempelajari pengetahuan baru
    Logika hanya menjelaskan ulang apa yang sudah kita tahu, dan pengetahuan dasar membutuhkan pengalaman atau eksperimen
    Karena pengamatan terhadap dunia nyata tidak pernah sempurna, interpretasi statistik itu penting
    Sebelum statistik muncul, yang terjadi adalah (a) orang kaya duduk dan berpikir mendalam tentang dunia, (b) tokoh karismatik berkhotbah sesuai keinginannya, atau (c) orang pintar sesekali menebak dengan benar
    Dengan hadirnya statistik, siapa pun bisa mengetahui benar atau salah berdasarkan hasil, sehingga itu tidak lagi menjadi wilayah eksklusif kaum mapan
    Tentu, salah satu kelebihan inferensi statistik adalah 'intercomparison', yakni kemampuan menarik kesimpulan dari perbedaan meski tanpa memahami prosesnya sendiri
    Namun justru karena itu, manipulasi hasil dan salah paham juga menjadi lebih mudah
  • George Lucas pernah berkata bahwa ketika sesuatu yang baru masuk ke masyarakat, orang selalu cenderung berlebihan dan menyalahgunakannya
    Video terkait

• Agak di luar topik, tetapi blog ini terasa sangat indah
  Dari drop cap, komentar inline di sisi kanan layar, sampai progress bar, terasa sekali kecintaan terhadap proyek ini

  • Tulisan gwern tentang drop cap ini mungkin menarik

• Ini benar-benar tulisan yang sangat besar
  Saya jadi berharap bisa menulis sesuatu yang serius seperti itu
  Kalau melihat tulisan-tulisan penulis lainnya, dia benar-benar seperti mesin yang terus memproduksi karya tanpa henti

  • Kalau ingatan saya benar, Gwern hidup sangat hemat di tempat terpencil, jadi dia bisa menghabiskan banyak waktu untuk riset pribadi
  • Banyak waktu, pengulangan, obsesi pada pertanyaan sulit, serta keahlian dalam riset dan Haskell adalah rahasia penulis ini
    Tentu saja akan lebih baik kalau ada yang memberinya dukungan finansial
  • Saya bahkan berharap bisa membaca tulisan seperti itu saja
  • Menurut saya gwern memang luar biasa

• Perdebatan seperti ini sudah ada selama beberapa dekade
  Penting untuk tidak kehilangan sudut pandang kritis
  Tetapi secara pribadi, makin lama saya bergulat dengan logika seperti ini dalam pekerjaan, makin terasa bahwa ini tidak terlalu berguna dan agak kosong
  'crud' hadir di dalam pola seperti radiasi latar gelombang mikro kosmik statistik, dan alih-alih dianggap tidak bermakna, kadang justru penting
  Ada kalanya keterkaitan antarvariabel tidak mudah dijelaskan, tetapi justru menjadi kunci untuk memahami variabel perancu potensial yang perlu dikendalikan
  Tidak selalu ada korelasi, dan memang ada kasus di mana keterkaitan yang sebenarnya bernilai 0
  Menentukan 'ukuran efek yang bukan nol dan bermakna' juga sangat arbitrer dan subjektif
  Rasanya ada kerangka yang lebih produktif untuk melihat fenomena ini

• Correlated. Ada contoh lain? <i>Everything Is Correlated</i> - diskusi lama

  • Correlated, benar?

• Inilah sebabnya sains eksperimental berbeda dari studi observasional
  Analisis statistik hanya memberi alasan untuk lebih percaya pada suatu hipotesis, dan perlu diperkuat oleh pendekatan eksperimental yang nyata
  Contoh-contoh di blog itu kebanyakan berasal dari kedokteran, ilmu sosial, dan ilmu perilaku, yakni bidang-bidang di mana eksperimen yang terkontrol dengan baik sulit dilakukan, atau jumlah sampelnya terlalu kecil untuk menjelaskan kausalitas dengan jelas

  • Ekonomi mikro telah berevolusi dari studi observasional berskala besar menuju desain eksperimen dan kuasi-eksperimen
    Tentu saja kegagalan desain tidak bisa diperbaiki dengan analisis (You can’t fix by analysis what you bungled by design - sumber), tetapi setidaknya itu bergerak ke arah pengurangan bias

• Tentang kutipan dalam tulisan bahwa “hal ini membuat makna uji signifikansi menjadi kabur; itu tak lebih dari menghitung probabilitas data dengan sangat akurat dalam skenario yang kita sudah tahu a priori itu salah”
  Saya rasa hal yang umum terjadi adalah model disederhanakan untuk mencapai hasil yang bermakna, sambil menerima bahwa secara ketat model itu salah
  Misalnya hukum Newton, analisis rangkaian listrik, bahkan di perbankan tahun pernah dihitung sebagai 360 hari berkat penyederhanaan seperti itu
  Itu benar-benar bekerja dengan baik, jadi saya penasaran apa yang saya lewatkan

  • Masalahnya adalah jika Anda punya cukup uang saja (yakni bisa mendapatkan N sampel yang sangat besar), Anda selalu bisa menghasilkan hasil yang 'signifikan'
    Jika penelitian dilihat sebagai pencarian kebenaran, ini adalah dilema yang serius
  • Saat dulu membuat kalkulator amortisasi, saya pernah menemukan ada 47 metode 'day count' yang berbeda
    (termasuk perhitungan jumlah pembayaran untuk periode kurang dari 1 bulan)
  • Besarnya kesalahan maksimum yang timbul dari penyederhanaan seperti itu selalu diketahui
    Dengan kata lain, Einstein adalah versi Newton yang lebih presisi
    Sama seperti relativitas khusus yang berkonvergensi ke mekanika Newton pada batas kecepatan rendah
    Sebenarnya, dalam statistik tidak ada yang benar-benar 'salah'; itu harus dipahami sebagai "bukan fakta dengan probabilitas x%"
    Jika ingin menurunkan x, Anda harus 'lebih giat berstatistik', dan cara paling pasti adalah memperbesar jumlah sampel (N)
    Yang sepenuhnya keliru dalam tulisan itu adalah menganggap bahwa jika N cukup besar maka kita boleh memperlakukan benar/salah secara absolut
    Karena probabilitasnya bisa mencapai tingkat 'kalau alam semesta diciptakan sejuta kali pun mungkin hanya sekali akan muncul'
    Namun dalam kenyataannya, sebagian besar bidang seperti ilmu sosial, kedokteran, dan ekonomi bekerja dengan N yang sangat kecil, sehingga masalah statistik tak terhindarkan besar
    Karena itu mereka mencoba 'lebih giat berstatistik', tetapi kenyataannya mereka tidak bisa menambah N, lalu malah memanipulasi angka atau menambah N sedikit saja dan mengklaim masalahnya selesai
  • Pada akhirnya, yang penting adalah seberapa besar sebenarnya kesalahan akibat penyederhanaan itu, yakni skala kuantitatifnya