Sebagai penulis pertama makalah ini, saya akan menjawab beberapa pertanyaan dan meluruskan beberapa kesalahpahaman. Lemparan yang tampak seperti berputar lambat sebagian besar direkam dengan webcam 30FPS, sehingga putaran koin jauh lebih cepat daripada sensor dan sering terlihat seolah tidak berputar sama sekali, dan video tersebut digunakan untuk memeriksa apakah pengumpulan data berlangsung serta untuk tujuan audit hasil
Kami tidak membuat mesin pelempar, karena penelitian ini membahas lemparan koin oleh manusia, dan Diaconis, Holmes, Montgomery (DHM, 2007) berteori bahwa ketidaksempurnaan dalam lemparan manusia menimbulkan bias ke sisi yang sama. Jika kami membuat mesin, tujuan eksperimennya sendiri akan hilang
Kritik bahwa jumlah penulis terlalu banyak dan dana publik diboroskan juga tidak tepat. Eksperimen dilakukan di waktu luang dan tidak ada pendanaan riset, jadi tidak ada uang yang terbuang. Saya juga sulit memahami mengapa pemberian status penulis bersama kepada para mahasiswa yang berkontribusi melempar koin seharian dianggap begitu menjengkelkan, padahal tanpa mereka eksperimen ini mustahil dilakukan
Tidak semua orang melempar koin dengan sempurna, dan beberapa orang jauh lebih kikuk. Para peserta diinstruksikan untuk melempar seperti saat menentukan taruhan, dan memastikan koin setidaknya berputar sekali. Sebagian besar menunjukkan bias yang berkurang seiring waktu, yang mengisyaratkan bahwa mereka menjadi lebih mahir dengan latihan sehingga bias menurun, dan ini juga melemahkan teori bahwa mereka sengaja mempelajari cara membiasakan hasil
Secara pribadi saya sudah melempar lebih dari 20.000 kali, tetapi sama sekali tidak tahu cara menciptakan bias. Kami juga beberapa kali melakukan analisis sensitivitas dengan mengecualikan outlier, dan efeknya memang sedikit melemah tetapi tetap memberi bukti yang cukup untuk mendukung DHM. Jika Anda meragukan latar belakang statistik kami, Anda bisa menganalisis ulang sendiri menggunakan data dan skrip pengolahan di OSF: https://osf.io/mhvp7/
Saya tidak keberatan dengan analisisnya, dan setuju bahwa hasilnya sangat mendukung model D-H-M, yakni bahwa lemparan koin memang memiliki sedikit bias dan penyebabnya adalah presesi. Hanya saja, sekitar sepertiga relawan nyaris tidak memiliki bias atau sama sekali tidak punya, kemungkinan karena mereka melempar dengan putaran ujung-ke-ujung tanpa presesi, dan sekitar sepertiga lainnya tampaknya memiliki presesi dan bias yang besar
Makalah ini menyimpulkan bahwa lemparan koin pada dasarnya memiliki bias kecil tetapi signifikan, tetapi jika melihat tabel 2, tampaknya sama masuk akalnya untuk menyimpulkan bahwa sebagian orang melempar tanpa bias dan sebagian lainnya tidak. Khususnya, jika peserta outlier besar dijelaskan tentang presesi dan diminta sengaja menguranginya, saya memperkirakan biasnya akan berkurang atau hilang
Ada juga pendekatan untuk menganalisis data lemparan koin lewat suara, bukan webcam dengan frame rate rendah. Suara biasanya direkam dengan laju sampling yang jauh lebih tinggi, sehingga cukup untuk “mendengar” putaran koin: https://cs.stanford.edu/~kach/can-one-hear-the-fate-of-a-coi...
Untuk pelempar yang kurang terampil, mungkin ada kurva yang sedikit mirip hukum Benford yang bekerja. Jika diasumsikan koin berputar setidaknya satu putaran, maka 1,0 putaran akan jatuh pada sisi awal, 1,5 putaran pada sisi sebaliknya, 2,0 putaran kembali ke sisi awal, dan seterusnya
NFL masih melakukan lemparan koin secara profesional. Saya penasaran apakah ada rekaman yang lebih baik daripada webcam untuk tiap lemparan, dan tampaknya ada bandar taruhan di suatu tempat yang cukup tertarik pada potensi bias ini
Ada video yang menjelaskan makalah ini dengan baik di sini: https://www.youtube.com/watch?v=-QjgvbvFoQA
Intinya, efeknya berasal dari presesi. Artinya, koin tidak hanya membalik secara vertikal sempurna, tetapi juga membawa sedikit goyangan dan momentum sudut, sehingga berputar dengan cara yang membuat satu sisi terlihat lebih lama daripada sisi lainnya
Dampaknya terhadap keadilan berbeda tergantung keterampilan, dan untuk teknik yang baik probabilitas sisi yang sama kira-kira p_same = 0.508, sedangkan salah satu peserta penelitian menunjukkan 0.6 pada sampel besar, yang akan sangat tidak mungkin jika lemparannya benar-benar adil. Sebagai contoh ekstrem, video itu menampilkan seorang pesulap yang menggunakan presesi untuk melakukan trik yang tampak seperti membalik, padahal sebenarnya sisinya tidak berubah dan koin hanya berputar di dalam bidang koin sambil sedikit bergoyang
Video ini juga menjelaskan dengan cukup baik bagaimana pengujian hipotesis bekerja
Menurut saya, di sini akan lebih baik menggunakan statistika Bayesian. Pembicaranya juga mengatakan bahwa dirinya sendiri tidak terlalu paham statistik
Makalah ini tampak memiliki ukuran sampel yang besar, tetapi sebenarnya jumlah penguji/pelemparnya hanya 48 orang. Di beberapa video terlihat lemparan yang sangat rendah dan dengan putaran yang sedikit, bisa dibilang hanya berputar 1–2 kali, dan kemungkinan besar itu diulang ribuan kali dengan cara yang sama
Jadi ukuran sampel yang sebenarnya lebih dekat ke N=48, dan orang-orang yang tidak melempar dengan benar, yakni pelempar dengan putaran rendah, tinggi rendah, dan sedikit rotasi, bisa memberi pengaruh yang tidak proporsional pada hasil
Latar belakang para penulis juga tampaknya tidak terlalu berfokus pada statistik. Dari 48 penulis, semua kecuali 3 orang melempar koin, jadi sebagian mungkin lebih dekat sebagai subjek uji daripada penulis. Menjadi subjek dalam riset sendiri juga terasa bisa menimbulkan bias
Jika seseorang berusaha membuktikan sendiri bahwa karena faktor tertentu koin akan jatuh pada satu sisi tertentu, apalagi jika melemparkannya rendah dan lambat, mereka bisa jadi akhirnya menguasai teknik itu. Melihat hasil penelitiannya, beberapa pelempar tampak cukup terlatih. Jika para penulis yakin bahwa koin yang adil justru mendarat pada sisi kebalikan dari sisi awalnya lalu melakukan riset yang sama, rasanya mereka juga bisa membuat data dan makalah yang mendukung hasil itu
Kalau ada “penguji yang tidak melempar dengan benar”, maka pelemparan koin sebelum pertandingan olahraga pun harus divalidasi oleh panel wasit yang terlatih. Untuk menjaga integritas cabang ini saat koin baru diterbitkan dan berbagai gaya lemparan diajukan, kita juga akan butuh organisasi tingkat daerah, nasional, dan internasional serta sistem pelatihan wasit, dan keanggotaan mungkin harus dibatasi untuk anggota Ancient Order of Coin Flippers
Sepertinya itu inti persoalannya. Ini menunjukkan bahwa hasil yang bias muncul karena orang biasanya tidak melempar dengan benar
Pelajaran sebenarnya mungkin adalah bahwa jika cukup terampil atau berlatih cukup lama, seseorang bisa memanipulasi probabilitas secara cukup besar dengan cara yang tidak disadari siapa pun
Makalah ini adalah verifikasi eksperimental atas model statistik yang diajukan makalah sebelumnya. Eksperimen ini persis cocok dengan hasil yang diprediksi model tersebut, dan alasan mengapa hasilnya bukan 50/50 adalah presesi koin
Dalam praktiknya, pendekatan dengan clustered standard errors tampak lebih kokoh. Intuisi dasarnya mirip, tetapi ukuran sampelnya ada per orang, dan observasinya tidak independen untuk setiap lemparan, melainkan independen antarorang https://en.m.wikipedia.org/wiki/Clustered_standard_errors
Bahwa ada semacam efek di sini memang tidak mengejutkan, tetapi saya curiga mereka tidak memakai pelemparan koin yang layak. Soalnya banyak orang tampaknya tidak bisa melempar koin dengan benar, dan setelah melihat videonya, setidaknya untuk salah satu lemparan Bartos, kecurigaan itu tampak benar: https://osf.io/6a5hy/
Putarannya sangat sedikit dan waktu melayang di udara juga sangat singkat. Kalau ini sesuatu yang cukup penting untuk diputuskan lewat lempar koin, saya tidak akan menerima cara seperti itu
Itu nyaris bukan lempar koin, lebih seperti sedikit melambungkan koin ke udara. Melihat ini rasanya meruntuhkan keseluruhan studi dan kredibilitas para penulis
Tentu mungkin memang ada efek tertentu, tetapi orang yang tidak melihat videonya akan membayangkan adegan yang sama sekali berbeda. Kalau tidak diberi tahu untuk melihat langsung, saya juga mungkin tidak akan memeriksanya. Kecil kemungkinan para penulis tidak sadar betapa menyesatkannya cara ini, dan secara intuitif rasanya pelemparan koin yang benar tidak akan menunjukkan sifat yang sama
Awalnya saya juga punya sanggahan yang sama. Tetapi jika kebanyakan orang memang melempar koin seperti itu dalam praktik, maka pengukurannya tetap valid. Karena kesimpulannya bukan tentang mesin pelempar koin mekanis yang sempurna, melainkan tentang apa yang dilakukan orang biasa. Kalau tidak, kita jatuh pada kekeliruan “tidak ada lempar koin yang sungguhan”
Rasanya sains, seperti hal lain, pada praktiknya adalah sebuah spektrum. Semuanya tergantung seobsesif apa pengujiannya dilakukan
Sekalipun kita menggunakan mesin otomatis selama bertahun-tahun untuk melempar sebanyak mungkin, mengubah gaya dan sudut lemparan, mendeteksi keausan permukaan koin pada tingkat submilimeter, dan menguji semua gaya dan ukuran yang ada, semua tingkat keausan, semua posisi dan sudut, serta semua kombinasi komposisi atmosfer Bumi, saya tetap bertanya-tanya apa arti hasil itu sebenarnya. Pada akhirnya itu lebih mirip daftar kejadian yang sangat spesifik daripada sebuah “kesimpulan”, dan di masa depan pun tindakan itu masih akan dijelaskan dengan probabilitas hasil
Makalah ini juga merupakan pemenang Ig Nobel Prize tahun ini
“Probabilitas: tim riset beranggotakan 50 orang yang melakukan 350.757 eksperimen untuk menunjukkan bahwa ketika koin dilempar, kemungkinannya sedikit lebih besar untuk mendarat pada sisi yang sama dengan sisi awalnya”
Sumber: https://en.wikipedia.org/wiki/List_of_Ig_Nobel_Prize_winners...
Di antara pemenang tahun ini juga ada bidang botani. Jacob White dan Felipe Yamashita menemukan bahwa tanaman tertentu meniru bentuk daun tanaman plastik di dekatnya dan menyimpulkan bahwa “penglihatan tumbuhan” terdengar masuk akal, yang menurut saya agak tidak cocok dengan gambaran Ig Nobel Prize di kepala saya
Di kalangan pesulap, ini sebenarnya sudah menjadi pengetahuan umum sejak beberapa dekade lalu. Seorang pesulap mungkin tidak melempar sampai 350 ribu kali, tetapi saat masih kecil saya juga pernah mencoba menguji efek itu sekitar 2.500 kali
Jika 30 pesulap menggabungkan datanya, meta-analisis sebesar ini mungkin saja dilakukan, dan waktu eksperimennya mungkin sekitar seabad yang lalu
Ini tidak sepenuhnya terkait, tetapi saya dulu setidaknya mengetahui bahwa dengan koin 20 sen Australia, cukup mudah untuk curang dalam lempar koin. Setelah koin dilempar, ditangkap dengan tangan, lalu dipindahkan ke punggung tangan yang lain, kita bisa merasakan lewat sentuhan sisi mana yang menghadap ke atas, lalu membalikkannya jika mau
Pada koin kami, wajah Ratu di sisi depan adalah area yang lebar dan halus, sehingga cukup mudah dibedakan dari sisi belakang yang lebih kasar dengan platipus dan pola air. Jika lempar koin dipakai untuk memutuskan sesuatu yang penting, koin itu harus dibiarkan jatuh langsung ke lantai
Yang saya pelajari dari thread ini adalah bahwa masalah dalam lempar koin yang adil ternyata bukan apakah itu benar-benar adil, melainkan apa yang harus dianggap sebagai lempar koin yang benar. Dan masalahnya adalah siapa yang berhak menentukannya
Jika kebanyakan orang tidak melempar seperti itu, haruskah kita merancang mesin pelempar koin? Haruskah faktor-faktor lain juga dikendalikan? Atau justru melempar dengan manusia dan segala ketidaksempurnaannya adalah sesuatu yang secara hakiki penting bagi konsep lempar koin, statistik, dan keacakan?
Saat berusia sekitar enam atau tujuh tahun, saya belajar trik lempar koin dari tukang cukur di toko kakek saya. Setelah itu, saya selalu bisa menentukan hasilnya dengan melempar koin. Intinya sebenarnya hanya menjaga cara melempar dan cara menangkapnya tetap konsisten
Jika itu bisa dilakukan sambil melempar cepat dan membuat koin berputar cepat di udara, hasilnya cukup mengesankan
Makalah itu memang dikutip baik dalam makalah ini maupun videonya. Diaconis mengajukan model dengan preferensi sekitar 51% untuk “sisi yang sama”, dan tampaknya mengatakan bahwa setelah melempar sendiri 2.500 kali, diperlukan sekitar 250 ribu lemparan untuk memperoleh signifikansi 3-sigma. Jadi makalah kali ini menguji hal itu secara empiris, dan tim peneliti melempar 350 ribu kali, sehingga nyaris mencapai angka tersebut.
1 komentar
Komentar Hacker News
Sebagai penulis pertama makalah ini, saya akan menjawab beberapa pertanyaan dan meluruskan beberapa kesalahpahaman. Lemparan yang tampak seperti berputar lambat sebagian besar direkam dengan webcam 30FPS, sehingga putaran koin jauh lebih cepat daripada sensor dan sering terlihat seolah tidak berputar sama sekali, dan video tersebut digunakan untuk memeriksa apakah pengumpulan data berlangsung serta untuk tujuan audit hasil
Kami tidak membuat mesin pelempar, karena penelitian ini membahas lemparan koin oleh manusia, dan Diaconis, Holmes, Montgomery (DHM, 2007) berteori bahwa ketidaksempurnaan dalam lemparan manusia menimbulkan bias ke sisi yang sama. Jika kami membuat mesin, tujuan eksperimennya sendiri akan hilang
Kritik bahwa jumlah penulis terlalu banyak dan dana publik diboroskan juga tidak tepat. Eksperimen dilakukan di waktu luang dan tidak ada pendanaan riset, jadi tidak ada uang yang terbuang. Saya juga sulit memahami mengapa pemberian status penulis bersama kepada para mahasiswa yang berkontribusi melempar koin seharian dianggap begitu menjengkelkan, padahal tanpa mereka eksperimen ini mustahil dilakukan
Tidak semua orang melempar koin dengan sempurna, dan beberapa orang jauh lebih kikuk. Para peserta diinstruksikan untuk melempar seperti saat menentukan taruhan, dan memastikan koin setidaknya berputar sekali. Sebagian besar menunjukkan bias yang berkurang seiring waktu, yang mengisyaratkan bahwa mereka menjadi lebih mahir dengan latihan sehingga bias menurun, dan ini juga melemahkan teori bahwa mereka sengaja mempelajari cara membiasakan hasil
Secara pribadi saya sudah melempar lebih dari 20.000 kali, tetapi sama sekali tidak tahu cara menciptakan bias. Kami juga beberapa kali melakukan analisis sensitivitas dengan mengecualikan outlier, dan efeknya memang sedikit melemah tetapi tetap memberi bukti yang cukup untuk mendukung DHM. Jika Anda meragukan latar belakang statistik kami, Anda bisa menganalisis ulang sendiri menggunakan data dan skrip pengolahan di OSF: https://osf.io/mhvp7/
Makalah ini menyimpulkan bahwa lemparan koin pada dasarnya memiliki bias kecil tetapi signifikan, tetapi jika melihat tabel 2, tampaknya sama masuk akalnya untuk menyimpulkan bahwa sebagian orang melempar tanpa bias dan sebagian lainnya tidak. Khususnya, jika peserta outlier besar dijelaskan tentang presesi dan diminta sengaja menguranginya, saya memperkirakan biasnya akan berkurang atau hilang
Ada video yang menjelaskan makalah ini dengan baik di sini: https://www.youtube.com/watch?v=-QjgvbvFoQA
Intinya, efeknya berasal dari presesi. Artinya, koin tidak hanya membalik secara vertikal sempurna, tetapi juga membawa sedikit goyangan dan momentum sudut, sehingga berputar dengan cara yang membuat satu sisi terlihat lebih lama daripada sisi lainnya
Dampaknya terhadap keadilan berbeda tergantung keterampilan, dan untuk teknik yang baik probabilitas sisi yang sama kira-kira p_same = 0.508, sedangkan salah satu peserta penelitian menunjukkan 0.6 pada sampel besar, yang akan sangat tidak mungkin jika lemparannya benar-benar adil. Sebagai contoh ekstrem, video itu menampilkan seorang pesulap yang menggunakan presesi untuk melakukan trik yang tampak seperti membalik, padahal sebenarnya sisinya tidak berubah dan koin hanya berputar di dalam bidang koin sambil sedikit bergoyang
Video ini juga menjelaskan dengan cukup baik bagaimana pengujian hipotesis bekerja
Makalah ini tampak memiliki ukuran sampel yang besar, tetapi sebenarnya jumlah penguji/pelemparnya hanya 48 orang. Di beberapa video terlihat lemparan yang sangat rendah dan dengan putaran yang sedikit, bisa dibilang hanya berputar 1–2 kali, dan kemungkinan besar itu diulang ribuan kali dengan cara yang sama
Jadi ukuran sampel yang sebenarnya lebih dekat ke N=48, dan orang-orang yang tidak melempar dengan benar, yakni pelempar dengan putaran rendah, tinggi rendah, dan sedikit rotasi, bisa memberi pengaruh yang tidak proporsional pada hasil
Latar belakang para penulis juga tampaknya tidak terlalu berfokus pada statistik. Dari 48 penulis, semua kecuali 3 orang melempar koin, jadi sebagian mungkin lebih dekat sebagai subjek uji daripada penulis. Menjadi subjek dalam riset sendiri juga terasa bisa menimbulkan bias
Jika seseorang berusaha membuktikan sendiri bahwa karena faktor tertentu koin akan jatuh pada satu sisi tertentu, apalagi jika melemparkannya rendah dan lambat, mereka bisa jadi akhirnya menguasai teknik itu. Melihat hasil penelitiannya, beberapa pelempar tampak cukup terlatih. Jika para penulis yakin bahwa koin yang adil justru mendarat pada sisi kebalikan dari sisi awalnya lalu melakukan riset yang sama, rasanya mereka juga bisa membuat data dan makalah yang mendukung hasil itu
https://en.m.wikipedia.org/wiki/Clustered_standard_errors
Bahwa ada semacam efek di sini memang tidak mengejutkan, tetapi saya curiga mereka tidak memakai pelemparan koin yang layak. Soalnya banyak orang tampaknya tidak bisa melempar koin dengan benar, dan setelah melihat videonya, setidaknya untuk salah satu lemparan Bartos, kecurigaan itu tampak benar: https://osf.io/6a5hy/
Putarannya sangat sedikit dan waktu melayang di udara juga sangat singkat. Kalau ini sesuatu yang cukup penting untuk diputuskan lewat lempar koin, saya tidak akan menerima cara seperti itu
Tentu mungkin memang ada efek tertentu, tetapi orang yang tidak melihat videonya akan membayangkan adegan yang sama sekali berbeda. Kalau tidak diberi tahu untuk melihat langsung, saya juga mungkin tidak akan memeriksanya. Kecil kemungkinan para penulis tidak sadar betapa menyesatkannya cara ini, dan secara intuitif rasanya pelemparan koin yang benar tidak akan menunjukkan sifat yang sama
Sekalipun kita menggunakan mesin otomatis selama bertahun-tahun untuk melempar sebanyak mungkin, mengubah gaya dan sudut lemparan, mendeteksi keausan permukaan koin pada tingkat submilimeter, dan menguji semua gaya dan ukuran yang ada, semua tingkat keausan, semua posisi dan sudut, serta semua kombinasi komposisi atmosfer Bumi, saya tetap bertanya-tanya apa arti hasil itu sebenarnya. Pada akhirnya itu lebih mirip daftar kejadian yang sangat spesifik daripada sebuah “kesimpulan”, dan di masa depan pun tindakan itu masih akan dijelaskan dengan probabilitas hasil
Makalah ini juga merupakan pemenang Ig Nobel Prize tahun ini
“Probabilitas: tim riset beranggotakan 50 orang yang melakukan 350.757 eksperimen untuk menunjukkan bahwa ketika koin dilempar, kemungkinannya sedikit lebih besar untuk mendarat pada sisi yang sama dengan sisi awalnya”
Sumber: https://en.wikipedia.org/wiki/List_of_Ig_Nobel_Prize_winners...
Di kalangan pesulap, ini sebenarnya sudah menjadi pengetahuan umum sejak beberapa dekade lalu. Seorang pesulap mungkin tidak melempar sampai 350 ribu kali, tetapi saat masih kecil saya juga pernah mencoba menguji efek itu sekitar 2.500 kali
Jika 30 pesulap menggabungkan datanya, meta-analisis sebesar ini mungkin saja dilakukan, dan waktu eksperimennya mungkin sekitar seabad yang lalu
Ini tidak sepenuhnya terkait, tetapi saya dulu setidaknya mengetahui bahwa dengan koin 20 sen Australia, cukup mudah untuk curang dalam lempar koin. Setelah koin dilempar, ditangkap dengan tangan, lalu dipindahkan ke punggung tangan yang lain, kita bisa merasakan lewat sentuhan sisi mana yang menghadap ke atas, lalu membalikkannya jika mau
Pada koin kami, wajah Ratu di sisi depan adalah area yang lebar dan halus, sehingga cukup mudah dibedakan dari sisi belakang yang lebih kasar dengan platipus dan pola air. Jika lempar koin dipakai untuk memutuskan sesuatu yang penting, koin itu harus dibiarkan jatuh langsung ke lantai
Yang saya pelajari dari thread ini adalah bahwa masalah dalam lempar koin yang adil ternyata bukan apakah itu benar-benar adil, melainkan apa yang harus dianggap sebagai lempar koin yang benar. Dan masalahnya adalah siapa yang berhak menentukannya
Jika kebanyakan orang tidak melempar seperti itu, haruskah kita merancang mesin pelempar koin? Haruskah faktor-faktor lain juga dikendalikan? Atau justru melempar dengan manusia dan segala ketidaksempurnaannya adalah sesuatu yang secara hakiki penting bagi konsep lempar koin, statistik, dan keacakan?
Saat berusia sekitar enam atau tujuh tahun, saya belajar trik lempar koin dari tukang cukur di toko kakek saya. Setelah itu, saya selalu bisa menentukan hasilnya dengan melempar koin. Intinya sebenarnya hanya menjaga cara melempar dan cara menangkapnya tetap konsisten
Sebagai referensi, ada juga makalah tahun 2007 yang memberikan penjelasan fisik
[1] https://www.stat.berkeley.edu/~aldous/157/Papers/diaconis_co...