- Temuan terkenal bahwa proporsi keputusan yang menguntungkan di dewan pembebasan bersyarat Israel turun tajam sebelum jeda lalu pulih sesudahnya, bisa sangat dibesar-besarkan bukan hanya oleh distorsi penilaian yang nyata, tetapi juga oleh artefak statistik
- Studi asli menafsirkan bahwa probabilitas keputusan yang menguntungkan turun dari sekitar 65% pada putusan pertama dalam sesi menjadi hampir 0% pada putusan terakhir, lalu kembali ke 65% setelah jeda makan, dan mengaitkannya dengan kemungkinan kelelahan mental
- Inti reanalisisnya adalah bahwa putusan yang menguntungkan memakan waktu lebih lama daripada putusan yang tidak menguntungkan; dalam data DLA, putusan menguntungkan rata-rata 7,37 menit, sedangkan putusan tidak menguntungkan rata-rata 5,21 menit, sehingga pada sampel bagian akhir sesi bisa tersisa lebih sedikit kasus yang menguntungkan
- Jika diasumsikan seorang hakim rasional akan memindahkan kasus yang sulit diselesaikan dalam sisa waktu ke sesi berikutnya, maka bahkan dengan urutan kasus acak pun muncul kurva penurunan yang mirip DLA, dan penghapusan 5% terakhir tiap sesi justru memperbesar efek ini
- Hanya dari data asli saja belum cukup untuk menyimpulkan bahwa faktor eksogen sangat mendistorsi penilaian hukum; faktor seperti manajemen waktu yang rasional dan penempatan kasus yang tidak acak perlu dipisahkan dari efek urutan maupun lapar
Hasil asli ‘hakim lapar’
- Danziger, Levav, Avnaim-Pesso (DLA) menganalisis 1.112 putusan dewan pembebasan bersyarat Israel dan menilai bahwa urutan kasus dalam sesi berkaitan dengan probabilitas putusan yang menguntungkan
- Dewan tersebut mengadakan tiga sesi per hari, dengan sesi dipisahkan oleh camilan larut pagi dan jeda makan siang
- Analisis ini mencakup sekitar 40% permohonan pembebasan bersyarat di Israel
- Temuan utama DLA adalah bahwa keputusan yang menguntungkan sekitar 65% pada putusan pertama sesi, tetapi turun hingga hampir 0% pada putusan terakhir sesi
- Setelah jeda makan, pada sesi berikutnya proporsi putusan yang menguntungkan kembali ke sekitar 65%
- DLA dengan hati-hati menafsirkan bahwa setelah keputusan berulang, hakim mungkin menjadi lelah, lapar, atau terkuras secara mental, sehingga lebih mudah memilih strategi status quo berupa menolak permohonan
- Efek ini banyak dikutip dalam psikologi, hukum, ekonomi, dan bidang lain karena menunjukkan bahwa keputusan hukum bisa dipengaruhi oleh faktor yang secara hukum tidak relevan seperti urutan kasus atau apakah hakim sudah makan
- Jumlah sitasinya pada 27 Februari 2015 adalah 222 kali di Google Scholar
Keraguan terhadap besarnya efek
- Besarnya penurunan yang diamati DLA sangat besar
- Turunnya keputusan menguntungkan dari 65% menjadi 5% setara dengan odds ratio 35 atau perbedaan rerata terstandar d = 1.96
- Ini lebih dari dua kali lipat tolok ukur umum untuk “efek besar”
- Ukurannya makin mencolok bila dibandingkan dengan anggapan bahwa penyebabnya adalah kelelahan mental
- Estimasi Carter dan McCullough yang telah dikoreksi dari bias publikasi adalah d = –0,10~0,25, yang berarti rata-rata hanya efek kecil yang diharapkan
- Studi replikasi multisitus terdaftar-prior di 23 laboratorium dengan N = 2.142 menemukan d = 0.04, yang tidak berbeda signifikan dari 0
- Jadi jika efek DLA memang benar disebabkan oleh kelelahan mental, maka lingkungan pengadilan menunjukkan fenomena yang jauh lebih besar daripada efek yang biasanya diharapkan dari studi laboratorium
Faktor perancu urutan kasus dan waktu jeda
- Untuk menyatakan ada efek urutan kasus, penempatan kasus harus acak, atau setidaknya tidak ada faktor tersembunyi yang tidak dimasukkan dalam analisis yang sekaligus memengaruhi urutan dan putusan
- DLA mengendalikan variabel seperti tingkat keparahan kejahatan, pemenjaraan sebelumnya, bulan masa tahanan, partisipasi dalam program rehabilitasi, dan rasio keputusan menguntungkan sebelumnya, lalu menilai hasilnya tetap kuat
- Weinshall-Margel dan Shapard membantah bahwa urutan kasus acak, berdasarkan wawancara informal dengan pihak-pihak yang terlibat dalam prosedur pembebasan bersyarat
- Penjelasannya, narapidana tanpa pengacara biasanya ditempatkan belakangan dalam sesi, dan mereka memiliki kemungkinan lebih rendah mendapat pembebasan bersyarat dibanding narapidana yang didampingi pengacara
- DLA menjawab bahwa tren penurunan tetap ada meski keberadaan pengacara dikendalikan, tetapi mereka tidak melaporkan apakah besarnya efek tetap sama
- Waktu pengambilan jeda juga merupakan variabel penting
- DLA menilai karakteristik kasus tidak memprediksi kapan jeda diambil
- Dalam wawancara Weinshall-Margel dan Shapard, ada pernyataan bahwa hakim bisa membuat perencanaan terorganisasi untuk menyelesaikan sekumpulan kasus seperti bundel perkara dari satu penjara dalam satu sesi
Gugur selektif dan manajemen waktu yang rasional
- Titik awal reanalisis adalah fakta bahwa putusan yang menguntungkan memakan waktu lebih lama daripada putusan yang tidak menguntungkan
- Dalam data DLA, putusan menguntungkan rata-rata 7,37 menit dengan simpangan baku 5,11 menit
- Putusan tidak menguntungkan rata-rata 5,21 menit dengan simpangan baku 4,97 menit
- Jumlah kasus yang ditangani per sesi tidak tetap
- Sesi pagi rata-rata 7,8 kasus, simpangan baku 4,51, minimum 2 kasus, maksimum 28 kasus
- Sesi setelah camilan dan sebelum makan siang rata-rata 11,4 kasus, simpangan baku 5,14, minimum 2 kasus, maksimum 25 kasus
- Jika putusan menguntungkan memakan waktu lebih lama, maka semakin mendekati akhir sesi, kasus-kasus yang akan menghasilkan putusan menguntungkan bisa gugur secara selektif dari sampel
- Sesi yang terutama berisi putusan tidak menguntungkan dapat memproses lebih banyak kasus
- Pada observasi dengan nomor urut tinggi, relatif lebih banyak tersisa kasus dari sesi yang didominasi putusan tidak menguntungkan
- Perilaku hakim yang enggan memulai kasus yang akan memakan waktu lama tepat sebelum jeda bisa merupakan manajemen waktu yang rasional
- Dari jumlah dokumen, jenis permohonan, keberadaan pengacara, dan petunjuk permukaan terkait pengacara, penjara, atau narapidana, durasi penanganan yang panjang atau pendek dapat diperkirakan sampai tingkat tertentu
- Perencanaan ini tidak mesti mengasumsikan bahwa substansi hukum kasus atau hasil putusannya sudah diketahui sebelumnya
Simulasi hakim rasional
- Simulasi mengasumsikan hakim ideal hipotetis yang memutus tanpa kesalahan dan tanpa bias
- Hakim menetapkan batas waktu kira-kira untuk tiap sesi, dan jika kasus berikutnya diperkirakan melampaui batas itu, kasus tersebut tidak diproses di sesi saat ini melainkan dipindahkan menjadi kasus pertama sesi berikutnya
- Simulasi menghasilkan 10.000 kasus dengan urutan acak
- Rasio dasar kasus yang diputus menguntungkan ditetapkan 36%, sedangkan kasus yang diputus tidak menguntungkan 64%
- Waktu putusan mencerminkan perbedaan rerata durasi antara kasus menguntungkan dan tidak menguntungkan, dengan gangguan distribusi normal atau distribusi Weibull yang miring positif
- Batas waktu sesi ditetapkan 60 menit
- Bahkan jika urutan kasus acak dan hakim rasional, tetap muncul pola bahwa probabilitas putusan menguntungkan turun tajam semakin mendekati akhir sesi
- Hasil yang secara kualitatif serupa muncul baik pada distribusi normal maupun Weibull
- Pada nomor urut tinggi, observasi yang tersisa sedikit sehingga estimasi menjadi tidak stabil, dan bisa muncul puncak 0% atau rasio tinggi
- Mekanisme ini terjadi karena semakin sedikit waktu yang tersisa, semakin kecil kemungkinan kasus yang menguntungkan bisa masuk ke dalam sesi
- Dalam contoh, jika waktu tersisa 15 menit, sebagian besar kasus menguntungkan maupun tidak menguntungkan masih bisa dimulai
- Jika waktu tersisa 5 menit, hanya 12% kasus menguntungkan yang bisa masuk, sementara 46% kasus tidak menguntungkan masih bisa masuk
- Dalam sampel bagian akhir sesi, proporsi relatif kasus menguntungkan menjadi lebih rendah
Kenaikan di awal sesi dan penyensoran data
- Baik simulasi maupun data DLA menunjukkan bahwa proporsi keputusan menguntungkan pada putusan pertama sesi lebih tinggi daripada rasio dasarnya
- Karena sesi lebih mungkin berakhir tepat sebelum putusan menguntungkan, massa probabilitas kasus menguntungkan yang tersisih di akhir sesi sebelumnya berpindah ke putusan pertama sesi berikutnya
- Jika sesekali ada perencanaan berbasis bundel kasus, hal itu juga bisa menjelaskan mengapa putusan kedua dan ketiga lebih tinggi daripada rasio dasar
- DLA menghapus 5% terakhir kasus dari tiap sesi untuk mengurangi masalah sampel kecil pada nomor urut tinggi
- Dalam simulasi reanalisis, penyensoran (censoring) ini tidak mengurangi besarnya penurunan, melainkan justru memperbesarnya
- Penyensoran secara artifisial meningkatkan gugur selektif
- Saat menganalisis pengaruh nomor urut terhadap rasio putusan menguntungkan, penyensoran seperti ini sebaiknya dihindari
- Dalam data DLA juga terdapat autokorelasi positif, yakni putusan sebelumnya berkorelasi positif dengan putusan berikutnya
- Ketika autokorelasi orde pertama r = .10 ditambahkan dalam simulasi, ukuran artefaknya tidak berubah secara mencolok
Jika tidak ada prediksi sebelumnya
- Simulasi sebelumnya mengasumsikan hakim dapat memperkirakan sampai tingkat tertentu berapa lama kasus berikutnya akan memakan waktu, dan tidak akan memulai kasus yang akan melampaui batas sesi
- DLA menyatakan anggota dewan tidak mengetahui detail kasus berikutnya sebelumnya, sehingga asumsi prediktabilitas penuh bisa menjadi syarat yang cukup kuat
- Reanalisis juga menguji kondisi ketika hakim menghentikan sesi setelah melewati batas waktu tanpa prediksi sebelumnya
- Tanpa penyensoran dan autokorelasi, artefak itu menghilang
- Dengan penyensoran dan autokorelasi, efek penurunan muncul kembali
- Alasannya adalah karena putusan menguntungkan memakan waktu lebih lama sehingga lebih mungkin terkena batas waktu
- Jika 5% terakhir sesi dihapus, kasus terakhir sering terbuang, dan kasus terakhir ini lebih mungkin berupa kasus menguntungkan daripada kasus tidak menguntungkan
- Dalam kondisi tanpa prediksi, besarnya penurunan yang dihasilkan penyensoran sekitar 15%, lebih kecil daripada simulasi dengan prediksi
Keterbatasan yang tersisa dan kesimpulan
- Reanalisis ini tidak menyingkirkan kemungkinan bahwa urutan atau kelelahan mental memang memengaruhi data putusan hukum DLA
- Namun, sebagian besar penurunan besar yang diamati dapat muncul bahkan tanpa faktor eksogen, hanya dari manajemen waktu yang rasional dan gugur selektif
- Manajemen waktu yang rasional dan gugur selektif tidak menjelaskan semua karakteristik data DLA
- Ukuran efek dalam simulasi agak lebih kecil daripada efek aslinya
- Dalam data asli, rasio awal sesi lebih tinggi, yaitu 65% alih-alih 45%, dan khususnya rasio awal pada sesi pertama hari itu sulit dijelaskan hanya dengan penjelasan ini
- Efek waktu itu sendiri yang dilaporkan DLA tidak mudah dijelaskan oleh artefak berbasis urutan
- Kurva empiris lebih mulus, sedangkan kurva simulasi menunjukkan penurunan awal dan akhir yang lebih kuat serta bagian tengah yang lebih datar
- Jika dalam setelan DLA prediksi langsung atas kasus berikutnya memang sebagian terbatas, maka besarnya penurunan yang dapat dijelaskan oleh manajemen waktu rasional diperkirakan sekitar 15%~45%
- Data asli tidak dapat digunakan untuk analisis rinci tambahan
- Peneliti DLA disebut bersedia membagikan data, tetapi pihak yang memberi akses awal justru mencegahnya
- Lingkungan pengambilan putusan yang tepat juga tidak dapat direkonstruksi sepenuhnya, sehingga isu yang tersisa memerlukan penelitian lanjutan
- Efek urutan dan efek kelelahan mental dalam studi asli mungkin telah dibesar-besarkan
- Manajemen waktu yang rasional terkait waktu jeda, urutan tidak acak yang menempatkan kasus dengan pengacara lebih awal, dan kemungkinan efek urutan maupun kelelahan mental bercampur menjadi satu
- Jika faktor-faktor itu dipisahkan, estimasi untuk efek urutan atau kelelahan mental kemungkinan akan menjadi lebih kecil
- Secara lebih luas, perilaku yang tampak tidak rasional juga bisa memiliki dasar rasional yang tidak intuitif
- Simulasi komputer dan analisis matematika formal adalah sarana untuk menemukan kemungkinan semacam itu
- Sebelum menyimpulkan bahwa aktor hukum atau individu bertindak sangat tidak rasional, simulasi aktor rasional dan analisis formal perlu digunakan lebih dini dan lebih aktif
1 komentar
Komentar Hacker News
Studi aslinya tampaknya cacat karena tidak mempertimbangkan urutan penanganan perkara
Poin yang terlewat adalah bahwa perkara yang kurang serius ditangani lebih dulu, sementara perkara yang lebih serius, yaitu perkara dengan hukuman lebih berat, didorong ke belakang
“Danziger dkk. sangat bergantung pada asumsi bahwa urutan perkara bersifat acak dan karena itu independen dari proses pengambilan keputusan. Asumsi ini telah dibantah kuat. Keren Weinshall-Margel dan John Shapard, dalam tanggapan singkat dan sangat kritis di PNAS, menganalisis data studi asli serta data lain yang mereka kumpulkan sendiri, dan melakukan wawancara tambahan dengan pegawai pengadilan terkait. Mereka menunjukkan bahwa urutan perkara tidak acak. Panel berusaha menangani semua perkara dari satu penjara sebelum jeda, lalu setelah jeda berpindah ke perkara dari penjara berikutnya. Secara khusus, permohonan narapidana tanpa pengacara biasanya ditangani di akhir tiap sesi. Jadi narapidana tanpa perwakilan hukum lebih kecil kemungkinannya menerima keputusan yang menguntungkan dibanding narapidana yang punya perwakilan. Selain itu, para pengacara sering mewakili banyak narapidana dan menentukan urutan penyajian perkara; sangat mungkin mereka memulai dari perkara yang paling kuat”
[1] Chatziathanasiou, K., 2022. Beware the lure of narratives:“hungry judges” should not motivate the use of “artificial intelligence” in law. German Law Journal, 23(4), pp.452-464
Bukankah seharusnya perkara justru dialokasikan secara acak?
Menarik. Studi aslinya dikenal dengan temuan bahwa hakim lebih lunak tepat setelah makan siang, dan paling keras tepat sebelum makan siang
Studi baru ini menantang kekuatan kesimpulan itu dengan menunjukkan bahwa putusan positif memakan waktu lebih lama, dan tepat sebelum jeda lebih banyak putusan negatif yang sederhana bisa disisipkan. Di sini putusan negatif adalah penolakan pembebasan bersyarat, sehingga selesai lebih cepat
Artinya, hakim tidak ingin memulai perkara kompleks yang kemungkinan berakhir menguntungkan tepat sebelum jeda. Studi asli sudah dikutip berkali-kali, tetapi telaah ulang ini memberikan jauh lebih banyak konteks
Jika itu benar, kecelakaan lalu lintas seharusnya melonjak luar biasa menjelang waktu makan siang, dan secara akal sehat efeknya harus cukup besar sampai-sampai mengemudi tepat sebelum tengah hari layak dilarang
“Jika rasa lapar memengaruhi sumber daya mental kita sebesar ini, masyarakat akan jatuh ke kekacauan kecil setiap hari pukul 11.45. Setidaknya, masyarakat pasti sudah diorganisasi di sekitar efek kelelahan mental yang luar biasa kuat dan sulit dipercaya ini.”
https://daniellakens.blogspot.com/2017/07/impossibly-hungry-...
Dalam konteks serupa, ada juga studi terkenal tentang korelasi antara dimulainya daylight saving time dan peningkatan serangan jantung [0]
[0] https://www.sciencedirect.com/science/article/pii/S254245482...
Tulisan terkait:
Do judges give out tougher sentences when hungry? A study too good to be true - https://news.ycombinator.com/item?id=35491060 - April 2023, 202 komentar
Impossibly Hungry Judges - https://news.ycombinator.com/item?id=22020716 - Januari 2020, 1 komentar
Rebuttal to hungry judges give harsher sentences - https://news.ycombinator.com/item?id=19958435 - Mei 2019, 1 komentar
Impossibly Hungry Judges (2017) - https://news.ycombinator.com/item?id=18112378 - Oktober 2018, 58 komentar
Impossibly Hungry Judges - https://news.ycombinator.com/item?id=14701328 - Juli 2017, 70 komentar
Do hungry judges give harsher sentences? - https://news.ycombinator.com/item?id=2438189 - April 2011, 1 komentar
https://hn.algolia.com/?dateRange=all&page=0&prefix=false&qu...
https://hn.algolia.com/?dateRange=all&page=0&prefix=false&qu...
Statistik yang menangani objek dengan panjang yang berbeda-beda itu rumit. Ini mengingatkan saya pada masa ketika melakukan sampling paket di LAN
Karena distribusi panjangnya bimodal, perhitungan statistik yang mengasumsikan rata-rata menimbulkan kesalahpahaman
Ada beberapa trik untuk mengatasinya, dan dalam istilah umum disebut “periodogram”
https://en.wikipedia.org/wiki/Least-squares_spectral_analysi...
https://www.mathworks.com/help/signal/ug/spectral-analysis-o...
Aneh tidak ada yang mengutip The Rape of the Lock karya Alexander Pope
“The hungry judges soon the sentence sign,
And wretches hang that jury-men may dine;”
(https://rpo.library.utoronto.ca/content/rape-lock-canto-3)
Ini menarik karena baru pertama kali saya melihatnya. Karena pernah melihat hal serupa terkait merokok, sekarang saya jadi penasaran dengan efek hakim yang kecanduan, misalnya merokok
Seberapa besar kegagalan replikasi saat ini mungkin disebabkan oleh subjek yang diamati mengetahui fenomena itu dan secara sadar mengoreksinya?
https://daniellakens.blogspot.com/2017/07/impossibly-hungry-...
Efek aslinya sudah diketahui sebagai korelasi semu sejak saat publikasi
Ini tampaknya penelitian yang menunjukkan bahwa jika ada batasan waktu, bahkan hakim yang rasional pun akan berusaha menangani perkara lebih cepat dan bisa condong ke putusan yang merugikan
Jam makan siang, dan mungkin jam pulang kerja, adalah batasan waktu seperti itu, sehingga semakin mendekati jam makan siang, putusan yang menguntungkan berkurang, lalu pulih kembali tepat setelah makan siang
Namun tetap saja aneh bahwa penelitian itu mengatakan “analisis DLA tidak memberikan bukti konklusif untuk hipotesis bahwa faktor eksternal memengaruhi putusan hukum.” Kalau jam makan siang dan jam pulang kerja bukan faktor eksternal, lalu apa?
Meski begitu, penjelasan di atas hanya menjelaskan sebagian dari temuan awal, dan penelitian itu juga mengakui bahwa ada faktor lain yang ikut berperan
Hakim rasional yang disimulasikan bersifat “ideal”, dan keputusan mereka tidak dipengaruhi oleh urutan perkara atau waktu yang berlalu setelah istirahat
Yang dikatakan penelitian itu adalah bahwa meskipun perilaku mereka sempurna seperti ini, dalam sebagian metode simulasi untuk menentukan kapan mengambil istirahat, perkara yang menguntungkan bisa lebih mungkin ditempatkan pada awal sesi. Dalam simulasi terakhir, efek ini baru muncul setelah perlakuan statistik yang sama seperti studi aslinya diterapkan
Selama beberapa tahun setelah membaca studi asli, saya tidak pernah menjadwalkan rapat sebelum makan siang, aduh
Lebih seriusnya, saya justru melakukan kebalikannya. Tujuannya agar orang tidak melenceng karena lapar, dan agar pagi tidak terbagi menjadi dua blok yang saling terputus
Akan menarik jika dibandingkan dengan kasus ketika hasil default-nya berlawanan
Narapidana berada di penjara dan akan tetap berada di penjara
Jika strukturnya sedemikian rupa sehingga narapidana dibebaskan bila hakim tidak memberikan argumen mengapa mereka harus tetap ditahan, apakah hasilnya akan berbeda? Tentu saja sepertinya akan cukup rumit