- Pola terkenal bahwa “orang yang tidak terampil melebih-lebihkan kemampuannya” mungkin bukan ciri stabil psikologi manusia, melainkan produk statistik dari pencampuran skor tes dan galat penilaian diri pada sumbu yang sama
- Intinya adalah autokorelasi: jika selisih antara skor tes x dan penilaian diri y, yaitu y−x, dibandingkan lagi dengan x, maka x masuk ke kedua sisi persamaan sehingga bentuk yang sama muncul bahkan pada data acak
- Grafik Dunning dan Kruger tahun 1999 membagi peserta berdasarkan kuartil skor tes dan membandingkan rata-rata persentil skor aktual dengan kemampuan yang dipersepsikan, sehingga selisih antara dua garis terlihat seperti efek psikologis
- “Skor tes” dan “penilaian diri” yang dibuat secara acak pun, jika diproses dengan cara yang sama, dapat menghasilkan kurva ala Dunning-Kruger yang membuat orang berperforma rendah tampak terlalu percaya diri dan orang berperforma tinggi tampak rendah hati
- Kritik Nuhfer dkk. pada 2016 dan 2017 serta kritik Gignac dan Zajenkowski pada 2020 menunjukkan masalah yang sama, tetapi tiga makalah kritik itu hanya dikutip 88 kali di Google Scholar, jauh lebih sedikit daripada makalah asli yang dikutip 7.893 kali
Meninjau ulang efek Dunning-Kruger secara statistik
- Efek Dunning-Kruger dikenal melalui studi Justin Kruger dan David Dunning pada 1999, dan merujuk pada kecenderungan orang berkemampuan rendah untuk melebih-lebihkan kemampuannya sendiri
- Fokus kritik ini adalah bahwa efek tersebut berulang kali muncul dalam data bukan karena fenomena psikologis, melainkan karena autokorelasi (autocorrelation)
- Autokorelasi adalah situasi ketika suatu variabel dikorelasikan dengan dirinya sendiri
- Dalam bentuk murni, ini adalah sirkularitas yang jelas seperti “5 = 5”
- Namun jika variabel yang sama tercampur di kedua sisi persamaan, hal ini tidak mudah terlihat
- Misalnya, ketika ada x dan y yang tidak saling terkait, lalu dibuat z = x + y dan z dikorelasikan dengan x, x masuk di kedua sisi sehingga seolah-olah muncul korelasi
Struktur grafik Dunning-Kruger asli
- Dunning dan Kruger meminta peserta mengikuti tes keterampilan, lalu meminta masing-masing menilai kemampuan mereka sendiri
- Sumbu horizontal grafik adalah sumbu kategorikal yang membagi orang menjadi 4 kelompok kuartil (quartile) berdasarkan skor tes
- Secara tampilan ini adalah sumbu kategorikal, tetapi sebenarnya menunjukkan peringkat skor tes x
- Sumbu vertikal menampilkan skor aktual dan kemampuan yang dipersepsikan dalam persentil (percentile)
- Garis abu-abu menunjukkan persentil rata-rata skor tes aktual setiap kelompok kuartil
- Pada dasarnya ini sama seperti memplot x terhadap x
- Garis hitam menunjukkan persentil rata-rata penilaian diri setiap kelompok
- Strukturnya adalah memplot penilaian diri y terhadap skor tes x
Autokorelasi yang diciptakan oleh selisih dua garis
- Bagian yang mencolok dalam grafik Dunning-Kruger adalah selisih antara “kemampuan yang dipersepsikan” dan “skor tes aktual”
- Secara matematis, selisih ini adalah y−x
- y adalah penilaian diri
- x adalah skor tes aktual
- Jika selisih ini ditafsirkan terhadap sumbu horizontal x, relasinya menjadi (y−x) ~ x
- Karena x masuk di kedua sisi persamaan, muncul autokorelasi ketika x dibandingkan dengan bentuk negatif dari dirinya sendiri
- Karena itu, meskipun x dan y diisi dengan angka acak yang sama sekali tidak bermakna psikologis, pola yang tampak seperti efek Dunning-Kruger dapat muncul dalam grafik dengan struktur yang sama
Data acak pun menghasilkan pola yang sama
- Dalam eksperimen replikasi hipotetis, anggap 1.000 orang direkrut dan diperoleh skor tes serta penilaian diri mereka
- Jika skor tes dan penilaian diri tiap individu diplot apa adanya sebagai scatter plot, hasilnya tampak sepenuhnya acak dan tidak ada jejak efek Dunning-Kruger
- Setelah itu galat penilaian diri dihitung
- Galat penilaian diri = penilaian diri − skor tes
- Jika galat ini dibandingkan dengan skor tes, muncul hubungan yang kuat
- Orang berperforma rendah tampak sangat terlalu percaya diri
- Orang berperforma tinggi tampak terlalu rendah hati
- Jika data yang sama dimasukkan ke grafik ala Dunning-Kruger, kurva yang tampak menunjukkan efek lebih besar daripada hasil asli pun dapat dibuat
- Namun jika data ini bukan nilai eksperimen nyata melainkan angka acak, pola yang muncul adalah produk struktur statistik, bukan efek psikologis
Pengujian alternatif Nuhfer dkk.
- Agar dua kumpulan data dapat dikorelasikan secara valid secara statistik, kedua pengukuran harus diukur secara independen
- Grafik Dunning-Kruger melanggar prinsip ini dengan mencampurkan skor tes ke kedua sumbu
- Edward Nuhfer dan rekan-rekannya memeriksa bagaimana efek berubah jika “keterampilan” diukur dengan cara yang independen dari performa tes atau penilaian diri
- Dalam analisis Nuhfer, sumbu horizontal diisi dengan tingkat pendidikan, dan sumbu vertikal diisi dengan galat penilaian diri
- Setiap titik mewakili individu
- Rata-rata galat penilaian diri ditampilkan sebagai gelembung hijau
- Jika efek Dunning-Kruger ada, seharusnya terlihat tren menurun: semakin tinggi tingkat pendidikan, semakin kecil galat penilaian diri
- Dalam hasil tersebut, tren seperti itu tidak terlihat, dan rata-rata galat penilaian tetap berada hampir di sekitar 0
- Namun, semakin tinggi tingkat pendidikan, varians galat penilaian diri cenderung menurun
- Profesor cenderung menilai kemampuan mereka sendiri lebih akurat daripada mahasiswa baru
- Ini adalah fenomena yang berbeda dari efek Dunning-Kruger, yang berbicara tentang bias terlalu percaya diri secara rata-rata
Bias tambahan dari transformasi persentil
- Transformasi persentil menciptakan bias lain selain autokorelasi
- Persentil memiliki lantai dan plafon, yaitu 0 dan 100
- Orang yang dekat dengan lantai sulit meremehkan peringkatnya sendiri lebih rendah lagi
- Orang yang dekat dengan plafon sulit melebih-lebihkan peringkatnya sendiri lebih tinggi lagi
- Karena struktur ini, orang berperforma rendah mudah tampak terlalu percaya diri, sedangkan orang berperforma tinggi mudah tampak rendah hati
- Selain itu, garis yang membandingkan persentil skor tes dengan kuartil skor tes memberikan sangat sedikit informasi tambahan tentang skor tes aktual, karena setiap kuartil secara definisi mencakup 25 persentil
Mengapa kritiknya tidak tersebar luas
- Makalah asli Dunning dan Kruger diterbitkan pada 1999
- Cacat analitis ini baru dianggap cukup dipahami pada 2016
- Makalah kritik Edward Nuhfer dan rekan-rekannya terbit pada 2016 dan 2017, dan Gilles Gignac serta Marcin Zajenkowski juga menerbitkan kritik serupa pada 2020
- Berdasarkan Google Scholar, total sitasi untuk tiga makalah kritik tersebut adalah 88 kali, sementara makalah Dunning dan Kruger tahun 1999 dikutip 7.893 kali
- Sanggahan terhadap analisis yang keliru cenderung kurang dikenal dibandingkan makalah aslinya, dan sering kali terbit di tempat yang kurang menonjol daripada jurnal tempat makalah asli diterbitkan
- Grafik Dunning-Kruger yang terkenal lebih dekat sebagai contoh kesalahan analitis yang menafsirkan autokorelasi sebagai efek psikologis daripada tentang “orang yang tidak terampil dan tidak menyadarinya”
1 komentar
Pendapat di Hacker News
Interpretasi ini sulit diterima, dan sanggahan ini menjelaskannya dengan lebih baik: https://andersource.dev/2022/04/19/dk-autocorrelation.html
Intinya, interpretasi autokorelasi ini menunjukkan bahwa “jika performa dan penilaian performa bersifat acak dan independen, akan muncul bentuk seperti grafik D-K,” lalu menyimpulkan bahwa efeknya hanyalah autokorelasi.
Namun dalam kenyataannya, justru lebih aneh jika kita mengharapkan performa dan penilaian diri bersifat independen. Kita berharap orang bisa menilai kemampuan dirinya dengan tingkat akurasi tertentu, dan D-K juga menunjukkan adanya korelasi di antara keduanya, hanya saja tidak sekuat yang diharapkan. Hasil yang menarik adalah bias yang konsisten, dan meski hipotesis penyebabnya bisa diperdebatkan, kita tidak boleh mengabaikan fakta bahwa variabel-variabel itu memang tidak diharapkan bersifat independen.
Rata-rata, orang memperkirakan kemampuan mereka bukan di persentil ke-50 dari simulasi acak, melainkan sekitar persentil ke-65 berdasarkan hasil nyata, dan penilaian diri memang naik seiring kemampuan aktual, tetapi naiknya mengejutkan hanya sedikit. Pembahasan penulis soal “autokorelasi” pada dasarnya adalah pengalihan isu yang tidak relevan dengan pokok masalah, dan hasil yang dihasilkan secara acak tidak cocok dengan hasil makalah asli. Tentu, seberapa kuat replikabilitasnya adalah persoalan terpisah, tetapi cara visualisasinya sendiri bukan masalah; akan lebih baik jika ada batang dispersi.
Bagian menarik dari hasil aslinya adalah bahwa korelasi antara performa aktual dan performa yang dipersepsikan lebih rendah daripada intuisi. Namun seiring menyebarnya efek D-K dalam budaya populer, intuisi kolektif juga berubah, dan kini jika Anda menjelaskan efek D-K asli kepada orang acak di internet, mereka mungkin justru tertarik karena “korelasinya lebih besar dari yang dibayangkan.” Sebab orang itu mungkin mengira korelasinya negatif.
Jika datanya 100% akurat dan presisi [1], garisnya akan menjadi diagonal, sehingga kuartil pertama sekitar 12,5% dan kuartil keempat sekitar 87,5%. Jika datanya akurat tetapi tidak presisi, semakin besar unsur acaknya, diagonal itu akan berubah menjadi garis datar di tengah dan harus berpotongan di 50%. Namun yang sebenarnya terlihat bukan salah satu dari itu: kuartil pertama kira-kira 60%, dan kuartil keempat 75%. Ini menunjukkan bahwa kemampuan penilaian diri memang ada sampai tingkat tertentu, tetapi meleset. Kuartil teratas bisa tampak seperti meremehkan diri karena efek pemotongan di bagian atas, tetapi overestimasi pada kuartil terbawah sulit dihindari.
[1] https://en.wikipedia.org/wiki/Accuracy_and_precision
Di satu sisi ia mengatakan bahwa “jauh lebih masuk akal untuk berasumsi bahwa orang bisa menilai performanya sendiri,” tetapi di sisi lain juga mengatakan “saya tidak menentang klaim bahwa semakin terampil seseorang, semakin baik ia menilai performanya sendiri”; ini membuat sulit mempertahankan kredibilitas. Ia memperlakukan variabel kunci seolah-olah tetap, lalu mengakui bahwa variabel itu berubah di dalam dataset yang sama, sehingga kurang memiliki konsistensi diri.
Grafik linear mulus yang semua orang kaitkan dengan D-K hanyalah satu dari empat grafik, sementara tiga lainnya jauh lebih berantakan, dan makalah itu juga membahas kasus ketika korelasinya lemah atau bahkan tidak ada. Selain itu, grafik yang tampak sempurna itu mengukur selera humor. Humor sangat mungkin menghasilkan noise hampir total antara penilaian diri dan penilaian ahli—dalam kasus ini, penilaian komedian profesional. Jika pada dasarnya semua orang menebak performanya sendiri secara acak, bentuk D-K yang kuat akan selalu muncul: yang berada di atas meremehkan diri, yang berada di bawah melebih-lebihkan diri. Eksperimen yang mencoba mengukur kecerdasan dengan cara paling sederhana dan langsung adalah eksperimen ke-2 berbasis soal logika LSAT, tetapi grafik hasilnya sangat tidak rata. Makalah itu juga menulis bahwa “peserta tidak melebih-lebihkan jumlah soal yang mereka jawab benar, dan persepsi kemampuan berhubungan positif dengan kemampuan aktual, tetapi tidak signifikan.” Ini terlihat seperti Zimbardo lain.
[1] - https://sci-hub.se/10.1037/0022-3514.77.6.1121
Para penulis melakukan “X - Y versus X”, tetapi masalah yang lebih besar adalah mereka mengurangkan dua nilai pengukuran yang telah ditransformasikan ke rentang 0 sampai 1 dan memiliki batas.
Di ujung-ujung batas, seberapa jauh pelaku berkinerja tinggi bisa melebih-lebihkan kinerjanya sendiri? Karena nilainya sudah hampir 1, tidak banyak. Bahkan jika overestimasi dan underestimasi terjadi dengan frekuensi dan besaran yang sama pada nilai mentah, karena efek plafon pada nilai yang sudah ditransformasikan, grafik akan tampak seolah pelaku berkinerja tinggi lebih sering meremehkan dirinya. Untuk pelaku berkinerja paling rendah, masalah yang berlawanan muncul. Lihat gambar 7, 8, 9 dalam “Random Number Simulations Reveal How Random Noise Affects the Measurements and Graphical Portrayals of Self-Assessed Competency.” Numeracy 9, Iss. 1 (2016)
Kuartil terbawah tidak bisa mengatakan dirinya lebih rendah daripada kuartil terbawah, jadi kesalahan apa pun tercatat sebagai “terlalu percaya diri”. Kuartil teratas tidak bisa mengatakan dirinya lebih tinggi daripada kuartil teratas, jadi kesalahan apa pun tercatat sebagai “kurang percaya diri”
Fakta bahwa derau acak bisa menghasilkan kurva rata-rata pada sumbu Y bukan berarti D-K tidak ada. Itu hanya berarti analisis diri rata-rata dalam D-K mirip dengan rata-rata acak tingkat menengah, dan kalau dipikir-pikir itu masuk akal. Kebanyakan orang kemungkinan menilai dirinya rata-rata terlepas dari kemampuan sebenarnya, jadi D-K masih tampak valid
Jika mengasumsikan mekanisme dasarnya, kemampuan mentah orang-orang yang mengikuti tes mungkin berdistribusi lognormal. Sebab partisipasi dalam tes itu sendiri membawa batas bawah IQ secara implisit, dan ada pula ekor panjang di bidang berkinerja tinggi seperti olahraga. Tes berusaha mengukur kinerja, tetapi mereduksinya menjadi distribusi normal atau 4 kategori; orang memperkirakan kemampuan dirinya berdasarkan pengalaman mengerjakan tugas dan dinilai, dan ini juga direduksi menjadi distribusi normal atau distribusi konstan. Dengan kata lain, reduksi dimensi terjadi secara implisit maupun eksplisit di tiga tempat, jadi saya tidak iri pada peneliti yang harus mengupas lapisan bawang ini. Meski begitu, melihat bagaimana masalah seperti ini terurai dalam eksperimen yang dirancang agar mudah diakses membuat pemahaman menjadi lebih baik
Perdebatan antara Nicolas Boneel dan penulis di komentar artikel menarik, dan Nicolas mengekspresikan dengan baik kecurigaan yang muncul saat membacanya
Inti efek D-K adalah bahwa orang buruk dalam memperkirakan kemampuan mereka sendiri, jadi jika kita mengasumsikan mereka memperkirakan tingkat kemampuan secara acak, hasilnya tentu saja akan tereplikasi. Model yang benar untuk dunia tanpa D-K kira-kira seharusnya perkiraan skor tes = skor tes aktual + derau, dan D-K palsu yang diharapkan saat itu hanya sebesar yang muncul akibat batas skor minimum dan maksimum. Efek ini semestinya sebanding dengan varians derau, tetapi varians pada dataset tambahan tampaknya terlalu rendah untuk menjelaskan efek yang diamati secara memadai. Selain itu, dalam model ini, rata-rata semua orang seharusnya bisa menebak di separuh distribusi mana mereka berada, tetapi bahkan kuartil terbawah tampaknya memperkirakan kemampuan mereka pada persentil ke-50 atau lebih
Tes memiliki unsur acak seperti tebakan, dan ini tidak bisa diperkirakan oleh seseorang
https://en.m.wikipedia.org/wiki/Regression_dilution
https://en.m.wikipedia.org/wiki/Errors-in-variables_models
Bagan-bagan itu bisa saja mencerminkan kemampuan yang secara umum rendah, atau struktur yang lebih halus: di bagian bawah kemampuan memperkirakan kurang, lalu membaik di tengah, sementara di bagian atas ada perpaduan antara kemampuan tinggi dan kerendahan hati yang dipelajari
Jadi tidak ada alasan untuk percaya bahwa orang dengan kemampuan tertinggi memperkirakan kemampuan dirinya dengan lebih baik; hanya ada batasan bahwa mereka tidak bisa memperkirakan peringkat dirinya lebih tinggi daripada yang tertinggi
Perhatikan istilah nonstandar: penulis memakai autokorelasi dengan cara yang belum pernah saya lihat
Biasanya autokorelasi merujuk pada korelasi suatu deret waktu dengan dirinya sendiri yang digeser sejumlah waktu tertentu. Jika dipakai seperti di teks asli, ini akan membingungkan orang yang paham statistik, dan sebaliknya juga begitu
Artikel itu mengatakan “autokorelasi terjadi ketika Anda mengorelasikan variabel dengan dirinya sendiri”, tetapi definisi standarnya lebih dekat ke “tingkat korelasi yang dimiliki variabel yang sama antara dua interval waktu berurutan”; ini adalah konsep yang mengukur bagaimana nilai tertunda dalam deret waktu berhubungan dengan nilai aslinya, dan juga disebut korelasi serial
Autokorelasi deret waktu mengaitkan fungsi deret waktu yang sama pada titik waktu berbeda. Dalam bentuk paling sederhana, array X dengan X[i] = f(t[i]) bisa diplot dengan membandingkan X terhadap X, dan bisa dibuat lebih kompleks lagi sebagai transformasi g(X) versus X, misalnya moving average
Jika kita membayangkan dunia hipotetis yang digambarkan penulis, tempat estimasi skor orang-orang independen dari skor sebenarnya, bukankah di dunia itu boleh dikatakan bahwa efek D-K itu nyata?
Inti efek ini adalah kecenderungan orang yang mendapat skor rendah melebih-lebihkan skornya sendiri dan orang yang mendapat skor tinggi meremehkan skornya sendiri. Ada banyak alasan rasional mengapa hal seperti itu bisa terjadi, termasuk kasus ketika tak seorang pun benar-benar punya firasat yang baik tentang skornya sendiri seperti contoh mainan dari penulis, tetapi fenomenanya sendiri tampak benar
Contoh titik acak dari penulis buruk, karena masuk akal untuk mengharapkan orang berperilaku berbeda dari titik acak seragam. Orang yang mahir dalam sesuatu akan memperkirakan dirinya mahir, dan orang yang tidak mahir akan memperkirakan dirinya tidak mahir. Anak-anak kami menyukai matematika dan mengira akan mendapat nilai bagus dalam ujian matematika, dan biasanya memang begitu. Di antara teman sekelas mereka ada anak-anak yang dengan lantang berkata tidak suka matematika, memperkirakan nilainya akan buruk, dan kenyataannya memang agak buruk. Saya juga tidak pandai memasak, jadi kalau ikut lomba memasak saya tidak ragu akan mendapat skor juri yang rendah. Data yang diharapkan itu berkorelasi. Namun jika dalam studi ternyata korelasi itu hampir tidak ada, dan banyak orang yang memperkirakan dirinya akan bagus ternyata buruk sementara banyak orang yang memperkirakan dirinya akan buruk ternyata bagus—dengan kata lain tampak seperti data acak seragam—maka itu hasil yang mengejutkan, dan rasanya itu adalah efek D-K. Saya bukan ahli statistik, jadi mungkin ada sesuatu yang saya lewatkan
Anda bisa saja melempar satu dadu, lalu melempar dadu kedua, kemudian meneliti mengapa dadu kedua cenderung berjumlah 7 jika digabung dengan dadu pertama. Kalau objeknya dadu, kita akan menyingkirkannya sebagai gagasan bodoh, tetapi kalau objeknya manusia, kita mudah tersesat oleh teori psikologis tentang mereka
Definisi autokorelasi dalam tulisan ini adalah “terjadi ketika suatu variabel dikorelasikan dengan dirinya sendiri”, sedangkan definisi Wikipedia adalah “dalam waktu diskret juga disebut korelasi serial, yaitu korelasi sinyal dengan salinan dirinya yang tertunda sebagai fungsi dari jeda”
Tentu saja jeda 0 adalah kasus trivial dari jeda waktu, tetapi definisi dalam tulisan ini paling banter tidak akurat. D-K sama sekali tidak terkait dengan jeda waktu, dan menyebutnya autokorelasi tampak seperti permainan kata yang kurang berhasil
Di sini tampaknya ada kebingungan tentang apa arti “bias”
Jika orang melakukan penilaian diri secara acak, semua pelaku berkinerja tinggi akan menilai dirinya terlalu rendah, tetapi karena pilihannya sendiri acak, itu bukan bias ke arah meremehkan. Namun grafik D-K menunjukkan bias lain, dan secara umum sesuai dengan dugaan. Orang yang tidak memiliki pengetahuan menganggap dirinya berketerampilan rata-rata sehingga menggembungkan posisinya, sedangkan orang yang sangat unggul mengira orang lain juga tahu sebanyak dirinya sehingga enggan menilai dirinya sebagai yang terbaik. Asumsi bersama kedua kelompok adalah dirinya biasa saja dan orang lain juga mirip. Sepertinya kebanyakan orang menganggap dirinya rata-rata, dan ini bisa dengan mudah diuji dengan meminta mereka menilai seberapa baik orang rata-rata akan mengerjakan ujian lalu membandingkannya dengan skor individu. Hampir pasti pelaku berkinerja tinggi akan melebih-lebihkan rata-rata, dan pelaku berkinerja rendah akan meremehkannya
Jika ada hubungan linear antara skor ujian X, yaitu kemampuan, dan penilaian diri Y, yaitu kesadaran diri, maka variabel acaknya dimodelkan sebagai
Y ~ aX + b + NDi sini N adalah derau yang secara statistik independen dengan rata-rata 0. Maka kovariansnya menjadi
Cov(Y-X, X) = (a-1) Var[X], dan untuk memperoleh “efek D-K” harus berlaku(a-1) < 0, yaitua < 1. Jikaa=0seperti dalam posting blog, ini jelas berlaku, dan dalam kasus ideala=1, b=0nyaris tidak berlaku. Jikaa > 1, muncul efek yang sama sekali baru tentang para ahli yang arogan. Jadi dari sudut pandang autokorelasi ini, yang penting hanyalah seberapa cepat penilaian diri seseorang meningkat seiring peningkatan kemampuan. Selama besaran peningkatannya diremehkan, efek D-K akan muncul. Namun analisis ini mengabaikan b. Jikaa=0.8, b=0, itu cocok dengan sudut pandang autokorelasi, tetapi semua orang meremehkan kemampuannya sendiri sehingga apa yang disebut efek D-K tidak muncul. Pada akhirnya b, yaitu nilai kemampuan awal yang diasumsikan semua orang ada pada diri mereka, menjadi penting. Yang ditunjukkan makalah D-K adalahb > .5, dan ini sejalan dengan semangat interpretasi populer. Orang tidak semestinya berasumsi bahwa mereka setidaknya memiliki kemampuan di atas rata-rata. Pada saat yang sama, karena b tidak kelewat jauh di atas .5, saya juga ingin memberi sedikit ruang bagi “orang-orang yang tidak terampil dan tidak tahu”. Menjadikan rata-rata sebagai garis dasar sebenarnya mustahil, tetapi secara intuitif terasa masuk akalItu bukan autokorelasi. Teks aslinya menyamakan dependensi linear dengan autokorelasi, tetapi istilah itu tidak dipakai seperti itu
Autokorelasi merujuk pada saat suatu proses stokastik berkorelasi dengan dirinya sendiri yang tertunda dalam waktu
Tampaknya banyak orang tidak membaca tulisan aslinya sampai akhir. Poin utamanya muncul saat merujuk makalah ini: https://digitalcommons.usf.edu/cgi/viewcontent.cgi?article=1...
Gambar 2 dalam makalah ini menunjukkan hasil eksperimen yang mengukur kemampuan dan persepsi atas kemampuan diri secara independen. Ini adalah rancangan untuk menghilangkan artefak statistik berupa autokorelasi. Namun rata-rata kemampuan tidak berkorelasi dengan akurasi penilaian diri, dan tidak ada efek D-K sama sekali. Yang sebenarnya tampak hanyalah bahwa orang yang lebih kompeten memperkirakan kemampuan dirinya dengan lebih konsisten, yaitu variabilitas penilaiannya lebih rendah, sementara akurasi rata-ratanya tetap 0. Jadi rata-rata kemampuan aktual dan kemampuan yang dipersepsikan tidak berkorelasi, dan inilah persis yang juga dikatakan oleh bukti numerik yang tampak seperti angka acak. Karena itu dalam banyak kasus kita menerapkan pisau cukur Occam