Efek Dunning-Kruger adalah autokorelasi

Efek Dunning-Kruger adalah autokorelasi

• Efek Dunning-Kruger dikenal sebagai kecenderungan orang yang tidak kompeten untuk melebih-lebihkan kemampuan dirinya.
• Efek ini ditemukan pada tahun 1999 oleh para psikolog, dan dalam banyak penelitian tampak seolah-olah terkonfirmasi melalui data.
• Namun, efek ini sebenarnya merupakan hasil dari kesalahan statistik berupa autokorelasi, dan tidak berkaitan dengan psikologi manusia.

Apa itu autokorelasi?

• Autokorelasi adalah fenomena ketika sebuah variabel memiliki hubungan korelasi dengan dirinya sendiri.
• Misalnya, jika tinggi badan seseorang diukur, maka tinggi badan itu memiliki korelasi sempurna dengan dirinya sendiri.
• Ketika sebuah variabel tercampur di kedua sisi persamaan, autokorelasi sulit ditemukan.

Efek Dunning-Kruger

• Efek Dunning-Kruger adalah salah satu contoh autokorelasi, dan sebenarnya berasal dari salah tafsir terhadap grafik.
• Dunning dan Kruger menguji orang-orang, meminta mereka menilai kemampuan mereka sendiri, lalu melaporkan bahwa peserta dengan nilai rendah cenderung melebih-lebihkan kemampuan mereka.
• Namun, hasil semacam itu sebenarnya disebabkan oleh autokorelasi antara skor tes dan skor penilaian diri.

Membongkar efek Dunning-Kruger

• Grafik Dunning-Kruger mengelompokkan orang berdasarkan skor tes, menampilkannya dalam persentil, lalu membandingkannya dengan penilaian diri.
• Cara ini setara dengan membandingkan skor tes dengan dirinya sendiri, sehingga menyembunyikan autokorelasi.
• Fakta bahwa efek Dunning-Kruger tetap muncul bahkan ketika menggunakan data acak juga disebabkan oleh autokorelasi ini.

Mereproduksi efek Dunning-Kruger

• Saat mencoba memahami efek Dunning-Kruger menggunakan data nyata, hasil yang muncul berbeda dari data aslinya.
• Ketika mencoba mereproduksi eksperimen, data mentah tampak acak dan tidak menunjukkan jejak efek Dunning-Kruger.
• Namun, jika data dianalisis dengan cara berbeda, hasilnya bisa tampak seolah-olah menunjukkan efek Dunning-Kruger.

Runtuhnya efek Dunning-Kruger

• Para peneliti berhasil mereproduksi efek Dunning-Kruger meskipun sebenarnya menggunakan angka acak, dan itu terjadi karena autokorelasi.
• Setelah menemukan kesalahan ini, menjadi jelas bahwa grafik Dunning-Kruger sebenarnya didasarkan pada autokorelasi.

Ketiadaan efek Dunning-Kruger

• Ketika efek Dunning-Kruger diukur dengan cara yang valid secara statistik, efek itu ternyata menghilang.
• Hasil pengukuran kesalahan penilaian diri pada orang-orang yang dikelompokkan berdasarkan tingkat pendidikan menunjukkan bahwa rata-rata kesalahan berada di sekitar 0, tanpa bukti adanya efek Dunning-Kruger.

Orang yang tidak kompeten dan tidak mengetahuinya

• Kesalahan statistik yang dilakukan Dunning dan Kruger mungkin saja sebuah kekeliruan, tetapi makalah mereka memuat klaim bahwa orang yang tidak kompeten tidak menyadari ketidakmampuan mereka sendiri.
• Namun pada kenyataannya, justru Dunning dan Kruger sendiri menunjukkan ketidakmampuan statistik, yaitu dengan mencampuradukkan autokorelasi dan efek psikologis.

Pendapat GN⁺

Hal terpenting dalam tulisan ini adalah bahwa efek Dunning-Kruger sebenarnya tidak berhubungan dengan psikologi manusia, melainkan didasarkan pada kesalahan statistik bernama autokorelasi. Ini menunjukkan jebakan yang dapat muncul ketika peneliti menafsirkan data, serta memberi contoh bagaimana temuan ilmiah bisa disalahpahami akibat interpretasi statistik yang keliru. Memahami kesalahan seperti ini memberikan pelajaran penting dalam menafsirkan dan memverifikasi hasil penelitian, dan menjadi informasi yang bermanfaat bukan hanya bagi software engineer pemula, tetapi juga bagi para peneliti di semua bidang sains.

[GN⁺]

Pendapat Hacker News

• Seorang komentator mengakui bahwa dirinya tidak cukup memahami statistika atau psikologi, tetapi merasa riset D&K mirip dengan ucapan kakeknya: "semakin banyak yang Anda tahu, semakin Anda sadar betapa banyak yang tidak Anda ketahui". Ia merenungkan bahwa banyak orang cenderung mengira mereka tahu lebih banyak daripada yang sebenarnya mereka ketahui, dan kemungkinan ini juga berlaku bagi dirinya sendiri maupun penulis artikel tersebut.
• Komentator lain tidak setuju dengan klaim artikel dan memperkenalkan tulisan yang membantah anggapan bahwa grafik D-K hanyalah hasil dari autokorelasi sederhana. Menurutnya, justru sangat mengejutkan bila mengasumsikan bahwa kinerja dan penilaian atas kinerja itu independen. Riset D-K menunjukkan ada korelasi antara kinerja dan penilaian diri, meskipun tidak sekuat yang diperkirakan. Yang terlihat justru adalah bias yang konsisten, dan itulah hasil yang menarik.
• Seperti disebut dalam diskusi sebelumnya, penulis mengasumsikan bahwa orang sangat buruk dalam memprediksi kemampuan mereka sendiri, sehingga penilaian diri setara dengan variabel acak tanpa syarat. Jika kemampuan nyata seseorang tinggi, maka penilaian dirinya lebih mungkin berada di bawah kemampuan sebenarnya karena kebetulan acak. Kritik ini mempertanyakan apakah orang memang sedemikian kelirunya dalam menilai kemampuan mereka sendiri.
• Para penulis memang melakukan analisis "X - Y terhadap X", tetapi itu bukan masalah terbesar. Mereka mengurangkan dua pengukuran yang telah dikonversi dan dibatasi antara 0 dan 1. Apa yang terjadi pada nilai-nilai ekstrem? Seberapa jauh para performer terbaik bisa melebih-lebihkan performa mereka? Mereka sudah hampir mencapai 1, jadi ruangnya kecil. Jika mereka melebih-lebihkan dan meremehkan dengan rasio dan besaran yang sama, efek batas atas pada nilai yang sudah ditransformasikan akan membuat grafik tampak seolah-olah mereka lebih sering meremehkan diri.
• Diskusi di kolom komentar antara Nicolas Boneel dan penulis menarik, dan Nicolas mengungkapkan keraguan yang ia rasakan saat membaca artikel itu. Inti dari efek DK adalah bahwa orang salah menilai keterampilan mereka sendiri, jadi jika diasumsikan mereka menebak tingkat keterampilan mereka secara acak, hasilnya tentu bisa direplikasi.
• Istilah "autokorelasi" yang digunakan penulis berbeda dari makna yang umum dipakai dalam statistika. "Autokorelasi" biasanya berarti korelasi data deret waktu dengan dirinya sendiri pada jeda waktu tertentu, sehingga penggunaan seperti di OP dapat membingungkan orang yang memahami statistika.
• Dalam dunia yang dibayangkan penulis, jika perkiraan skor seseorang independen dari skor sebenarnya, maka bisa dikatakan efek DK memang ada. Orang dengan skor rendah akan cenderung melebih-lebihkan skor mereka, sedangkan orang dengan skor tinggi akan cenderung meremehkannya.
• Ada kebingungan mengenai istilah "bias". Jika penilaian diri dilakukan secara acak, performer tinggi semuanya akan meremehkan diri, tetapi itu bukan berarti ada bias ke arah peremehan. Grafik D-K menunjukkan bias yang berbeda, yang selaras dengan gagasan bahwa kebanyakan orang menganggap diri mereka rata-rata. Performer tinggi akan melebih-lebihkan rata-rata, dan performer rendah akan meremehkan rata-rata.
• Ditunjukkan bahwa definisi "autokorelasi" dalam artikel berbeda dari definisi di Wikipedia. Definisi dalam artikel tidak berkaitan dengan jeda waktu, sehingga menyebutnya "autokorelasi" dalam konteks D-K adalah istilah yang keliru.
• Jika orang yang tidak terampil dan orang yang terampil rata-rata memberi penilaian diri yang sama, maka yang tidak terampil akan melebih-lebihkan diri dan yang terampil akan meremehkan diri. Ini saja sudah bisa menjadi temuan penting, dan perlu dicatat bahwa memang ada korelasi.