Universitas Michigan menemukan bahwa mahasiswa dengan nama belakang yang berada di urutan alfabet akhir mendapat nilai lebih rendah

Hasil studi tentang bias penilaian berurutan

• Tim peneliti Universitas Michigan menganalisis lebih dari 30 juta catatan nilai Canvas dan menemukan bahwa mahasiswa dengan nama belakang yang berada lebih belakang dalam urutan alfabet cenderung menerima nilai yang lebih rendah
  • Hal ini disebabkan oleh bias penilaian berurutan dan karena urutan default kiriman mahasiswa di Canvas didasarkan pada urutan alfabet nama belakang
• Mahasiswa yang dirugikan oleh urutan alfabet menerima komentar yang lebih negatif dan kurang sopan, dan kualitas penilaian yang diukur melalui keluhan nilai setelah penilaian dari mahasiswa juga lebih rendah
• Para peneliti mengatakan bahwa mereka banyak memikirkan keadilan dan akurasi dalam penilaian, tetapi tidak menyadarinya sampai melihat data dan memahami bahwa urutan menciptakan perbedaan

Data dan hasil penelitian

• Mereka mengumpulkan semua data historis yang tersedia untuk seluruh program, mahasiswa, dan tugas di Canvas dari semester gugur 2014 hingga semester panas 2022
  • Dengan melengkapinya menggunakan data pendaftaran universitas, data tersebut mencakup informasi rinci tentang latar belakang mahasiswa, demografi, dan lintasan belajar mereka di universitas
• Meski data berasal dari Universitas Michigan, para peneliti mengatakan temuan ini dapat digeneralisasi ke institusi dan mata kuliah lain karena adanya masalah desain umum pada sistem manajemen pembelajaran
  • Hal ini berasal dari pengaturan default yang mengurutkan tugas mahasiswa berdasarkan urutan alfabet nama
• Mereka menemukan pola yang jelas bahwa kualitas penilaian menurun ketika penilai harus menilai lebih banyak tugas
  • Mahasiswa dengan nama belakang yang dimulai dengan A, B, C, D, atau E menerima nilai 0,3 poin lebih tinggi dari 100 poin dibandingkan jika penilaian dilakukan secara acak
  • Sebaliknya, mahasiswa dengan nama belakang di bagian akhir alfabet menerima nilai 0,3 poin lebih rendah, sehingga muncul selisih 0,6 poin
• Selisih 0,6 poin mungkin tampak kecil, tetapi ketidaksesuaian seperti ini memengaruhi rata-rata nilai mata kuliah mahasiswa dan berdampak negatif pada peluang di jalur karier masing-masing

Latar belakang penelitian dan usulan

• Ide penelitian ini muncul ketika Wang, yang meneliti teknologi pendidikan, dan Fei, yang meneliti AI, berdiskusi tentang penelitian
  • Mereka mencatat bahwa pelabelan data, pekerjaan dasar dalam machine learning, juga merupakan pekerjaan berurutan yang panjang dan membosankan, tetapi dilakukan secara acak
  • Melalui studi percontohan, mereka memeriksa apakah ada ketimpangan nilai berdasarkan waktu penilaian
• Para peneliti menduga bahwa kelelahan bisa menjadi salah satu faktor utama yang memicu efek ini
  • Jika seseorang melakukan sesuatu dalam waktu lama, ia akan lelah, perhatian menurun, dan kemampuan kognitif ikut menurun
• Canvas dan sistem manajemen pembelajaran online lain memiliki opsi untuk menilai tugas dalam urutan acak, dan sebagian pendidik menggunakannya, tetapi mode default tetap urutan alfabet
  • Solusi sederhananya adalah menjadikan pengaturan default sebagai urutan acak
• Mereka juga menyarankan agar institusi akademik mempekerjakan lebih banyak penilai untuk kelas besar, membagi beban kerja ke lebih banyak orang, atau memberikan pelatihan untuk mengenali dan mengurangi bias

Opini GN⁺

• Fakta bahwa bias penilaian berurutan memiliki dampak nyata pada nilai mahasiswa menimbulkan persoalan keadilan dalam sistem evaluasi pendidikan. Mengingat nilai sangat memengaruhi masa depan mahasiswa, perbaikannya tampak mendesak
• Namun, karena penelitian ini terbatas pada negara berbahasa Inggris, mungkin ini bukan masalah besar di Korea. Perlu penelitian domestik untuk melihat apakah fenomena yang sama juga muncul jika urutannya didasarkan pada urutan jamo Hangul atau urutan guratan nama keluarga berbasis hanja
• Fakta bahwa tingkat kelelahan penilai memengaruhi kualitas penilaian menunjukkan perlunya kompensasi dan dukungan yang memadai untuk pekerjaan evaluasi di lingkungan pendidikan. Beban kerja yang berlebihan dapat menghambat penilaian yang adil
• Penerapan sistem penilaian otomatis berbasis kecerdasan buatan juga bisa menjadi salah satu alternatif. Namun, akan sulit menghilangkan persoalan bias sepenuhnya, sehingga tetap diperlukan langkah untuk melengkapi aspek kualitatif dalam evaluasi

[GN⁺]

Opini Hacker News

Berikut adalah ringkasan komentar Hacker News:

• Saat penilaian ujian di universitas, urutan lembar jawaban yang ditumpuk di meja mengikuti urutan pengumpulan. Para penilai menangani soal tertentu di satu ruangan dan mengacak lembar jawaban agar skor yang diberikan konsisten. Urutan penilaian pada praktiknya bisa dianggap acak.
• Saat menilai tugas, penilaian dilakukan berdasarkan urutan alfabet nama mahasiswa, dan semua orang setuju bahwa urutannya perlu diacak demi keadilan. Alasannya karena (1) di awal penilai belum terlalu lelah, (2) menjelang akhir suasana hati membaik karena tahu pekerjaan segera selesai, dan (3) di awal penilai bisa melewatkan kesalahan umum atau belum menangkap polanya.
• Saat sekolah dasar, penulis punya nama keluarga yang berada paling depan dalam daftar murid, sehingga sering mendapat tugas khusus seperti mengelola tiket atau menjadi yang pertama dinilai di kelas olahraga. Bagi anak yang introver, itu terasa merepotkan.
• Pada sekolah era 80-an dan 90-an, tempat duduk disusun depan-belakang menurut urutan alfabet nama keluarga. Saat SMA, murid dengan nama keluarga A~D katanya lebih banyak yang berprestasi, sedangkan yang U~Z lebih banyak pembuat masalah. Mungkin karena mereka duduk lebih dekat dengan guru dan mendapat lebih banyak perhatian.
• Orang dengan inisial Z dan W sangat sadar akan pengurutan alfabet, tetapi teman yang berinisial A dan B tidak begitu memikirkannya.
• Di universitas, ujian penting dan tugas diproses dengan nomor kandidat yang dianonimkan. Tidak sepenuhnya anonim, tetapi sistem itu memberi tingkat integritas tertentu.
• Saat menilai, penilai kadang belum menemukan kesalahan tertentu atau jawaban tak terduga di awal, lalu menemukannya belakangan sehingga harus kembali ke lembar jawaban sebelumnya untuk menilai ulang.
• Menjadikan urutan acak sebagai pengaturan default bisa membantu mengurangi bias. Namun, mahasiswa yang dinilai paling akhir tetap bisa mendapat nilai lebih rendah.
• Istrinya memiliki nama keluarga yang dimulai dengan Y dan tidak suka karena selalu berada di bagian belakang, jadi nama keluarga anak-anak ditulis dengan nama keluarga suami terlebih dahulu (dimulai dengan E) lalu dihubungkan dengan tanda hubung. Nama depan mereka juga dimulai dengan A dan B agar muncul lebih awal saat diurutkan.
• Dalam buku Diary of a Wimpy Kid, disebutkan bahwa anak-anak dengan nama keluarga yang berada di awal alfabet duduk di barisan depan kelas, lebih sering mendapat pertanyaan, dan belajar lebih banyak.
• Sebagai ayah dari siswa dengan nama keluarga di bagian belakang alfabet, ia melihat bahwa saat guru meninjau proyek di kelas anaknya berdasarkan urutan nama keluarga, sekitar 40% bagian akhir sering tidak sempat dibahas. Namun, tidak semua murid aktif mendatangi guru, sehingga nilai mereka bisa lebih rendah.
• Ada yang penasaran mengapa Helen Wang meneliti topik ini.