Studi Universitas Michigan: Mahasiswa dengan Nama Keluarga Berurutan Belakang dalam Alfabet Mendapat Nilai Lebih Rendah

 (record.umich.edu)
1 poin oleh GN⁺ 2024-04-21 | 1 komentar | Bagikan ke WhatsApp
  • Peneliti Universitas Michigan menganalisis lebih dari 30 juta catatan penilaian Canvas dan menemukan kecenderungan bahwa mahasiswa dengan nama keluarga yang berada di bagian belakang alfabet mendapat nilai lebih rendah
  • Penyebab utamanya adalah pengurutan bawaan Canvas yang menampilkan pengumpulan tugas berdasarkan urutan alfabet nama keluarga, serta bias sekuensial yang muncul saat penilai mengevaluasi tugas secara berurutan
  • Mahasiswa dengan nama keluarga A-E mendapat 0,3 poin lebih tinggi dari penilaian acak pada skala 100 poin, sementara mahasiswa dengan nama keluarga di bagian belakang alfabet mendapat 0,3 poin lebih rendah, sehingga muncul selisih total 0,6 poin
  • Ketika sekitar 5% penilai menilai dari Z ke A, selisihnya muncul terbalik, mendukung interpretasi bahwa urutan penilaian, bukan nama keluarga itu sendiri, yang menciptakan perbedaan nilai
  • Meski selisih 0,6 poin tampak kecil, hal itu dapat memengaruhi GPA mata kuliah dan peluang karier, sehingga diperlukan langkah seperti menjadikan penilaian acak sebagai default dan mengurangi beban penilaian di kelas besar

Kesenjangan Inisial Nama Keluarga yang Diciptakan Pengurutan Bawaan Canvas

  • Peneliti Universitas Michigan mengumpulkan data penilaian historis dari semua program, mahasiswa, dan tugas yang tersedia di Canvas, dari semester musim gugur 2014 hingga semester musim panas 2022
  • Data yang dianalisis mencakup lebih dari 30 juta catatan penilaian, dilengkapi dengan data registrar universitas tentang latar belakang mahasiswa, demografi, dan jalur pembelajaran
  • Mahasiswa dengan nama keluarga yang berada lebih belakang dalam urutan alfabet menunjukkan pola mendapat nilai lebih rendah, menerima umpan balik yang lebih negatif dan kurang sopan, serta mengalami kualitas penilaian yang lebih rendah sebagaimana diukur dari keluhan mahasiswa
  • Makalah terkait berjudul 30 Million Canvas Grading Records Reveal Widespread Sequential Bias and System-Induced Surname Initial Disparity, dan sedang dalam proses penelaahan di Management Science

Cara Kerja Bias Penilaian Sekuensial

  • Canvas secara default mengurutkan pengumpulan tugas mahasiswa berdasarkan urutan alfabet nama keluarga
  • Desain default ini tidak hanya terbatas pada mata kuliah tertentu, tetapi dapat menyebar ke berbagai institusi dan mata kuliah yang menggunakan sistem manajemen pembelajaran
  • Semakin banyak tugas yang dinilai oleh penilai, muncul pola penurunan kualitas penilaian
  • Menurut Wang, mahasiswa dengan nama keluarga yang dimulai dengan A, B, C, D, E mendapat 0,3 poin lebih tinggi pada skala 100 poin dibanding ketika dinilai dalam urutan acak, sementara mahasiswa dengan nama keluarga di bagian belakang alfabet mendapat 0,3 poin lebih rendah

Efek Berlawanan yang Terlihat dalam Penilaian Urutan Terbalik

  • Sekitar 5% penilai menilai dalam urutan dari Z ke A
  • Dalam kasus ini, selisihnya muncul terbalik sesuai perkiraan
    • Mahasiswa dengan nama keluarga A-E menjadi dirugikan
    • Mahasiswa dengan nama keluarga W-Z mendapat nilai lebih tinggi dibanding saat penilaian acak
  • Pengamatan ini memperkuat interpretasi bahwa penyebab kesenjangan nilai awal bukanlah nama keluarga itu sendiri, melainkan urutan penilaian

Dampak Selisih Nilai Kecil bagi Mahasiswa

  • Selisih 0,6 poin mungkin tampak kecil, tetapi dapat memengaruhi GPA mata kuliah mahasiswa
  • Perubahan GPA juga dapat berdampak negatif pada peluang karier masing-masing mahasiswa
  • Wang mengatakan bahwa sesuatu yang terjadi tanpa disadari oleh penilai dapat berujung pada dampak sosial nyata

Ide Riset dan Faktor Kelelahan

  • Ide riset ini muncul dalam diskusi tentang penelitian teknologi pendidikan Wang dan penelitian kecerdasan buatan Pei
  • Pei memperhatikan bahwa pelabelan data, tugas dasar dalam machine learning, juga merupakan pekerjaan sekuensial yang panjang dan membosankan, tetapi dilakukan secara acak
  • Pengamatan ini mengarah pada studi percontohan yang meneliti hubungan antara waktu penilaian dan kesenjangan nilai dalam sistem pendidikan seperti Canvas
  • Dalam pekerjaan berdurasi panjang, kelelahan menumpuk dan perhatian serta kemampuan kognitif menurun, sehingga kelelahan bisa menjadi salah satu faktor utama yang menciptakan efek tersebut

Usulan Perbaikan

  • Canvas memiliki opsi untuk menilai tugas dalam urutan acak, dan sebagian pendidik menggunakannya
  • Namun mode default Canvas dan sistem manajemen pembelajaran online lainnya adalah urutan alfabet
  • Solusi paling sederhana adalah mengubah urutan acak menjadi pengaturan default
  • Institusi akademik juga disarankan mempertimbangkan alternatif berikut
    • Mempekerjakan lebih banyak penilai untuk kelas besar
    • Mendistribusikan pekerjaan penilaian ke lebih banyak orang
    • Memberikan pelatihan agar penilai mengenali dan mengurangi bias selama penilaian

Bacaan terkait

1 komentar

 
GN⁺ 2024-04-21
Komentar Hacker News

  • Saya bekerja di akademia. Saat menilai ujian, urutan tumpukan lembar jawaban adalah urutan lembar itu dikumpulkan dari kelas, dan biasanya 5 orang berkumpul dalam satu ruangan, masing-masing hanya menangani soal tertentu untuk menjaga konsistensi
    Karena masing-masing mengambil tumpukan dan mencari lalu mengeluarkan lembar jawaban yang soal bagiannya belum dinilai, lembar jawaban jadi banyak tercampur, dan urutan penilaian sebenarnya bisa dianggap hampir acak
    Sebaliknya, tugas mingguan selama semester di-commit ke repositori, dan folder tiap mahasiswa diawali huruf pertama nama mereka. Demi keadilan, kami semua sepakat urutan penilaian harus diacak setiap minggu. Di awal kita belum terlalu lelah, dan menjelang 2 tugas terakhir suasana hati membaik karena merasa sebentar lagi selesai; khususnya di awal, karena belum melihat semua kesalahan umum, kita belum punya feel dan bisa melewatkan sesuatu, sementara pada kiriman-kiriman belakangan kita langsung bisa menangkapnya
    Ada juga efek alfabet lain: saat SD, karena berada di urutan teratas daftar kelas, saya sering kebagian memegang tiket rombongan museum, mencatat sesuatu, menjadi orang pertama melakukan hal yang tidak ingin dilakukan siapa pun di depan semua orang, atau menjadi yang pertama dinilai dalam olahraga. Saya anak yang cukup pemalu, jadi sejak kelas 1 itu terasa menyebalkan

    • Strategi saya, seperti yang disebutkan, adalah menilai per soal. Untuk tiap soal, saya terlebih dulu mencari jawaban yang mendapat nilai penuh, lalu mengelompokkan sisanya ke tumpukan berdasarkan kesalahan yang dibuat
      Dengan begitu, mahasiswa yang melakukan kesalahan yang sama mendapat nilai yang sama. Setiap kali selesai satu soal, urutan lembar jawaban juga cenderung ikut tercampur secara alami
      Ini tidak perlu untuk pilihan ganda sederhana dan mungkin tidak terlalu cocok untuk esai panjang, tetapi sangat cocok untuk soal jawaban singkat teknis di bidang ilmu komputer dan keamanan
    • Teman saya yang guru selalu memeriksa tumpukan dua kali. Yang pertama untuk mengoreksi semua kesalahan, yang kedua untuk menuliskan nilai
      Alasannya, baru setelah melihat semua kesalahan sekali, ia bisa menilai seberapa buruk kesalahan itu sebenarnya
    • Sekitar tahun 2000, saya lupa ada esai yang harus dikumpulkan hari itu, dan hanya punya sekitar 10 menit di lab komputer sebelum apel pagi. Setelah menulis pendahuluan dan kesimpulan, sisanya saya isi dengan menyalin-tempel keduanya. Saya pikir setidaknya itu akan lucu, dan kalau ada yang membacanya saja pasti jelas bahwa tulisannya tidak masuk akal
      Namun saya mendapat 80% tanpa catatan atau tanda apa pun
      Selama 25 tahun terakhir saya terus bertanya-tanya seberapa banyak tugas siswa benar-benar diperiksa
      Saya bekerja di EdTech, dan setiap kali menambahkan fitur yang membutuhkan pemeriksaan manual oleh guru atas pekerjaan siswa, terlihat bahwa sebagian guru sangat teliti, sementara sebagian lainnya sama sekali tidak menyentuhnya
    • Semua cara dalam thread ini pada akhirnya hanya mengacak siapa yang akan mendapat penilaian tidak adil
    • Dalam menilai tugas esai atau ujian berbentuk esai, penting untuk mendapatkan gambaran tingkat penulisan secara keseluruhan sebelum memberi nilai individual, dan harus menghindari memberi nilai terlalu tinggi atau terlalu rendah pada bagian awal atau akhir tumpukan. Karena itu saya menggunakan penilaian 3 tahap dengan tiga warna pena
      Pena merah pertama menandai masalah titik tunggal seperti kesalahan ejaan atau kesalahan penggunaan yang jelas. Dalam proses ini, tingkat penulisan keseluruhan juga masuk secara alami, dan semua tulisan bisa dibaca sekilas dengan cepat
      Pena hijau kedua terutama menandai di margin tempat muncul argumen yang bagus atau saat tulisan mencapai kesimpulan, sebagai persiapan tahap berikutnya. Ini juga diterapkan ke semua tulisan
      Pada pena biru ketiga, saya mengevaluasi dan mengkritik kualitas tulisan. Kadang saya meninggalkan catatan singkat di margin atau memberi komentar di akhir esai
      Para siswa kadang tertawa melihat warna-warna yang cantik, tetapi ketika saya menjelaskan metode dan alasannya, mereka jelas memahaminya dan mungkin juga menghargainya

  • Mungkin terkait, mungkin juga tidak, tetapi ketika saya bersekolah K-12 pada tahun 80-an dan awal 90-an, tempat duduk selalu diatur dari depan ke belakang menurut urutan alfabet nama keluarga. Anak-anak dengan nama yang kira-kira diawali A-D selalu di depan, U-Z selalu di belakang, dan itu berlaku di semua pelajaran
    Saya ingat banyak teman saya punya nama keluarga yang dekat dengan nama keluarga saya karena kami selalu duduk berdekatan. Menjelang SMA, rasanya jelas lebih banyak siswa berprestasi tinggi dengan nama keluarga A-D, dan lebih banyak anak bermasalah di sisi U-Z
    Apakah itu akibat duduk dekat guru dan mendapat lebih banyak perhatian? Karena ini bukan eksperimen dan tidak ada kelompok kontrol, kita tidak tahu

    • Fenomena “siswa yang duduk lebih dekat berprestasi lebih tinggi” juga bisa menjelaskan cukup banyak stereotip tentang orang berkacamata. Butuh beberapa tahun sampai saya sadar bahwa saya rabun jauh ringan, dan selama paruh awal sekolah saya duduk di setengah bagian depan kelas agar lebih mudah membaca papan tulis
      Banyak teman saya juga berkacamata, dan karena kacamata tidak sepenuhnya mengoreksi penglihatan, mereka lebih suka duduk di depan
    • Sekarang saya guru, dan cerita ini membuat saya agak tersentak. Saya pernah dengar dari orang tua saya bahwa ketika mereka sekolah di India pada era 60–80-an, pengaturan tempat duduk persis seperti ini. Namun penilaian katanya dilakukan dengan nomor absensi yang setengah anonim
    • Rotasi adalah solusi sederhana. Di SMA kami, setiap Senin semua baris maju satu langkah dan baris paling depan pindah ke belakang
      Tentu bisa dikatakan bahwa siswa yang mulai di depan pada minggu pertama tetap punya keuntungan, tetapi mungkin tidak sebesar itu

  • Karena inisial saya Z dan W, saya sering sadar akan pengurutan alfabetis. Ketika saya bertanya kepada teman yang inisialnya A dan B, ia bilang tidak pernah memikirkannya sama sekali
    Saya tidak merasakan perbedaan dalam nilai atau peringkat, tetapi jauh lebih sering mendengar “barang/waktu/dll. sudah habis sebelum giliranmu tiba”, sehingga saya menjadi jauh lebih peka terhadap masalah perencanaan dan organisasi

    • Saat kecil, bermain kelereng sedang populer, dan jika bermain kelereng di kelas, guru akan memasukkannya ke stoples kaca besar. Ketika stoples penuh, anak-anak dipanggil dan masing-masing diberi kembali segenggam
      Saya berada di urutan alfabet paling akhir, dan ini sudah menjadi masalah saat memilih buku bacaan. Kami boleh memilih buku, tetapi selalu berdasarkan urutan alfabet, jadi saat giliran saya tiba hanya tersisa beberapa buku dan semua buku populer sudah hilang
      Ketika akhirnya giliran saya menerima kelereng tiba, kelerengnya juga sudah habis. Ketika saya bertanya, “Kelereng saya di mana?”, guru mengangkat bahu dan berkata, “Sudah habis.” Saya mungkin berusia sekitar 7 tahun, menangis banyak, dan sepertinya mendapat beberapa kelereng dari anak-anak lain, tetapi sebenarnya inti masalahnya bukan kelereng itu sendiri
      Sampai sekarang saya masih tidak mengerti bagaimana orang bisa mengharapkan hasil lain selain ini
    • Seperti kebanyakan ketimpangan, pihak yang diuntungkan sering tidak menyadari privilege itu
    • Saya teringat kejadian lucu saat kelas 4 atau 5. Saat kelas berbaris, kami selalu diurutkan berdasarkan nama keluarga, dan nama keluarga saya diawali Ö, huruf terakhir dalam alfabet Nordik, jadi saya selalu paling belakang
      Suatu hari guru berkata semacam, “Hari ini kita balik urutannya, tetapi kita juga urutkan berdasarkan nama depan.” Nama depan saya diawali A, jadi akhirnya saya tetap paling belakang, dan semua orang tertawa keras
    • Ini tampak seperti contoh bagus tentang orang yang memiliki privilege, tanpa beban budaya yang terlalu besar, sering tidak menyadari bahwa mereka mendapat privilege. Sesuatu yang bagi teman Anda terlihat normal dan adil sebenarnya adalah keuntungan yang bahkan tidak pernah dipertimbangkan
    • Di luar sekolah, saya tidak bisa mengingat satu kali pun nama saya diurutkan secara alfabetis. Saya juga punya inisial tengah, jadi saya penasaran situasi seperti apa yang membuat hal ini sering terjadi

  • Di universitas kami, hampir semua penilaian dilakukan dengan pseudonimisasi. Setiap awal tahun kami menerima nomor peserta acak, dan menuliskan nomor itu pada tugas atau ujian penting
    Untuk tugas kelas yang kurang penting biasanya tidak sejauh itu dan sering memakai nomor mahasiswa, tetapi ide dasarnya sama
    Kecuali makalah dan beberapa tugas kecil yang tidak memengaruhi nilai akhir, kami tidak menuliskan nama. Membuka anonimitasnya memang tidak terlalu sulit, tetapi sistem ini memberi sedikit lebih banyak integritas
    Ini cara yang sangat sederhana untuk diterapkan, jadi saya tidak tahu mengapa tidak lebih sering digunakan
    Seingat saya, lingkungan pembelajaran virtual kami juga mengurutkan tugas berdasarkan waktu pengumpulan, bukan berdasarkan suatu pengenal

    • Bukankah hasil yang mungkin di sini adalah nilai diturunkan secara acak saja, alih-alih diturunkan dengan cara yang berkaitan dengan siswa? Jika masalahnya adalah pengurutan, nomor peserta acak pun masih bisa diurutkan
      Ini mengatasi bias terhadap individu, tetapi tidak mengatasi bias yang terkait dengan cara pengumpulan diurutkan
      Sepertinya yang benar adalah memakai pengenal acak sekaligus urutan pengurutan acak
    • Untuk ujian universitas, ini tampak cukup masuk akal. Ujian adalah ujian, dan apakah seorang siswa pandai berbicara atau aktif berpartisipasi di kelas semestinya tidak berkaitan dengan nilai ujian
      Namun saya kurang yakin apakah proposal konferensi blind itu ide yang baik. Berdasarkan pengalaman sebelumnya, jika saya tahu seseorang hampir pasti akan mencetak home run, saya kurang tertarik memilih orang acak yang tidak punya kualifikasi jelas pada topik yang sama. Tentu saja, hanya memilih teman-teman komite jelas bisa berlebihan
    • Saya pernah mengambil kelas seperti itu. Pada awal semester, tiap siswa diberi nama pengguna dengan format yang tampak acak, lalu semua partisipasi setelahnya dilakukan berdasarkan nama pengguna itu
      Walaupun nama penggunanya tampak acak, di papan diskusi kelas nama-nama tertentu mulai mendapatkan reputasi, dan para siswa juga mulai mengenali sebagian nama
      Namun untuk mata kuliah ilmu komputer, kriteria penilaiannya cenderung sangat objektif, jadi saya tidak tahu seberapa penting anonimitasnya
    • Rasanya saya mendapat umpan balik yang lebih baik ketika pengajar tahu siapa saya. Nilai itu nomor dua
    • Intinya adalah sistem otomatis seperti Canvas, meskipun menyembunyikan nama, tetap bisa menampilkannya dalam urutan alfabet. Memakai nama samaran tidak membantu kalau tidak diacak

  • Katanya “solusi sederhana adalah menjadikan urutan acak sebagai default”, tetapi arti dari diperbaiki di sini adalah biasnya menjadi acak. Kemungkinan siswa yang dinilai terakhir tetap akan mendapat nilai lebih rendah

    • Memang tidak ideal, tetapi jika diacak ulang untuk setiap tugas, itu lebih baik daripada kondisi sekarang. Setidaknya mereka hanya sesekali dirugikan, bukan terus-menerus dirugikan
    • Ada faktor lain yang pengaruhnya lebih besar terhadap nilai. Misalnya apakah mereka memahami materi, atau apakah mereka mampu menyajikan solusi. Saya mengatakan ini karena beberapa komentar tampaknya menganggap hal ini sebagai bias yang sangat besar terhadap sebagian siswa
      Dari pengalaman sebagai tutor, bias ini jelas ada. Namun bias ini tidak akan mengubah jawaban yang sepenuhnya salah atau jawaban yang sangat bagus dan benar menjadi sesuatu yang lain
      Belakangan saya jadi tahu siswa mana yang kesulitan dan mana yang bagus. Jika siswa yang bagus salah, berarti ada sesuatu yang besar terjadi, jadi saya akan memindainya sekilas terlebih dahulu, lalu melihat soal-soal dari siswa yang kesulitan, kemudian menilai sisanya sesuai urutan diterima, dan terakhir melihat siswa yang kesulitan serta siswa yang bagus. Untuk melihat seberapa buruk jawaban terburuk sebenarnya, saya membutuhkan baseline. Bisa dibilang sebagian lembar tugas terasa seperti petualangan kebetulan
      Ditulis seperti ini terdengar sepenuhnya dingin dan tanpa perasaan, tetapi berfokus pada sepertiga terbawah dalam latihan, lalu menyampaikan kepada asisten dosen dan profesor di mana mereka tersangkut, sangat membantu semua orang, terutama para siswa itu. Itu membantu mereka benar-benar menguasai dasar-dasar penting
    • Dalam keseluruhan masa kuliah, hal itu akan teraveraging. Sebaliknya, jika urutan alfabet dipertahankan, mereka akan dirugikan secara sistematis

  • Saat pertama kali menilai beberapa bulan lalu, saya juga merasakan ini
    Jawaban-jawaban yang saya nilai pertama tidak melakukan kesalahan tertentu atau menjawab dengan cara yang saya perkirakan, tetapi ketika kemudian saya menemui jawaban atau kesalahan yang tidak terduga, saya harus memikirkan ulang nilai jawaban yang sudah saya nilai. Misalnya, ada kalanya karena jawaban seseorang, jawaban yang tadinya saya anggap salah ternyata terasa tidak terlalu salah
    Karena kelasnya kecil, saya bisa kembali memeriksa, dan urutan pengumpulan sudah cukup tercampur sehingga saya menilai seperti itu, tetapi jika tidak demikian, pasti akan muncul bias

    • Saya terutama merasakan ini saat menilai proyek pemrograman. Karena sedikit rumit
      Baru setelah melihat beberapa kali bahwa sebuah bug sangat umum, saya menilai ulang, dan ternyata itu kesalahan yang mudah terjadi
      Atau saya menemukan bug baru yang awalnya tidak saya ketahui ternyata cukup umum. Kalau begitu, saya harus memperbarui tes dan menjalankannya ulang untuk semua orang
      Saya berusaha cukup teliti dan akhirnya sering meninjau ulang seluruh tumpukan, tetapi itu benar-benar menyakitkan. Saya bisa saja melakukannya asal-asalan, tetapi karena itu pekerjaan yang dikerjakan mahasiswa selama berminggu-minggu, saya merasa harus memberi umpan balik yang jujur
      Akibatnya, penilaian juga cenderung menjadi lebih longgar. Jika dengan malas hanya memeriksa beberapa bug, banyak poin akan dipotong untuk tiap masalah, dan itu tidak adil bagi siswa yang kebetulan terkena bug yang sudah diperkirakan. Jika menemukan semua bug, mau tidak mau hanya beberapa poin yang bisa dipotong per bug agar nilai semua orang tidak hancur
    • Menilai berdasarkan urutan pengumpulan juga memperkenalkan bias lain
      Saya juga berada dalam situasi yang sama dan memang melakukan hal yang sama. Karena saya tidak percaya diri bisa membuat pengurutan yang benar-benar acak secara manual, saya mengandalkan keacakan yang sangat lemah dari urutan pengumpulan

  • Alasan nama belakang anak-anak kami seperti itu pada dasarnya karena hal ini
    Nama belakang saya diawali E dan nama belakang istri saya diawali Y. Berbeda dari tradisi, saat menikah istri saya tidak mengganti nama belakangnya, dan ketika anak-anak lahir kami harus memutuskan nama belakang apa yang akan diberikan. Kami memilih nama belakang berhipen
    Secara historis, nama belakang berhipen mengikuti urutan nama belakang perempuan–nama belakang laki-laki. Namun saat tumbuh besar, istri saya tidak suka nama belakangnya berada di bagian akhir alfabet
    Jadi kami kembali melanggar tradisi dan menaruh nama belakang saya di depan, agar anak-anak berada di bagian depan saat diurutkan menurut alfabet. Selain itu, nama depan anak-anak juga diawali A dan B, jadi mereka juga muncul di bagian depan saat diurutkan menurut nama depan

    • Saya selalu berada di bagian akhir, dan saya suka karena mendapat lebih sedikit perhatian dari guru. Jika datanya hanya menunjukkan korelasi, itu juga bisa dijelaskan karena kami yang berada di bagian akhir mendapat tekanan lebih sedikit
    • Anda mengatakan “melanggar tradisi dan tidak mengganti nama belakang saat menikah”, tetapi jika Anda tidak menikah sebelum era 90-an, menurut saya sejak pertengahan 90-an itu tidak terlalu bisa disebut melanggar tradisi
      Kalau benar-benar ingin melanggar tradisi, jangan menikah; tinggal bersama saja dan punya anak
      Lagi pula, apa ada yang lebih tradisional daripada pernikahan?
    • Di negara-negara Amerika Latin dan Spanyol, nama belakang paternal ditulis lebih dulu, lalu nama belakang maternal

  • Nama belakang saya dimulai dengan huruf yang mendekati akhir alfabet, jadi saya selalu menyadari hal-hal seperti ini. Dalam kejadian tahun ini, anak saya mengikuti kelas SMA yang membutuhkan umpan balik berkelanjutan dari guru untuk proyek jangka panjang
    Guru meninjau proyek berdasarkan urutan alfabet nama belakang, tetapi sekitar 40% dari waktu ia tidak sampai ke bagian bawah kelas dan mengatakan jika ada masalah, datanglah menemuinya setelah sekolah. Namun karena sifat proyeknya, komentar proaktif dari guru benar-benar diperlukan
    Jadi saya meminta anak saya menemui guru untuk mendapatkan tinjauan proaktif meskipun tidak ada masalah, tetapi tidak semua anak melakukan itu, dan akibatnya muncul kemungkinan mereka mendapat nilai lebih rendah

  • Saya penasaran mengapa Helen Wang memilih ini sebagai topik penelitian

  • Saya terpikir tentang konsekuensi tak disengaja yang serius dari pengurutan
    Mirip dengan hungry judge effect [1]. Ini adalah efek yang menyatakan bahwa hakim cenderung lebih ketat sebelum istirahat dan lebih lunak setelah istirahat
    [1] https://en.m.wikipedia.org/wiki/Hungry_judge_effect

    • https://nautil.us/impossibly-hungry-judges-236688/

      Kita harus menolak temuan ini. Karena ini memang mustahil. Jika menafsirkan seberapa mustahil besarnya ukuran efek tersebut, siapa pun yang memahami sedikit saja psikologi seharusnya dapat menyimpulkan bahwa pola data ini tidak mungkin muncul karena mekanisme psikologis. Sebagai psikolog, kita tidak boleh mengajarkan atau mengutip temuan ini, dan juga tidak boleh menggunakannya dalam pembuatan kebijakan sebagai contoh bias psikologis dalam pengambilan keputusan.