Makalah cacat yang terbit di jurnal manajemen dikutip lebih dari 6.000 kali

• Makalah yang mengklaim adanya korelasi antara keberlanjutan perusahaan dan kinerja harga saham telah dikutip lebih dari 6.000 kali, namun kemudian terungkap adanya kesalahan serius dan deskripsi palsu
• Andy King, yang mencoba mereproduksi penelitian tersebut, mengatakan bahwa penulis, komunitas akademik, jurnal, dan universitas semuanya berulang kali mengabaikan permintaannya untuk koreksi kesalahan dan verifikasi
• Makalah itu memuat banyak masalah seperti salah penandaan signifikansi statistik, kesalahan penulisan metodologi, dan pencocokan sampel yang tidak realistis, dan sebagian di antaranya diperlakukan hanya sebagai typo sederhana
• King mengangkat masalah ini melalui unggahan publik di LinkedIn dan jurnal khusus studi replikasi (JOMSR), tetapi Harvard Business School dan London Business School menyimpulkan hal itu sebagai masalah ringan
• Para penulis masih belum menarik makalah tersebut, dan tulisan ini menekankan runtuhnya sistem pengelolaan keandalan ilmiah serta perlunya reformasi

---

Makalah bermasalah dan upaya reproduksi

• Makalah “The Impact of Corporate Sustainability on Organizational Processes and Performance” telah dikutip lebih dari 6.000 kali dan dinilai sebagai penelitian berpengaruh yang bahkan dikutip oleh eksekutif Wall Street dan mantan wakil presiden AS
• Saat mencoba mereproduksi makalah tersebut, Andy King menemukan ketidaksesuaian metodologi, kesalahan statistik, uji yang hilang, dan komposisi sampel yang tidak normal
  • Ia mengirim email berkali-kali kepada para penulis, tetapi tidak mendapat tanggapan
  • Ada juga penelitian Bloomfield et al.(2018) yang menunjukkan bahwa praktik mengabaikan atau menunda permintaan dari peneliti replikasi/replication adalah hal yang umum

Respons komunitas akademik dan jurnal

• King meminta bantuan kepada sesama akademisi, tetapi sebagian besar menolak dengan alasan menghindari konflik atau kekurangan waktu
  • Beberapa akademisi mengatakan bahwa “menunjukkan kesalahan dalam makalah yang sudah terbit justru lebih merugikan karier”
• Ia mengajukan komentar kritik ke jurnal Management Science, tetapi ditolak dengan alasan “nada tulisannya tidak pantas”
  • Para penulis mengakui bahwa penandaan signifikansi pada hasil utama memang salah, tetapi menyebutnya sebagai ‘typo’
  • Semua permintaan koreksi tambahan dari King ditolak

Pengungkapan publik dan publikasi studi replikasi

• Setelah King mempublikasikan kesalahan itu di LinkedIn, jurnal tersebut belakangan menerbitkan erratum
• Studi replication diterbitkan di Journal of Management Scientific Reports(JOMSR), yang menegaskan peran jurnal khusus penelitian replikasi
• King memastikan bahwa makalah asli menggunakan metode yang berbeda dari metode yang dilaporkan, dan hasilnya tidak dapat direproduksi dengan metode yang sebenarnya

Investigasi etika penelitian dan respons universitas

• King mengajukan laporan dugaan pelanggaran etika penelitian ke Harvard Business School dan London Business School
  • Para penulis menjelaskan bahwa “kalimat yang salah tertinggal akibat kesalahan dalam proses penyuntingan”, tetapi kesalahan yang sama berulang di semua draf
  • Harvard merahasiakan apakah investigasi dilakukan, sementara LBS mengatakan “itu bukan kepalsuan yang disengaja” dan hanya merekomendasikan langkah edukatif
• King mengkritik bahwa “akses terhadap data bukanlah inti persoalan; deskripsi yang salah meruntuhkan kemungkinan interpretasi penelitian”

Kegagalan institusional dan usulan reformasi

• Makalah tersebut hanya menerima sebagian koreksi, dan deskripsi metode yang salah masih belum diperbaiki
• King mengatakan bahwa “sistem pengelolaan sains yang dapat dipercaya tidak berfungsi” dan mengusulkan hal-hal berikut
  • Menghindari mengutip satu studi saja dan memeriksa apakah sudah direplikasi
  • Segera melakukan koreksi saat kesalahan ditemukan
  • Memperingatkan rekan terhadap perilaku yang tidak etis
  • Mendukung studi replikasi dan jurnal seperti JOMSR
  • Memperkuat kebijakan etika penelitian di institusi
• Ia juga mengusulkan pelembagaan transparansi, pengawasan independen, dan sanksi bertahap dalam tata kelola akademik, serta perlunya menerapkan sistem verifikasi pascapublikasi seperti FurtherReview

Komentar Andrew Gelman

• Gelman menyebut tindakan para penulis sebagai pelanggaran penelitian, tetapi lebih menyoroti masalah sistemik daripada individu
• Ia menunjukkan bahwa “sikap yang menolak mengakui kesalahan masa lalu” membuat sains menjadi ‘dead science’
• Ia memperingatkan bahwa masalah yang sama akan terus berulang selama komunitas akademik tidak mendorong koreksi kesalahan dan sikap bertanggung jawab

[GN⁺]

Opini Hacker News

• Saya mengembangkan toolkit pemodelan berbasis agen open source yang saya pelihara sejak 2003
  Baru-baru ini ada makalah tentang toolkit baru yang dibuat dalam bahasa lain yang membandingkan diri dengan software saya dan mengklaim mereka lebih baik, padahal mereka menjalankan tool saya secara keliru dan juga mendistorsi datanya
  Saya meminta koreksi, tetapi jurnal itu diam-diam menutupinya demi menjaga muka, dan para penulisnya juga hanya memberi alasan
  Masalahnya, hal seperti ini terlalu sering terjadi di dunia akademik

  • Saya juga pernah mengalami hal serupa. Seorang pesaing menerbitkan makalah tanpa memahami software saya dengan benar, lalu menarik kesimpulan dari data yang salah
    Setelah mengalami itu, kepercayaan saya terhadap paper akademik turun drastis
  • Dulu saya punya software akademik yang saya buat sendiri, lalu saya diminta mereview makalah dari tim riset lain yang menjadikan program saya sebagai pembanding
    Metodologi pengujian mereka pada dasarnya salah total, dan mereka melatih dengan standar sewenang-wenang pada masalah yang tidak punya “jawaban benar” tunggal, lalu mengklaim hasil mereka yang terbaik
    Saya merekomendasikan agar tidak diterbitkan dan jurnal itu setuju, tetapi beberapa bulan kemudian saya melihat makalah itu diterbitkan tanpa revisi di jurnal lain, dan saya merasa putus asa terhadap dunia akademik
  • Jika Anda adalah Sean Luke yang saya kenal, kuliah Anda saat saya masih mahasiswa di University of Maryland sangat memengaruhi cara berpikir saya tentang ilmu komputer. Terima kasih
  • Dulu seorang kolega meminta saya meninjau kode untuk sebuah paper, dan ternyata mereka salah menghitung kompleksitas sehingga menghasilkan kesimpulan yang sepenuhnya keliru
    Pada akhirnya saya sampai pada kesimpulan, “jangan serahkan coding kepada lulusan psikologi.” Minimal seharusnya divalidasi oleh lulusan CS
  • Saat kuliah pascasarjana, saya melaporkan ke jurnal bahwa pembimbing saya memanipulasi data, tetapi tidak ada respons sama sekali
    Tim hukum kampus juga sama, dan sejak itu kepercayaan saya pada akademia hampir lenyap. Inilah alasan krisis replikasi terjadi

• Akhir-akhir ini jumlah sitasi tidak lagi semakna dulu
  Paper bermasalah terus disitasi dengan cara salin-tempel
  Karena itu saya sedang memikirkan layanan yang menambahkan jaringan kepercayaan di atas graf sitasi
  Paper yang mengutip paper salah tanpa kritik akan ditandai sebagai “mungkin terkontaminasi”, dan penulis atau institusi yang punya banyak paper seperti itu juga akan diberi tag

  • Saya juga mengeksplorasi ide seperti ini ketika GPT-3 pertama kali muncul
    Tetapi setelah benar-benar membaca paper-paper itu, ternyata paper sampah jumlahnya terlalu banyak
    Asumsi bahwa paper buruk itu pengecualian ternyata salah, dan pada akhirnya rasanya seperti “mencari berlian di lumpur”
    Jadi saya sampai pada kesimpulan bahwa jika 90% suatu bidang itu palsu, lebih baik abaikan saja bidang itu
  • Ide yang menarik, tetapi bukankah sulit membedakan sitasi kritis dan sitasi biasa?
    Sekadar merangkum riset terkait pun bisa kena dampak buruk
  • Setelah melihat orang-orang yang membangun karier dengan riset palsu di konferensi, kepercayaan saya pada para ahli menurun
    Namun sekalipun sistem kepercayaan dibuat, saya tetap skeptis karena pada akhirnya itu juga akan digamifikasi
  • Di negara kami juga citation ring dan penggelembungan jumlah penulis sudah merajalela

• Tiap bidang punya paper buruk, tetapi melihat paper jurusan bisnis sungguh bisa memulihkan rasa percaya diri
  Orang yang benar-benar melakukan riset layak di bidang itu hampir merupakan pengecualian setingkat Galileo

  • Saya juga mengambil double major teknik, ekonomi, dan manajemen, dan manajemen terasa seperti sekadar membaca koran
    Memang menarik, tetapi kurang mendalam, hampir seperti dokumenter sejarah yang dangkal
  • Jurusan bisnis pada akhirnya adalah tempat meneliti teknik menghasilkan laba dengan biaya rendah, jadi itulah hasil akhirnya

• Saya sepenuhnya setuju dengan pernyataan, “jangan mengutip satu studi sebagai bukti yang menentukan”
  Misalnya, “Harvard Goal Study” yang terkenal itu sebenarnya tidak pernah ada
  FAQ perpustakaan Harvard juga secara eksplisit menyatakan bahwa studi seperti itu tidak ada

  • “Jick Study” juga kasus serupa. Artikel Wikipedia layak dijadikan rujukan
  • Studi tunggal seharusnya diabaikan. Jika efeknya memang nyata, peneliti lain akan memperluasnya lewat replikasi parsial
    Sebaliknya, jika hampir tidak ada sitasi lanjutan, itu adalah sinyal untuk menjauh

• Masalah mendasarnya adalah budaya “publish or perish”
  Pengangkatan profesor dan pendanaan riset bergantung pada jumlah sitasi, sehingga saling sitasi dan produksi massal paper menjadi hal biasa

  • Masalahnya ada pada evaluasi yang hanya berdasarkan sitasi
    Kita butuh sistem evaluasi bertahap yang juga mencakup keterbukaan data dan verifikasi replikasi
  • Pada akhirnya, struktur persaingan nilai saat masa sekolah berlanjut menjadi “persaingan paper” di dunia orang dewasa
  • Ini adalah contoh klasik dari Hukum Goodhart

• Ada terlalu banyak paper sains yang buruk di dunia
  Tulisan yang saya sukai adalah karya John P. A. Ioannidis “Why Most Published Research Findings Are False”

  • Itu paper yang luar biasa, tetapi sebagian orang di industri teknologi memakainya sebagai alasan untuk lari dari kenyataan, seolah-olah “realitas saya adalah kebenaran”
  • Ioannidis luar biasa dalam riset tentang krisis replikasi, tetapi pernyataannya terkait COVID-19 mengecewakan karena sikapnya terasa konspiratif

• Inti masalahnya adalah signifikansi statistik dan struktur jurnal akademik
  “Tidak ada hasil signifikan” tidak diterbitkan, sehingga secara alami hanya hasil yang bias yang tersisa
  Praregistrasi dan pembukaan data yang bisa direplikasi itu penting, tetapi karena persaingan promosi dan kepentingan komersial, hal itu sering tidak dijalankan

  • Ada komik xkcd terkait https://xkcd.com/882/

• Saya sulit setuju dengan pernyataan “pengemudi mabuk itu bukan orang jahat”
  Jika tindakan yang mengancam nyawa orang lain dibela, maka makna “jahat” menjadi hilang
  Menyebut perilaku tidak etis peneliti sebagai sekadar “akibat pelatihan” terdengar seperti penghindaran tanggung jawab

  • Menetapkan seseorang sebagai “jahat” adalah cara berpikir dikotomis
    Jika sistem mempermudah perilaku buruk, maka pada akhirnya penyebabnya adalah masalah struktural
    “Terlatih” di sini bukan berarti “diajari”, melainkan dibentuk oleh lingkungan
  • Daripada “perilaku buruk”, lebih tepat menyebutnya “perilaku bodoh” atau “perilaku tidak bertanggung jawab”
    Kata ‘bad’ punya implikasi moral yang lemah
  • Pada masa ketika semua orang melakukan itu, orang-orang percaya bahwa mereka berbeda karena berada dalam ilusi budaya
    Pada akhirnya, itu hasil dari terlalu percaya diri akibat efek Dunning-Kruger
    Jika manusia memang rentan jatuh ke ilusi seperti itu, kita tidak bisa menyebut manusia itu sendiri jahat

• Pernyataan “peneliti replikasi harus berhati-hati” bertentangan dengan hakikat sains
  Hasil yang tidak bisa direplikasi tidak bermakna, dan riset replikasi justru harus didorong

• Jumlah sitasi sebuah paper di satu jurnal tampil berbeda-beda tergantung situsnya
  SSRN menunjukkan 109 kali, ResearchGate 3936 kali, dan Google Scholar 6269 kali
  Karena standar penghitungan sitasi berbeda-beda, sulit untuk mempercayainya
  Ada juga usulan, “mari buka komentar, koreksi, dan permintaan pencabutan untuk semua paper,”
  tetapi jika begitu, saya rasa bahkan paper Einstein pun akan dibanjiri komentar aneh

  • Memang benar, menurut Google Scholar jumlah sitasinya 6269 kali
  • Namun jika melihat platform yang mengizinkan komentar anonim seperti PubPeer,
    ternyata masalah penyalahgunaannya tidak sebesar yang dibayangkan