Mengganti "peer review" dengan "peer replication" (2021)

• Artikel ini membahas gagasan untuk mengganti penelaahan sejawat tradisional dalam riset ilmiah dengan "replikasi sejawat".
• Penulis berpendapat bahwa proses penelaahan sejawat saat ini memiliki cacat dan dapat menjadi hambatan besar dalam menyampaikan penemuan ilmiah penting.
• Proses "replikasi sejawat" yang diusulkan melibatkan pengiriman pracetak ke laboratorium lain untuk mereplikasi hasilnya, alih-alih hanya ditinjau oleh beberapa pakar.
• Penulis mengusulkan bahwa ujian sejati bagi sebuah makalah seharusnya adalah kemampuan untuk mereproduksi hasilnya di dunia nyata.
• Artikel ini menekankan bahwa saat ini laboratorium independen hampir tidak memiliki insentif untuk mereplikasi hasil yang sudah dipublikasikan, padahal hal itu berlawanan dengan cara kerja sains yang ideal.
• Dalam sistem yang diusulkan, para peneliti yang melakukan pekerjaan replikasi akan menerima pengakuan pada makalah yang diterbitkan, sehingga memberi mereka motivasi atas upaya tersebut.
• Penulis mengakui potensi tantangan dari pendekatan ini, seperti perlunya waktu tambahan antara pengajuan dan publikasi, serta kesulitan dalam mereproduksi hasil yang menggunakan teknik ilmiah canggih atau membutuhkan sumber daya yang besar.
• Untuk membuat proses ini lebih layak, penulis mengusulkan agar rincian cerita dikirimkan lebih awal dan replikasi diatur sementara naskah masih dipersiapkan.
• Artikel ini menyimpulkan dengan menyatakan bahwa organisasi seperti Review Commons dapat menyelenggarakan uji coba untuk pendekatan baru ini, dan bahwa jika para ilmuwan melihat replikasi sejawat dalam versi cetak, hal itu bisa menjadi metode yang lebih disukai dibandingkan penelaahan sejawat tradisional.

[GN⁺]

Opini Hacker News

• Artikel ini mengusulkan agar sistem peer review saat ini dalam penelitian ilmiah digantikan dengan "peer replication".
• Para pengkritik berpendapat bahwa mereplikasi semua makalah yang diterbitkan akan membutuhkan upaya dan sumber daya yang besar, dan mungkin tidak menguntungkan bagi ilmuwan yang melakukan replikasi.
• Tujuan publikasi ilmiah adalah membagikan hasil baru kepada ilmuwan lain agar mereka dapat melanjutkan pekerjaan tersebut atau memverifikasinya. Proses peer review pada awalnya dirancang untuk menolak makalah yang ditulis dengan buruk dan spam yang jelas.
• Proses peer review tidak menjamin replikasi, tetapi menjamin keterbacaan dan kemudahan dipahami dari sebuah makalah.
• Sebagian pihak menyarankan bahwa "peer replication" tidak realistis untuk eksperimen yang menelan biaya miliaran dolar. Sebagai gantinya, menambahkan metadata tentang makalah yang telah direplikasi mungkin menjadi pendekatan yang lebih layak.
• Di bidang seperti ilmu komputer dan machine learning, karena ambiguitas dalam makalah, muncul tuntutan pendekatan "it didn't happen without code".
• Sebagian orang berpendapat bahwa konsep "peer replication" telah disalahpahami. Jika ini berarti laboratorium lain harus menghasilkan set data yang cocok untuk mereplikasi hasil, maka hal itu dianggap tidak layak karena biaya dan waktu pengumpulan data.
• Diusulkan untuk membagi "peer review" menjadi "review keterbacaan" dan "pernyataan reproduktibilitas". Yang terakhir akan menjelaskan secara rinci metodologi dan strategi yang digunakan untuk menjalankan eksperimen.
• Persyaratan untuk mengajukan "review reproduktibilitas" atau "peta metodologi" untuk setiap makalah dianggap sebagai pendekatan yang lebih realistis. Ini akan melibatkan bolak-balik antara reviewer dan penulis, dengan tujuan mereproduksi hasil.
• Beberapa pengkritik berpendapat bahwa informasi penting yang diperlukan untuk mereproduksi hasil sering kali dihilangkan dari makalah, sehingga menimbulkan kurangnya kepercayaan terhadap arah ilmiah tertentu.
• Terlepas dari sentimen terhadap "peer replication", para pengkritik berpendapat bahwa ini tidak selalu praktis, terutama untuk proyek skala besar seperti LIGO, LHC, dan JWST.