Mengganti "peer review" dengan "peer replication" (2021)
(blog.everydayscientist.com)- Di banyak bidang sains, reproduksi independen masih kurang, tetapi peer review saat ini menjadi penghalang yang rawan kesalahan dan memperlambat penyampaian riset penting
- Peer replication yang diusulkan adalah struktur di mana, alih-alih penilai anonim mengevaluasi naskah, laboratorium lain benar-benar mereproduksi hasil inti lalu hal itu dipertimbangkan dalam keputusan publikasi
- Peneliti yang ikut dalam replikasi dicantumkan di makalah pada baris terpisah sehingga memperoleh sitasi dan entri CV, dan penulis mempertahankan hasilnya lewat keterulangan alih-alih menanggapi tuntutan eksperimen tambahan dari penilai
- Eksperimen yang memerlukan teknik tingkat tinggi, waktu lama, dan banyak sumber daya semuanya sulit direplikasi, sehingga editor, penulis, dan penilai harus memilih target reproduksi di antara ketelitian dan kelayakan pelaksanaan
- Untuk mengurangi replikasi yang gagal, percobaan berulang, dan journal shopping, diperlukan mekanisme transparansi seperti prapendaftaran, publikasi kasus gagal, dan penyimpanan makalah yang ditolak
Peer replication yang diusulkan sebagai alternatif peer review
- Verifikasi ideal dalam sains bukanlah beberapa pakar memberi cap persetujuan pada naskah, melainkan memastikan apakah temuan dalam makalah dapat direproduksi di dunia nyata
- Uji terbaik bagi metodologi baru bukanlah penilaian makalah, melainkan ketika peneliti sejawat benar-benar menggunakan teknik tersebut
- Hampir tidak ada insentif bagi laboratorium independen untuk memverifikasi kembali hasil yang sudah diterbitkan, sehingga sebagian besar makalah terbitan tidak pernah direplikasi secara independen setelahnya
- Dalam peer replication, preprint atau naskah dikirim ke laboratorium lain, dan laboratorium itu benar-benar mereproduksi temuan inti
- Jika temuan inti berhasil direplikasi, naskah disetujui dan diterbitkan
- Penulis dapat meminta masukan dari rekan dan memperbaiki naskah, tetapi editor tidak mengambil alih pengumpulan masukan atau permintaan revisi
Cara memuat hasil replikasi bersama di dalam makalah
- Makalah yang diterbitkan memuat hasil upaya replikasi bersama data mentah
- Dapat ditampilkan dalam bentuk tabel, reagen dan teknik mana yang sama dengan eksperimen asli
- Semakin banyak parameter yang berbeda antara eksperimen asli dan eksperimen replikasi, semakin kokoh hasil akhir ketika hasil yang mirip tetap muncul
- Berdasarkan hasil replikasi, pembaca dapat menilai sendiri apakah keseluruhan bukti mendukung klaim makalah
Insentif yang muncul bagi para peserta
- Peer review tradisional membutuhkan banyak waktu dan usaha jika dilakukan dengan benar, tetapi hampir tidak ada imbalannya
- Dalam peer replication, nama peneliti yang melakukan pekerjaan replikasi dicantumkan di makalah terbitan pada baris terpisah
- Penilai dapat memperoleh sitasi
- Mereka mendapat bentuk imbalan lain berupa makalah yang bisa dimasukkan ke CV
- Penulis dapat menunjukkan bahwa hasil mereka tetap bertahan setelah verifikasi yang ketat
- Dalam peninjauan tradisional, penulis harus melakukan eksperimen tambahan dan menanggapi kritik penilai, tetapi dalam peer replication, penilai mengambil peran membela temuan naskah melalui eksperimen
Kelayakan pelaksanaan dan efek samping
- Ada banyak riset yang sulit direplikasi
- Jika memerlukan teknik ilmiah tingkat tinggi
- Jika memerlukan waktu lama
- Jika memerlukan banyak sumber daya seperti eksperimen tikus
- Editor harus menentukan, bersama penulis dan penilai, eksperimen mana yang akan direproduksi
- Tujuannya adalah keseimbangan antara ketelitian dan kelayakan pelaksanaan
- Sebagian eksperimen yang sangat kompleks bisa tetap tidak direplikasi
- Dalam hal ini pembaca harus menilai sendiri bagaimana mengevaluasi keseluruhan makalah
- Peer replication mengubah proses peninjauan yang konfrontatif menjadi kerja sama antarrekan untuk menemukan kebenaran
- Jika ditambah pandangan dan pemikiran peneliti lain, kelompok kontrol baru atau pendekatan eksperimen alternatif dapat dimasukkan untuk memperkuat temuan awal
- Jika berbagi prosedur eksperimen meningkat, hal itu akan membantu kolaborasi di masa depan, pendekatan baru, dan pelatihan keterampilan bagi mahasiswa serta peneliti postdoktoral
- Ini bisa menjadi saluran untuk menyebarkan pengetahuan keterampilan tangan yang terkurung di dalam laboratorium individual
- Jika peneliti lain benar-benar mencoba mereproduksi hasil eksperimen, akan lebih sulit bagi data atau gambar yang dimanipulasi untuk lolos seolah-olah asli, sehingga dapat mengurangi kecurangan riset
Masalah yang diperkirakan dan cara memulai
- Peer replication dapat memerlukan waktu lebih lama dari pengajuan hingga publikasi akhir
- Peer review tradisional juga biasanya memakan waktu beberapa bulan, jadi dalam banyak kasus eksperimen replikasi mungkin tidak menambah waktu nyata
- Waktu dapat dikurangi jika penulis mengajukan potongan riset tanpa menunggu seluruh naskah selesai
- Mekanisme yang independen dari jurnal seperti ReviewCommons ideal untuk menyiapkan replikasi atas temuan parsial
- Ketika replikasi gagal, diperlukan penilaian
- Harus dinilai apakah replikasi yang gagal itu esensial bagi naskah
- Perlu diperiksa juga apakah upaya replikasi dilakukan dengan cukup tepat
- Upaya replikasi kedua mungkin diperlukan, tetapi pendekatan mengulang lalu berhenti hanya ketika berhasil harus diwaspadai
- Prapendaftaran rencana replikasi dapat membantu mengurangi hal ini
- Rincian replikasi yang gagal harus обязательно dimasukkan dalam makalah terbitan
- Masalah journal shopping juga tetap ada, yaitu ketika penulis ditolak oleh satu jurnal karena replikasi gagal lalu mengajukannya lagi ke jurnal lain
- Makalah yang ditolak harus disimpan dengan suatu cara demi transparansi dan akuntabilitas
- Diperlukan juga mekanisme agar peneliti yang berpartisipasi dalam replikasi menerima pengakuan atas usahanya
- Pembagian peran adalah sebagai berikut
- Editor: menyeleksi naskah yang diajukan, dan menolak sains yang jelas cacat, eksperimen yang tidak layak direplikasi, kontrol esensial yang hilang, atau hasil yang sangat membosankan
- Editor: mencari penilai yang tepat, dan bersama penulis serta penilai menentukan eksperimen mana yang akan direplikasi dan bagaimana caranya
- Editor: setelah berkonsultasi dengan penilai, membuat keputusan akhir apakah temuan makalah cukup dapat direproduksi untuk dipublikasikan secara resmi
- Authors: menulis naskah, mencari umpan balik melalui jalur seperti bioRxiv, lalu merevisinya sebelum mengajukan ke jurnal
- Authors: mendukung penilai dalam desain eksperimen, reagen, dan bila perlu akses ke personel atau peralatan khusus
- Referees: dengan sungguh-sungguh mencoba mereproduksi hasil eksperimen inti dari naskah, dan bila perlu melakukan eksperimen tambahan atau kontrol tambahan serta merangkum hasilnya
- Readers: berdasarkan kepercayaan bahwa eksperimen inti telah direplikasi secara independen oleh laboratorium lain, menilai apakah bukti mendukung klaim dan mengutip sains yang dapat direproduksi
- Sebagai cara memulai, pilot oleh jurnal seperti eLife juga dimungkinkan, tetapi tidak perlu menunggu penerbit tradisional bergerak lebih dulu
- Organisasi seperti Review Commons dapat menjadi jalur cepat dengan mencari kandidat yang baik di bioRxiv, merekrut penilai yang akan melakukan replikasi bersama penulis, lalu mengajukan seluruh paketnya ke jurnal
- Jika ilmuwan mulai melihat makalah yang diverifikasi dengan peer replication dalam publikasi nyata, akan sulit untuk menerima serius makalah yang hanya melewati peer review, dan sains yang lebih baik akan bersaing dengan temuan yang belum direplikasi
1 komentar
Opini Hacker News
Saya tidak tahu apakah cara ini benar-benar bisa berjalan, dan tampaknya orang non-ilmuwan sangat meremehkan kerja yang dibutuhkan untuk mereproduksi semua makalah
Tergantung bidangnya, mereproduksi satu makalah dengan benar bisa memakan waktu berbulan-bulan. Memang tidak perlu mengulangi trial and error yang dialami makalah asli, dan mungkin bisa mendapatkan sampel untuk memangkas proses persiapan, tetapi jika percobaan pertama tidak berhasil, eksperimen harus di-debug dan dipastikan tidak ada kesalahan, sehingga waktunya bertambah banyak
Selain itu, pekerjaan ini hampir tidak memberi manfaat bagi ilmuwan yang mereproduksinya, hanya menghabiskan uang dan waktu. Jika ada orang yang cukup tertarik untuk memperluas penelitian itu sebagai dasar, mereka toh akan mencoba mereproduksinya, dan jika berhasil, makalah lanjutan tersebut akan mendukung makalah asli secara tidak langsung meski bukan makalah reproduksi langsung
Namun masalah besarnya adalah jika eksperimen lanjutan gagal, biasanya tidak dipublikasikan. Itu tidak bisa diselesaikan hanya dengan mengatakan mari publikasikan hasil negatif. Untuk menghasilkan hasil negatif yang solid, dibutuhkan jauh lebih banyak pekerjaan daripada sekadar mencoba eksperimen lalu berhenti jika tampaknya tidak menjanjikan
Sekalipun sudah direproduksi, makalah bisa saja tidak dipublikasikan jika kondisi lain tidak cocok. Misalnya, sebuah tim sedang mencari material baru yang inovatif untuk memecahkan masalah rekayasa yang kompleks, lalu menemukan suatu zat yang pernah disintesis sekali pada 1980-an dan belum pernah direproduksi. Karena zat itu tampaknya akan memiliki sifat yang diinginkan, mereka mensintesisnya; strukturnya benar, tetapi sifat yang diharapkan tidak ada. Maka kemungkinan besar mereka tidak akan menulisnya sebagai makalah dan akan beralih ke kandidat berikutnya. Bahkan jika beberapa tim melakukan hal yang sama secara bersamaan, orang-orang yang datang kemudian tidak akan tahu apa-apa
“Ciri unik dari proses penelaahannya adalah bahwa semua data dan eksperimen yang dilaporkan dalam artikel harus berhasil diulang di laboratorium anggota dewan editor untuk memastikan reprodusibilitas sebelum publikasi”
https://en.wikipedia.org/wiki/Organic_Syntheses
Misalnya, kurangi jumlah makalah sebanyak x, tetapi wajibkan x reproduksi, dan buat orang memiliki rekam jejak reproduksi di bidang keahliannya sendiri. Pos pendanaan untuk penelitian reproduksi juga perlu dibuat dan dialihkan ke sistem independen. Mekanisme seperti penugasan acak juga diperlukan. Reproduksi harus dinilai dengan nilai yang sama seperti penelitian orisinal
Departemen kecil setingkat R2 juga bisa beralih menjadi hub reproduksi. Di sebagian area biologi, kimia, dan psikologi, ini mungkin lebih mudah daripada fisika partikel. Mulailah dari bidang dengan biaya reproduksi yang relatif rendah lalu sempurnakan detailnya. Dalam beberapa kasus ini cukup mungkin dilakukan, tetapi di bidang tertentu mungkin akan tetap sulit selamanya
Di robotika, terlalu banyak makalah yang mengambil tiga atau empat algoritma atau model machine learning yang sudah dikenal lalu menerapkannya pada hardware siap pakai. Siapa pun yang terdidik di bidang itu hampir bisa menebak hasilnya. Untuk setiap ruang masalah populer seperti tangan prostetik, drone pemantau kebakaran hutan, atau robot pemandu museum, muncul ratusan variasi setiap bulan, jauh melebihi jumlah yang benar-benar mungkin berguna
Untuk penelitian yang mengklaim temuan yang benar-benar penting, mungkin diperlukan prosedur tersendiri. Saya tidak tahu persis harus seperti apa, tetapi jujur saja, mungkin jumlah makalah itu sendiri memang perlu dikurangi
Tujuan publikasi ilmiah adalah membagikan hasil baru kepada ilmuwan lain, agar orang lain dapat membangun di atasnya atau memverifikasi keakuratannya.
Unsur “pengakuan jasa” memang selalu ada di sini, tetapi dari sudut pandang memaksimalkan kemajuan ilmu pengetahuan, yang benar-benar penting adalah komunikasi.
Dahulu, publikasi lebih mirip proses informal seperti mengedarkan surat, atau jika hasilnya besar, menerbitkan buku dengan biaya sendiri. Setelah itu, penerbit membuat jurnal resmi, dan sebagian jurnal mulai menerima begitu banyak kiriman hingga sulit memuatnya hanya berdasarkan reputasi atau memverifikasinya. Jurnal-jurnal populer mulai menerapkan standar editorial dasar untuk menyaring makalah yang ditulis buruk dan spam yang jelas, dan karena editor bukan ahli di semua bidang, mereka meminta bantuan sukarelawan. Itulah peer review.
Belakangan, para birokrat membutuhkan cara untuk mengukur produktivitas ilmuwan guna membagi anggaran dan promosi, lalu menjadikan rekam jejak publikasi di beberapa jurnal bergengsi sebagai indikator. Akibatnya, “berbagi hasil” yang tadinya merupakan proses berguna, di mata orang luar berubah seperti proses mendapatkan skor akademik, dan publikasi itu sendiri tampak menjadi tujuan akhir, bukan tahap perantara dalam proses verifikasi hasil.
Ada juga orang luar yang salah memahami proses ini dan marah pada fakta bahwa hasil sementara bisa saja keliru. Alih-alih menerima bahwa inti publikasi adalah membagikan hasil secara luas untuk meningkatkan kemungkinan verifikasi, atau membuat indikator promosi yang lebih baik, mereka mencoba menghambat proses berbagi yang inti itu, membuatnya tidak efisien, serta mengurangi jangkauan dan kecepatan penyebaran publikasi. Kekacauan ini bisa ditangani dengan jauh lebih cerdas.
Di sini, cara publik non-ilmuwan menerima informasi dari akademia juga menjadi variabel. Dahulu akademia adalah kelompok yang relatif tertutup dan mengejar pengetahuan itu sendiri, sehingga masalah ini kurang penting. Hal yang baru adalah masyarakat menjadi terobsesi pada gagasan bahwa penyelenggaraan negara dan administrasi harus sangat mengikuti hasil dan pandangan akademia.
Antusiasme terhadap kebijakan berbasis sains memberi pukulan tiga lapis. Fakta bahwa hasil penelitian dapat memengaruhi kebijakan bisa mengubah insentif dalam cara sains dilakukan itu sendiri. Fakta bahwa hasil akademik punya pengaruh eksternal juga mengubah sains apa yang dilakukan, dan dapat menarik aktor yang tidak fair. Ketika pengaruhnya membesar, publik yang kurang memahami akan melihat hasil yang masih pendahuluan atau belum direproduksi lalu menarik kesimpulan yang mentah. Bahkan riset yang sempit atau lemah pun bisa mendapat perhatian berlebihan jika tampak seperti tongkat yang bagus untuk memukul lawan.
Suka atau tidak, akademisi pada akhirnya dinilai lewat publikasi, dan menurut saya hampir tidak ada yang salah memahami itu. Masalahnya adalah insentif tersebut buruk. Membuat kelas publikasi baru yang menuntut reproduksi mungkin bisa dilakukan di beberapa bidang seperti optik/fotonik, tetapi di bidang seperti fisika partikel eksperimental, itu hampir mustahil.
Bidang intelektual murni seperti matematika, fisika teoretis, dan filsafat kemungkinan besar tidak membutuhkan sistem seperti ini. Machine learning yang berada di tengah-tengah secara teori tampak mudah direproduksi, tetapi misalnya melatih baseline untuk model bahasa berskala besar bisa menjadi terlalu mahal.
Persepsi publik yang menganggap makalah di jurnal bergengsi sebagai kebenaran yang sudah mapan juga tidak membantu.
Publikasi saat ini tidak menjalankan peran yang sama seperti sebelum internet. Kini menulis makalah yang meyakinkan dan membuatnya terbit tanpa riset pun menjadi perkara sepele: http://theatlantic.com/ideas/archive/…
Peer review bukanlah mekanisme untuk menjamin reproduksi, melainkan mekanisme untuk menjamin keterbacaan dan keterpahaman makalah.
Sebagian eksperimen menelan biaya miliaran dolar untuk dilakukan, sehingga menerapkan “reproduksi sejawat” pada semua makalah tidak mungkin.
Sebagai gantinya, metadata tentang makalah yang telah direproduksi bisa ditambahkan.
Konferensi mungkin berbeda, tetapi saya memahami peer review lebih sebagai pemeriksaan apakah metodologi, cakupan, klaim, arah, kesimpulan, dan relevansinya valid serta dapat dipercaya.
Jika seseorang meluangkan waktu untuk mereproduksi sesuatu yang hanya dijelaskan dalam satu atau dua makalah, itu bernilai bagi komunitas dan seharusnya didorong. Lebih baik lagi jika itu menjadi kesempatan bagi mahasiswa doktoral untuk mengasah keterampilan. Tidak glamor dan bukan sesuatu yang sepenuhnya baru, tetapi berguna dan penting.
Studi seperti ini harus dimuat di jurnal umum. Jika hanya muncul jurnal khusus reproduksi, impact factor-nya akan buruk dan tidak ada yang akan peduli.
Selalu ada orang yang menganggap sesuatu tidak layak jika bukan solusi 100%, lalu tidak melakukan apa-apa. Peer review sudah terbukti tidak memadai, tetapi orang-orang tetap berpegang padanya mati-matian. Beberapa disiplin harus menuntut reproduksi untuk semuanya. Saya tidak akan secara khusus menunjuk psikologi atau ilmu sosial secara umum, tetapi tingkat kegagalan reproduksi di beberapa bidang sudah pada level yang sulit diterima.
Kita perlu mengubah standar nilai, misalnya mengakui reproduksi sebagai jalur yang sah untuk tenure dan promosi, serta menjadikannya komponen wajib dalam program doktoral.
Dalam kedua kasus, ulasan memuat komentar seperti “makalah ini ditulis dengan sangat baik, bahkan mahasiswa S1 pun bisa membacanya.” Pada akhirnya peer review menjamin peran penjaga gerbang.
Selama beberapa waktu di Reddit ada slogan “tanpa foto, berarti tidak pernah terjadi”
Setidaknya dalam ilmu komputer/machine learning, kita butuh tanpa kode, berarti tidak pernah terjadi. Makalah itu ambigu, dan meski ada persamaan, kadang tidak semua komponennya didefinisikan
Reproduksi sejawat di bidang ini adalah tugas mudah berbiaya rendah yang bisa menjadi teladan bagi bidang sains lain
Penelitian terobosan terbaru seperti untuk Alzheimer memang bermanfaat untuk direproduksi, dan bagaimanapun juga akan direproduksi karena ada kepentingan komersial. Namun untuk topik ceruk yang biasa-biasa saja, tidak ada dana untuk mereproduksi semua penelitian. Hanya karena riset ilmu komputer/kecerdasan buatan lebih mudah direproduksi, bukan berarti itu bisa diperluas ke semua penelitian
Karena itulah peer review ada. Itu adalah mekanisme untuk menyaring riset yang tidak masuk akal atau berupaya rendah dan kurang relevan, bukan sesuatu yang dirancang sebagai pencegah kecurangan
Sekarang dengan adanya GitHub, GitLab, dan lain-lain, ini seharusnya menjadi standar. Jika makalah yang membahas implementasi tidak menyediakan kode, biasanya besar kemungkinan itu omong kosong
Saya suka pendekatan membagi “peer review” menjadi dua, lalu menyepakati ambang sitasi bahwa ketika suatu bidang melewati jumlah sitasi tertentu, makalahnya harus direproduksi. Jurnal juga perlu punya bagian khusus untuk upaya reproduksi
Di beberapa bidang, selain pengetahuan khusus, eksperimen yang baik juga membutuhkan keterampilan terlatih yang disebut “tangan”. Misalnya menangani senyawa yang sensitif terhadap udara, atau menangani material dalam keadaan terkondensasi/kristal. Dalam eksperimen disertasi saya, sebagian peralatan saya buat sendiri dengan tangan
Kadang fasilitas khusus juga diperlukan. Proyek disertasi doktoral saya memakai peralatan senilai sekitar 500 ribu dolar, dan sebagian peralatan yang saya gunakan sudah dihentikan produksinya dan tidak bisa didapatkan lagi pada saat saya lulus
Menurut saya, pendekatan yang lebih realistis adalah mewajibkan tinjauan reproduksibilitas dan penyerahan peta metodologi untuk setiap makalah
Yang pertama adalah proses bolak-balik di mana reviewer, berdasarkan makalah, bertanya dan memeriksa dengan tujuan mereproduksi hasil, tetapi tidak sampai mewajibkan reproduksi sungguhan. Ini biasanya berguna untuk menemukan detail yang dihilangkan penulis karena menganggap semua orang di bidang itu sudah mengetahuinya. Saya benar-benar pernah melihat mahasiswa doktoral biologi membuang waktu berbulan-bulan untuk melacak detail eksperimen yang tidak ada di makalah
Yang kedua menjadi keluaran dari yang pertama. Alih-alih memasukkan apendiks panjang ke naskah utama, penulis membuat dokumen terpisah bersama peer reviewer yang membahas eksperimen dan metodologi secara teliti, lalu mencantumkan nama reviewer agar tidak bisa dilewati asal-asalan
Saya sudah membaca terlalu banyak makalah yang tidak memuat informasi penting untuk reproduksi. Dalam machine learning/reinforcement learning, jika ada kode, saya menemukan begitu banyak detail implementasi yang tidak ada di makalah. Bahkan ada hasil yang menunjukkan bahwa detail semacam itu menentukan berhasil atau gagalnya algoritma tertentu [1]. Saya juga pernah melihat detail inti hanya ditulis di komentar kode
Yang lebih mengerikan, ada makalah yang mengklaim telah mengevaluasi metodenya pada benchmark, tetapi setelah diperiksa, ternyata tugas tersebut tidak ada dalam benchmark itu. Mereka mem-fork benchmark dan membuat tugas sendiri tanpa menjelaskannya dengan jelas [2]
Hal-hal seperti ini membuat kepercayaan terhadap arah sains tertentu hilang. Saya juga melihat beberapa peneliti junior menyimpulkan bahwa seluruh rumah itu seperti dibangun dari kartu, lalu berhenti dari riset sepenuhnya
[1] https://arxiv.org/abs/2005.12729
[2] https://arxiv.org/abs/2202.02465
Jika Anda merasa ini terlalu merepotkan atau mahal, ingatlah bahwa para penerbit mencetak keuntungan rekor. Sumber dayanya sudah ada
https://youtu.be/ukAkG6c_N4M
Sekarang ketika meninjau naskah, saya jauh lebih memperhatikan apakah informasinya cukup untuk mereproduksi eksperimen atau simulasi. Tidak apa-apa jika ada makalah dengan interpretasi yang salah. Orang lain bisa mengetahuinya saat melakukan riset mereka sendiri. Namun makalah yang hasilnya tidak bisa direproduksi tidak boleh dibiarkan terbit
Materi yang terlalu panjang untuk dimasukkan ke bagian eksperimen harus masuk ke dokumen informasi pendukung elektronik. Namun akan bagus jika informasi pendukung itu ikut terlampir pada makalah saat PDF diunduh. Melacaknya secara terpisah benar-benar merepotkan. Ada juga bidang, seperti karakterisasi material, yang lazim menyediakan informasi pendukung berisi banyak data dan detail
Dataset besar harus dikirim ke repositori atau jurnal dataset. Dengan begitu, metodenya tetap melalui peer review, dan dataset mendapat DOI sehingga lebih mudah digunakan ulang. Ini juga cara yang baik untuk menggandakan jumlah makalah mahasiswa di akhir program doktoral
Mem-fork benchmark untuk membuat tugas sendiri tanpa menjelaskannya dengan jelas itu benar-benar jahat
Meski sulit atau bahkan mustahil direproduksi, sains observasional tetap merupakan salah satu cabang sains
Pikirkan foto pertama cumi-cumi raksasa hidup di habitat alaminya yang diterbitkan pada 2005: https://royalsocietypublishing.org/doi/10.1098/rspb.2005.315...
Siapa yang secara serius berpikir bahwa hasil itu seharusnya tidak dipublikasikan sampai orang lain mereproduksinya
Apakah hasil uji klinis obat juga tidak boleh dipublikasikan sampai direproduksi
Bagaimana mereproduksi “A stellar occultation by (486958) 2014 MU69: results from the 2017 July 17 portable telescope campaign”, yang mengharuskan bintang, objek trans-Neptunus 486958 Arrokoth, dan wilayah tertentu di Argentina terselaraskan dengan presisi: https://ui.adsabs.harvard.edu/abs/2017DPS....4950403Z/abstra...
Bagaimana mereproduksi hasil lintas-dekat Pluto atau menerbangkan helikopter di Mars
Ada juga makalah “Insights from a laboratory fire” yang saya ketahui dari “In The Pipeline”: https://www.nature.com/articles/s41557-023-01254-6
Isinya mengatakan bahwa kebakaran laboratorium kimia relatif umum tetapi kurang dilaporkan, dan akibatnya bisa fatal. Dalam kasus ini, apa relevansi reproduksi sejawat
Dalam kasus seperti ini, reproduksi berarti orang lain dapat menjalankan kode itu pada dataset tersebut dan mendapatkan hasil yang sama
Apakah laboratorium harus memperbaiki lingkungan perangkat lunak mereka dan mempelajari alat baru? Haruskah mereka meninggalkan pengetahuan rahasia lama? Itulah intinya
Masalahnya bukan publikasi temuan baru, melainkan kurangnya insentif untuk memverifikasinya setelah dipublikasikan
Observasi baru terhadap cumi-cumi raksasa tetap sangat bernilai meskipun tidak lagi baru. Jadi observasi baru harus didorong
Lintas-dekat Pluto atau helikopter Mars sebenarnya juga bukan contoh yang bagus. Kita harus mengirim wahana lagi, dan kemungkinan besar kasus serta data kendaraan terbang di atmosfer Mars akan berlimpah di masa depan. Simulasi juga bisa dilakukan sangat banyak. Spektrometer dan berbagai instrumen akan terus diarahkan ke Pluto
Bahkan dalam kasus seperti ini, meskipun datanya berasal dari perangkat eksperimen yang sama, analisis independen oleh tim berbeda dapat meningkatkan ketangguhan. Tidak semuanya hitam-putih. Observasi berada di atas spektrum; sebagian jauh lebih dapat dipercaya daripada yang lain, dan reproduksi adalah salah satu faktornya
Dalam kasus kebakaran laboratorium, diperlukan lebih dari satu kasus untuk mengetahui fenomena mana yang berasal dari kekhususan laboratorium tertentu. Diperlukan hal-hal seperti analisis statistik dan faktor. Di sini reproduksi bukan berarti sengaja membakar laboratorium sungguhan
Sama seperti penelitian kecelakaan mobil. Kita tidak sengaja membunuh orang, tetapi tetap diperlukan makalah baru yang meneliti peristiwa nyata untuk mengonfirmasi atau membantah observasi sebelumnya
Di dunia yang sempurna, pengumpulan data pun akan direproduksi, tetapi kita tidak hidup di dunia yang sempurna
Uji klinis obat juga sama. Karena perusahaan mengklaim data mentah sebagai rahasia dagang, selalu ada pertarungan untuk mendapatkan data mentah uji klinis. Jadi verifikasi independen sangat mahal, tetapi menurut saya akan jauh lebih baik jika FDA mewajibkan pembukaan 100% data yang dikumpulkan, bukan hanya kesimpulan yang sudah disunting dan sebagian materi pendukung
Misalnya, FDA mengatakan akan butuh puluhan tahun untuk membuka data mentah uji klinis vaksin COVID. Mengapa harus begitu. Itu pun terjadi setelah dipaksa lewat gugatan
Saat di sekolah pascasarjana ilmu komputer, saya menghabiskan cukup banyak waktu pada detail implementasi makalah, tetapi hal yang berulang kali saya sadari adalah bahwa makalah tidak menyebutkan semua kelemahan teknik dan kasus kegagalannya. Meski memang ada pengecualian yang bagus
Karena tekanan publikasikan atau binasa, hampir tidak ada kejujuran dalam riset. Untungnya ada juga orang-orang yang membuka pekerjaan mereka secara transparan, tetapi secara keseluruhan sains tenggelam dalam lautan riset yang penuh kurangnya transparansi dan kegagalan reproduksi
CI/CD memaksa kita mengodekan secara tepat cara build dan deployment untuk memasukkan sesuatu ke lingkungan produksi. Docker dan mesin virtual adalah cara memintas masalah ini dengan menyediakan “komputer saya” yang mudah disalin dan dibagikan
Di bidang bahasa pemrograman, konferensi mulai mengizinkan penulis menyerahkan artefak yang sudah dipaketkan. Biasanya berupa kode sumber, data input, data pelatihan, dan semacamnya, dan umumnya dievaluasi secara terpisah setelah peninjauan makalah.
Artefak biasanya dievaluasi oleh komite terpisah yang terdiri dari mahasiswa pascasarjana, dan seperti biasa semuanya dilakukan secara sukarela. Bahkan dengan panduan eksplisit, menjalankan kode yang sama di lingkungan berbeda untuk mendapatkan hasil yang sama saja sudah cukup sulit. Jika “reproduksi” teknik perangkat lunak menuntut tim lain mengimplementasikannya ulang dari nol, itu tampak mustahil dilakukan.
Sulit dibayangkan betapa sulitnya menulis panduan agar eksperimen garis depan di fisika, kimia, atau biologi berhasil direproduksi oleh laboratorium lain. Ini bukan hanya soal peralatan khusus, melainkan sesuatu yang terjadi di batas terdepan sains yang melakukan riset mutakhir.
Usulan seperti ini terasa seperti ditulis oleh non-ilmuwan yang belum pernah mengalami proses peer review di bidang apa pun. Kenyataannya tidak berjalan seperti itu.
Dalam sains “keras”, reproduksi sering kali tampaknya tidak sesulit itu. LK-99 adalah contoh menarik: meskipun secara umum disepakati bahwa makalahnya ditulis terburu-buru dan kurang detail, orang-orang tampaknya berhasil mereproduksi eksperimennya. Itu sains mutakhir, tetapi reproduksinya sendiri bukan masalah. Sebagian besar sains bukan LHC.
Masalah reproduksi yang sebenarnya ditemukan di bidang yang lebih “lunak”. Di sana masalahnya bukan hanya soal keacakan atau sulitnya eksperimen. Kita sering melihat makalah, atau bahkan seluruh bidang, yang pada prinsipnya pun tidak dapat direproduksi. Para peneliti tidak berpikir bahwa orang lain harus bisa mereproduksi pekerjaan mereka, atau kadang malah berusaha mencegah reproduksi. Cara paling umum adalah mengumpulkan data dengan cara yang tidak dapat direproduksi lalu sengaja tidak membukanya, dan kadang desain penelitiannya sendiri yang bermasalah.
Melihat hal seperti ini, inferensi paling alami adalah bahwa mereka tidak menginginkan upaya reproduksi karena tahu ada kemungkinan klaim mereka tidak benar.
Jadi, jika peer reviewer atau jurnal hanya memeriksa hal yang sangat mendasar—misalnya apakah klaim ini setidaknya secara prinsip dapat direproduksi—itu saja sudah awal yang baik. Masih akan ada makalah yang dapat direproduksi dengan baik tetapi kesimpulannya salah, makalah dengan metodologi yang tidak logis, atau makalah yang dapat direproduksi karena terlalu jelas, tetapi ada terlalu banyak buah yang mudah dipetik.
Peer review adalah solusi yang tepat untuk masalah yang keliru: https://open.substack.com/pub/experimentalhistory/p/science-...
Reproduksi adalah tujuan yang bernilai, tetapi harus ada insentif karier. Menurut saya, di sebagian besar program, reproduksi riset seharusnya dimasukkan sebagai bagian kurikulum. Itu bisa menjadi tahap menuju gelar doktor sebagai pengganti satu makalah.
Pembedaan antara strong link dan weak link juga mirip dengan bagaimana sebagian budaya tidak menyukai stimulan, sementara budaya lain tidak menyukai relaksan.