Riset yang Terbuka, Ketat, dan Dapat Direproduksi: Buku Panduan untuk Praktisi (2021)
(stanforddatascience.github.io)- Merancang dan membagikan riset agar terbuka, transparan, dan dapat direproduksi akan memperluas jangkauan hasil serta meningkatkan kemungkinan verifikasi dan analisis ulang
- Artikel berbayar, kode tertutup, data yang tidak dapat diakses, dan perangkat lunak yang sudah ditinggalkan membuat peneliti lain sulit memeriksa proses analisis yang sebenarnya
- Desain eksperimen dan analisis yang buruk membuat temuan yang keliru menumpuk di literatur, serta meningkatkan biaya bagi peneliti baru untuk memilah hasil yang dapat dipercaya
- Keterbukaan dan reproduksibilitas membutuhkan pekerjaan tambahan dan memiliki keterbatasan dalam struktur penghargaan, tetapi membantu menemukan kesalahan lebih awal dan meningkatkan kredibilitas riset
- Buku panduan ini membagi desain riset, analisis dan pelaporan data, serta publikasi materi riset menjadi praktik modular agar dapat diterapkan mulai dari bagian yang diperlukan
Mengapa keterbukaan dan reproduksibilitas diperlukan
- Jika riset tidak dilakukan dan dibagikan dengan cara yang terbuka, transparan, dan dapat direproduksi, manfaat riset akan berkurang
- Jika artikel diterbitkan melalui jalur publikasi yang hanya dapat diakses berbayar, jumlah orang yang dapat melihat hasil riset menjadi terbatas, dan potensi jangkauan keluarannya juga mengecil
- Banyak analisis bersifat kompleks sehingga hampir mustahil menjelaskan semua pilihan dan prosedur hanya melalui artikel utama
- Tanpa kode pendamping, orang lain sulit memastikan secara tepat apa yang telah dilakukan
- Meski kode dipublikasikan, akses data yang tidak tersedia atau perangkat lunak yang sudah ditinggalkan dapat membuat riset terdahulu sulit direproduksi atau dianalisis ulang
- Jika riset terdahulu tidak mudah dianalisis ulang, komunitas menjadi sulit mengeksplorasi jalur analisis lain, menggabungkan dataset, atau menggeneralisasi eksperimen ke lingkungan baru
Biaya dari praktik riset yang keliru
- Jika desain eksperimen dan analisis tidak diberi perhatian yang memadai, kemungkinan temuan yang keliru menumpuk lebih banyak di literatur akan meningkat
- Semakin banyak hasil yang sulit dipercaya, semakin banyak waktu yang harus dihabiskan peneliti baru untuk memahami objek riset dan mencapai kemajuan nyata
Mengapa peneliti enggan terhadap keterbukaan dan reproduksibilitas
- Riset yang terbuka, transparan, dan dapat direproduksi membutuhkan pekerjaan tambahan, dan struktur penghargaan saat ini tidak selalu memberi imbalan atas upaya semacam ini
- Namun perubahan sedang terjadi di berbagai bidang, dan sebagian komunitas sangat menghargai upaya ini
- Biaya dari kesalahan bisa besar, dan keterbukaan membantu menghindari kesalahan
- Sebagian data tidak dapat dibagikan secara legal karena privasi, hak cipta, dan pertimbangan lainnya
- Riset yang menggunakan data semacam ini umumnya mungkin kurang berguna bagi dunia dibanding riset yang menggunakan data yang lebih terbuka
- Meski begitu, mempublikasikan analisis yang dilakukan, protokol pengumpulan data, dan metode seperti praregistrasi secara transparan dapat meningkatkan kepercayaan terhadap riset
- Ada kekhawatiran bahwa mempublikasikan data dan kode akan mengungkap kesalahan atau kualitas coding yang rendah
- Kekhawatiran ini dapat dipahami, tetapi pada umumnya arahnya keliru
- Kesalahan lebih baik ditemukan lebih awal, dan kebanyakan orang memandang publikasi itu sendiri secara positif terlepas dari kualitas kode
- Membagikan kode dengan memikirkan publikasi akhir sejak awal juga membantu perbaikan
- Banyak orang juga tidak tahu harus mulai dari mana
- Panduan open science dan reproduksibilitas yang ada sering berbentuk buku lengkap atau kumpulan materi yang sangat besar, sehingga dapat menimbulkan beban untuk mempelajari seluruh filosofi dan pendekatan riset yang komprehensif
Pendekatan buku panduan ini
- Buku panduan ini membahas cara membuat riset menjadi sedikit demi sedikit lebih terbuka, transparan, dan dapat direproduksi melalui berbagai cara, alih-alih mengubah riset sepenuhnya sekaligus
- Setiap langkah dapat memberikan tingkat manfaat tertentu dengan sendirinya
- Nuansa dan kebutuhan tiap bidang memang ada, tetapi sebagian besar area yang menangani data dan analisis statistik memiliki banyak hal yang dapat dipelajari satu sama lain
- Formatnya bertujuan untuk menjadi:
- Modular: ide-ide individual dapat digunakan secara terpisah atau digabungkan
- Praktis: berfokus pada praktik yang dapat dijalankan dan berdampak besar
- Umum: dapat diterapkan pada bidang apa pun yang menangani data dan analisis statistik
- Ringkas: ditujukan bagi ilmuwan sibuk yang tidak punya waktu untuk mengikuti kuliah lengkap saat ini
Tiga bagian utama
- Bagian pertama membahas desain riset yang cermat untuk memastikan dan menunjukkan bahwa hasil serta kesimpulan valid dan berguna
- Menentukan parameter eksperimen dengan hati-hati, seperti menggunakan analisis power untuk memperkirakan ukuran sampel yang tepat
- Membedakan riset eksploratori dan riset konfirmatori
- Merencanakan analisis statistik terlebih dahulu
- Mengumpulkan semua data yang relevan agar dapat dibandingkan dengan riset sebelumnya
- Mencakup elemen tambahan seperti praregistrasi, antisipasi masalah potensial, dan pertimbangan implikasi etis
- Bagian kedua membahas praktik terbaik dalam analisis data dan pelaporan hasil
- Keputusan dan pertimbangan yang diperlukan sebelum menangani data
- Rencana analisis statistik sebelumnya
- Pembuatan data yang tepat
- Persiapan data yang transparan
- Visualisasi data yang kaya informasi
- Ringkasan data menggunakan statistik yang tepat
- Analisis data yang menghindari kesalahan umum
- Pertimbangan tambahan untuk riset medis
- Pelaporan analisis statistik yang transparan dan komprehensif
- Contoh dari literatur terbitan yang menunjukkan prinsip-prinsip manual ini
- Bagian ketiga membahas cara membuka semua materi riset terkait kepada semua orang
- Open Data: mempublikasikan data mentah untuk riset lanjutan dan replikasi
- Open Source Code: membuat pipeline analisis transparan, sehingga orang lain dapat meminjam atau memverifikasinya
- Reproducible Environments: menyediakan bukan hanya data dan kode, tetapi juga lingkungan yang memungkinkan analisis dijalankan ulang dengan mudah
- Open Publication Models: membuat keluaran akademik yang terkait dengan riset dapat dilihat siapa saja
- Documenting Processes and Decisions: menjelaskan bukan hanya apa yang dilakukan dan bagaimana caranya, tetapi juga mengapa dilakukan demikian, melalui mekanisme seperti catatan eksperimen terbuka
Cakupan lampiran
- Lampiran membahas sumber daya pendukung seperti pertanyaan yang sering diajukan, pertimbangan per bidang, dan tautan ke materi tambahan
1 komentar
Komentar Hacker News
Mencatat versi paket yang digunakan memang bagus, tetapi cara yang lebih baik adalah menyediakan deskripsi lingkungan dengan rantai dependensi yang sepenuhnya dikunci, seperti Guix channel atau Nix flake, bersama kode
Docker juga bisa memaksa versi tetap, tetapi satu kali
apt updatesaja bisa membuatnya benar-benar rusakNix dan Guix bukan hanya menyediakan lingkungan untuk menjalankan kode dengan alat dan versi yang sama, tetapi juga memungkinkan pembuatan image container yang dapat dibagikan
Sangat bagus ketika universitas yang biasanya berbiaya mahal seperti Stanford menyediakan materi belajar secara gratis
Ada yang sudah mencobanya? Bagus tidak?
Tim kami saat ini sedang beralih dari sisi perangkat lunak ke data science, dan materi ini tampaknya bisa menjembatani kesenjangan itu
Halaman tersebut menyematkan https://stanforddatascience.github.io/best-practices/index.h...
Buku panduan ini dapat diringkas sebagai panduan yang menyajikan praktik terbaik untuk membuat sains lebih terbuka, transparan, dan dapat direproduksi