- Kategori Ilmu Komputer (CS) di arXiv memperkenalkan praktik peninjauan baru untuk paper review (survei) dan position paper
- Kini paper seperti ini hanya dapat diajukan ke arXiv setelah diterima melalui peer review di jurnal atau konferensi
- Saat mengajukan, wajib menyertakan dokumen yang membuktikan peer review yang berhasil (misalnya referensi jurnal, metadata DOI)
- Pengajuan tanpa dokumen verifikasi kemungkinan besar akan ditolak, sebagai respons terhadap lonjakan berlebihan paper akibat AI generatif belakangan ini
- Melalui perubahan ini, arXiv ingin hanya membagikan paper ulasan berkualitas tinggi dan fokus pada distribusi paper riset inti
Persyaratan pengajuan yang berubah
- Paper review dan position paper hanya dapat diajukan ke arXiv setelah diterima di jurnal atau konferensi dan peer review selesai
- Saat pengajuan, harus menyertakan dokumen bukti keberhasilan peer review
- Jika tidak ada bukti, kemungkinan besar akan ditolak
- Peninjauan tingkat workshop tidak dianggap sebagai peer review tradisional dan tidak memenuhi persyaratan pengajuan
Latar belakang kebijakan
- Dalam kebijakan resmi arXiv, paper review dan position paper secara resmi bukan jenis konten yang diizinkan
- Di masa lalu, hanya sejumlah kecil paper berkualitas tinggi yang diterima atas kebijakan moderator
- Belakangan ini, karena meluasnya AI generatif dan large language model (LLM), jumlah paper review berkualitas rendah meningkat tajam
- Sebagian besar hanya berupa daftar referensi sederhana dan kurang memiliki pembahasan riset baru
- Dalam situasi ini, beban peninjauan moderator menjadi berlebihan dan mengganggu tujuan inti arXiv (berbagi paper riset)
Tujuan perubahan
- Mendukung agar hanya paper review dan position paper bernilai yang ditulis oleh pakar mudah ditemukan di arXiv
- Mengurangi beban kerja moderator dan membantu mereka fokus pada peninjauan jenis konten resmi
- Mempertahankan tujuan utama arXiv, yaitu mendorong penemuan ilmiah yang cepat dan bebas
Perbedaan dulu dan sekarang
- Dulu, paper review umumnya dibuat atas permintaan sejumlah kecil peneliti ternama atau lembaga resmi (misalnya Annual Reviews, IEEE, Computing Surveys), sehingga kualitasnya tinggi
- Position paper juga kebanyakan dibuat oleh asosiasi akademik atau kelompok riset pemerintah (misalnya Computing Research Association, National Academies)
- Sekarang, ratusan paper review diajukan setiap bulan dan telah mencapai tingkat yang sulit dikendalikan dari sisi kualitas
Pemanfaatan lembaga peninjau eksternal
- arXiv tidak memiliki cukup tenaga dan sumber daya untuk melakukan verifikasi kualitas sendiri
- Sebagai gantinya, arXiv mengakui verifikasi dari lembaga peninjau eksternal yang tepercaya (konferensi dan jurnal)
- Lembaga-lembaga ini melakukan peninjauan mendalam atas topik terkait AI seperti privasi, etika, keselamatan, dan keamanan
- Dengan begitu, arXiv dapat hanya membagikan paper yang kualitasnya terjamin
Pengajuan ulang dan pengecualian
- Paper yang ditolak karena peer review belum selesai dapat diajukan ulang melalui prosedur banding (
appeal) bila evaluasinya kemudian selesai
- Namun, pengajuan ulang tidak diperbolehkan tanpa banding yang disetujui
- Paper riset yang membahas dampak sosial sains dan teknologi (
cs.CY, physics.soc-ph, dll.) tidak termasuk dalam cakupan perubahan ini
Kemungkinan perluasan ke kategori lain
- Setiap kategori di arXiv dijalankan secara independen oleh moderator ahli
- Semua kategori mengikuti kebijakan yang sama, tetapi paper review pada dasarnya adalah jenis konten tidak resmi
- Jika lonjakan paper berbasis LLM juga terjadi di bidang lain, langkah pengetatan peninjauan serupa dapat diperkenalkan
- Jika ada perubahan seperti itu, pengumuman resmi akan diberikan
Belum ada komentar.