Pembaruan praktik pengajuan paper review dan position paper di kategori Ilmu Komputer (CS) arXiv

• Kategori Ilmu Komputer (CS) di arXiv memperkenalkan praktik peninjauan baru untuk paper review (survei) dan position paper
• Kini paper seperti ini hanya dapat diajukan ke arXiv setelah diterima melalui peer review di jurnal atau konferensi
• Saat mengajukan, wajib menyertakan dokumen yang membuktikan peer review yang berhasil (misalnya referensi jurnal, metadata DOI)
• Pengajuan tanpa dokumen verifikasi kemungkinan besar akan ditolak, sebagai respons terhadap lonjakan berlebihan paper akibat AI generatif belakangan ini
• Melalui perubahan ini, arXiv ingin hanya membagikan paper ulasan berkualitas tinggi dan fokus pada distribusi paper riset inti

---

Persyaratan pengajuan yang berubah

• Paper review dan position paper hanya dapat diajukan ke arXiv setelah diterima di jurnal atau konferensi dan peer review selesai
  • Saat pengajuan, harus menyertakan dokumen bukti keberhasilan peer review
  • Jika tidak ada bukti, kemungkinan besar akan ditolak
• Peninjauan tingkat workshop tidak dianggap sebagai peer review tradisional dan tidak memenuhi persyaratan pengajuan

Latar belakang kebijakan

• Dalam kebijakan resmi arXiv, paper review dan position paper secara resmi bukan jenis konten yang diizinkan
  • Di masa lalu, hanya sejumlah kecil paper berkualitas tinggi yang diterima atas kebijakan moderator
• Belakangan ini, karena meluasnya AI generatif dan large language model (LLM), jumlah paper review berkualitas rendah meningkat tajam
  • Sebagian besar hanya berupa daftar referensi sederhana dan kurang memiliki pembahasan riset baru
• Dalam situasi ini, beban peninjauan moderator menjadi berlebihan dan mengganggu tujuan inti arXiv (berbagi paper riset)

Tujuan perubahan

• Mendukung agar hanya paper review dan position paper bernilai yang ditulis oleh pakar mudah ditemukan di arXiv
• Mengurangi beban kerja moderator dan membantu mereka fokus pada peninjauan jenis konten resmi
• Mempertahankan tujuan utama arXiv, yaitu mendorong penemuan ilmiah yang cepat dan bebas

Perbedaan dulu dan sekarang

• Dulu, paper review umumnya dibuat atas permintaan sejumlah kecil peneliti ternama atau lembaga resmi (misalnya Annual Reviews, IEEE, Computing Surveys), sehingga kualitasnya tinggi
• Position paper juga kebanyakan dibuat oleh asosiasi akademik atau kelompok riset pemerintah (misalnya Computing Research Association, National Academies)
• Sekarang, ratusan paper review diajukan setiap bulan dan telah mencapai tingkat yang sulit dikendalikan dari sisi kualitas

Pemanfaatan lembaga peninjau eksternal

• arXiv tidak memiliki cukup tenaga dan sumber daya untuk melakukan verifikasi kualitas sendiri
• Sebagai gantinya, arXiv mengakui verifikasi dari lembaga peninjau eksternal yang tepercaya (konferensi dan jurnal)
  • Lembaga-lembaga ini melakukan peninjauan mendalam atas topik terkait AI seperti privasi, etika, keselamatan, dan keamanan
• Dengan begitu, arXiv dapat hanya membagikan paper yang kualitasnya terjamin

Pengajuan ulang dan pengecualian

• Paper yang ditolak karena peer review belum selesai dapat diajukan ulang melalui prosedur banding (appeal) bila evaluasinya kemudian selesai
  • Namun, pengajuan ulang tidak diperbolehkan tanpa banding yang disetujui
• Paper riset yang membahas dampak sosial sains dan teknologi (cs.CY, physics.soc-ph, dll.) tidak termasuk dalam cakupan perubahan ini

Kemungkinan perluasan ke kategori lain

• Setiap kategori di arXiv dijalankan secara independen oleh moderator ahli
• Semua kategori mengikuti kebijakan yang sama, tetapi paper review pada dasarnya adalah jenis konten tidak resmi
• Jika lonjakan paper berbasis LLM juga terjadi di bidang lain, langkah pengetatan peninjauan serupa dapat diperkenalkan
• Jika ada perubahan seperti itu, pengumuman resmi akan diberikan

[GN⁺]

Opini Hacker News

• Ditunjukkan bahwa masalahnya adalah struktur yang memberi imbalan berdasarkan kuantitas yang dihasilkan orang
  Jika peneliti diberi insentif berdasarkan jumlah paper, mereka akan mengeksploitasi sistem dengan menerbitkan sebanyak mungkin paper dengan kualitas minimum
  Imbalan berbasis jumlah tayangan atau penayangan iklan juga memicu perilaku yang sama-sama terdistorsi
  Pada akhirnya, dunia online adalah sistem yang dirancang bukan untuk manusia, melainkan untuk optimasi algoritme

  • Katanya struktur serupa juga muncul dalam industri bantuan tunawisma
    Di San Francisco, jumlah dana yang diterima NGO ditentukan oleh ‘jumlah tunawisma yang dibantu’, sehingga pada akhirnya tercipta insentif untuk mempertahankan jumlah tunawisma alih-alih menguranginya
  • Ada pandangan bahwa kita tidak seharusnya menyalahkan LLM
    Masalahnya adalah manusia dan sistem insentif, bukan alatnya sendiri
  • Daya tarik LLM sendiri memang ada pada ‘output yang cepat’
    Budaya mengukur kinerja dengan metrik tak bermakna seperti jumlah baris kode atau jumlah commit pada dasarnya sudah keliru
    Rasanya kita sedang hidup di ‘neraka Goodhart’ — dunia tempat manipulasi metrik menjadi tujuan itu sendiri
    Meski disampaikan seperti lelucon, ini menyindir realitas perusahaan di mana manajemen yang berpusat pada metrik pada akhirnya memicu gangguan besar
  • Lalu seperti apa sistem imbalan yang berpusat pada kualitas itu seharusnya, menjadi pertanyaan
    Ditanyakan juga seperti apa bentuk dunia online yang berpusat pada manusia, dan bagaimana pembuat konten seharusnya diberi imbalan
  • Sebagian orang menilai masalah ini sering disalahpahami
    Mereka menekankan bahwa yang benar-benar penting bukan jumlah paper, melainkan kemampuan memperoleh dana riset dan kualitas proposal

• Ada kesalahpahaman bahwa arXiv tidak lagi menerima preprint (paper yang dipublikasikan lebih awal)
  Faktanya, yang berubah hanyalah paper ‘review’ dan ‘position paper’ yang kini hanya boleh diajukan setelah lolos penelaahan di jurnal atau konferensi

  • Dijelaskan bahwa langkah ini diperlukan karena LLM bisa dengan mudah menghasilkan paper opini tanpa kontribusi teknis
  • Ini bukan perubahan kebijakan, karena sejak awal tipe seperti ini memang tidak termasuk dalam cakupan yang diizinkan arXiv
  • Versi jurnal tidak bisa diunggah, tetapi isi yang sama kecuali formatnya tetap bisa diunggah
  • Ada yang menilai arXiv mulai berubah seperti blog untuk CV, sehingga perubahan ini justru bisa positif
  • Paper riset tetap masih bisa diajukan

• Muncul usulan untuk menerapkan sistem reputasi di arXiv
  Idenya adalah penulis mengunggah kunci PGP publik untuk membentuk jaringan kepercayaan

  • Berdasarkan web-of-trust, diusulkan struktur di mana siapa pun bisa merekomendasikan paper dan jaringan kepercayaan dihitung untuk menilai kualitas
    Ini bisa menjadi bentuk yang lebih tidak tertutup dibanding jurnal akademik tradisional, namun lebih tertata daripada keterbukaan penuh
  • Ada juga usulan model di mana arXiv tetap mempertahankan preprint gratis, tetapi menyediakan layanan review oleh pakar secara berbayar
  • Disebutkan secara satiris bahwa ada profesor yang mengusulkan “peneliti di luar Ivy League harus dikecualikan” — sebagai sindiran terhadap ketidakadilan reputasi

• Masalah pengendalian kualitas arXiv turut disorot
  Pada Oktober saja ada 26.000 submission (tautan statistik), dan paper yang tidak terverifikasi membanjir
  Diusulkan bahwa biaya submission kecil bisa mengurangi spam

  • Namun ada juga pendapat bahwa pengguna LLM harus ditindak langsung, bukan seluruh pengguna yang menanggungnya
  • Ada pula analisis bahwa ini bukan soal uang, melainkan karena paper bisa memberi keuntungan nyata seperti pekerjaan, penerimaan sekolah, dan visa
  • Jika ada biaya submission, setidaknya biaya itu harus menutup biaya peninjauan sederhana, dan diusulkan juga kategori seperti ‘tidak ditinjau · tinjauan sederhana · tinjauan penuh · verifikasi reproduksibilitas’ berdasarkan tingkat peninjauan
  • Ada pula pendapat bahwa seperti Metafilter, biaya pendaftaran 1 dolar saja mungkin cukup efektif untuk menekan spam

• Ada kritik bahwa judul postingan HN itu keliru
  Sebenarnya, ungkapan yang lebih tepat adalah “Karena lonjakan paper review yang ditulis AI, bidang CS di arXiv kini mewajibkan peer review untuk paper review”

  • Frasa “Due to LLMs” pada judul awal bisa disalahartikan sebagai ‘paper yang ditulis oleh LLM’
  • Karena tujuan asli arXiv adalah publikasi sebelum review, langkah kali ini tidak merusak nilai tersebut
  • Sebagian orang justru menyayangkan bahwa mereka tidak bisa lagi menikmati humor aneh yang dihasilkan paper LLM

• Ada yang penasaran dengan motivasi orang-orang yang mengunggah paper yang sepenuhnya dibuat AI ke arXiv
  Proses submission merepotkan, jadi dipertanyakan mengapa mereka tetap melakukannya

  • Dijelaskan bahwa praktik lama di akademia untuk menambah jumlah paper demi memanipulasi h-index kini dipercepat oleh LLM
  • Dalam hal seperti visa EB-1, status sebagai ‘penulis paper akademik’ merupakan salah satu kriteria penilaian, sehingga mengunggah paper secara formal memiliki nilai besar
  • Ada juga dugaan bahwa tujuannya sekadar untuk pamer pencapaian kepada keluarga atau pemberi kerja

• Ditunjukkan bahwa sebagian besar paper berkualitas rendah bertema AI
  Banyak orang saat pertama mengenal LLM lalu melakukan eksperimen yang bersifat swa-rujuk seperti “biarkan LLM menulis tentang LLM”
  Akibatnya, yang dihasilkan adalah ringkasan campur aduk dari data asli

  • Paper yang dihasilkan AI juga ditemukan di bidang lain selain CS, dan sebagian bahkan mengutip paper yang tidak ada
  • Diharapkan arXiv tidak mempersempit diri menjadi ‘hanya riset baru yang diizinkan’. Sudah ada juga paper riset buatan AI, dan justru jenis ini lebih sulit dideteksi
  • Nilai arXiv ada pada umpan balik awal dan keterbukaan, sehingga jika menjadi ‘hanya paper peer-reviewed yang diizinkan’, itu pada dasarnya berarti ‘jangan masuk’

• Langkah terbaru arXiv ini dinilai positif
  Di bidang yang berubah cepat seperti multi-agent systems atau agentic LLMs, diperlukan standar yang jelas
  Jika diwajibkan metadata yang bisa dibaca mesin seperti jenis paper, tautan data/kode, dan cakupan benchmark, keandalan bisa ditingkatkan
  Jika tag ‘Survey’ atau ‘Position’ serta checklist reproduksibilitas distandardisasi, kualitas bisa dijaga tanpa menghambat ide-ide awal

• arXiv sebenarnya sudah lama menghadapi masalah paper berkualitas rendah untuk promosi diri
  Fenomena ini sudah ada jauh sebelum LLM

  • Namun, karena arXiv pada dasarnya adalah platform untuk berbagi hasil dengan cepat, penurunan kualitas dianggap bukan semata ‘penderitaan’, melainkan struktur di mana pengguna memang harus menyaring sendiri apa yang mereka baca