Penipuan Ilmiah Menjadi 'Industri'

• Melalui studi analisis yang luas, terungkap fenomena 'industrialisasi' penipuan ilmiah yang dilakukan secara terstruktur
• Perusahaan penyusun makalah, penerbit, jurnal, dan broker membentuk jaringan penipuan yang saling terhubung secara kompleks
• Ditemukan kasus di mana sejumlah editor dan penulis saling membantu mengurusi makalah masing-masing dan bersekongkol melakukan kecurangan
• Makalah palsu dalam beberapa waktu terakhir menunjukkan tren peningkatan yang eksplosif dan melampaui laju pengungkapan serta pencabutan makalah
• Cacat sistem dan struktur insentif dalam sistem publikasi dan evaluasi rekrutmen dipandang sebagai pemicu pertumbuhan industri penipuan

---

Kondisi dan Analisis Industri Penipuan Ilmiah

Pengantar: Struktur Penipuan Ilmiah yang Meningkat

• Hingga saat ini, para ahli yang meneliti penipuan ilmiah telah memperingatkan tentang skala industri dan tingkat kecanggihan dari produksi massal makalah palsu
• Berbagai aktor seperti perusahaan pembuatan makalah, jurnal, broker, dan penerbit terlibat dalam penipuan demi tujuan ekonomi
• Penelitian ini menganalisis mekanisme penipuan yang kompleks berdasarkan data ribuan makalah, penulis, dan editor

Gambaran Umum Hasil Riset

• Artikel ini dipublikasikan di Proceedings of the National Academy of Sciences, dan ditemukan bukti bahwa jaringan editor-penulis secara sistematis memuat makalah berkualitas rendah
• Ditemukan praktik di mana sebuah organisasi besar mengirimkan sekaligus banyak makalah palsu lalu jurnal memuatnya, dan struktur di mana broker menghubungkan perusahaan pembuatan makalah dengan jurnal yang menerima makalah bermutu rendah
• Jumlah makalah palsu memang minoritas dibanding total makalah, tetapi laju pertumbuhannya jauh lebih tinggi daripada laju pertumbuhan total makalah ilmiah

Analisis Editor Korup dan Makalah

• Untuk menelusuri editor korup (editor curang), peneliti memilih PLOS ONE sebagai objek analisis karena metadata yang sangat banyak dan nama asli editor yang dipublikasikan, sehingga anomali mudah terdeteksi
• Di PLOS ONE, diidentifikasi semua editor yang menangani makalah yang ditarik dan makalah yang dikritik di PubPeer
• 33 editor secara mencolok berulang kali menangani makalah yang ditarik dan dipermasalahkan
  • Contoh: dari 79 makalah yang ditangani satu editor, 49 makalah ditarik
• Pada 2024, para editor ini hanya menangani 1,3% total makalah, tetapi menyumbang hampir sepertiga dari total makalah yang ditarik

Jaringan Kolusi Antara Editor dan Penulis

• Banyak kasus editor yang berulang kali mengelola makalah seorang penulis yang sama, dan banyak di antaranya juga merupakan penulis yang juga menjabat sebagai editor
• Di antara mereka muncul kemungkinan kolusi beragam, termasuk suap atau bantuan tidak resmi antarrekan sejawat
• Perilaku serupa juga direplikasi pada sekitar 10 jurnal penerbitan Open Access, termasuk yang diterbitkan oleh Hindawi
• Walaupun fokus utama penelitian ini adalah akses terbuka PLOS, perwakilan penerbit menegaskan bahwa persoalan perusahaan penyusun makalah adalah masalah industri secara keseluruhan

Kasus Kolusi Baru dan Pembesaran Masalah

• Baru-baru ini, penerbit Frontiers juga menemukan bahwa jaringan 35 editor-penulis menyembunyikan konflik kepentingan dan saling mereviu satu sama lain, lalu menarik 122 makalah
• Jaringan ini mempublikasikan lebih dari 4.000 makalah di lebih dari 7 penerbit, sehingga kebutuhan investigasi lanjutan semakin kuat

Perantara dan Perusahaan Penyusun Makalah

• Selain jaringan perusahaan penyusun makalah dan kolusi, terverifikasi praktik penyebaran terorganisir yang mengirimkan banyak makalah secara bersamaan ke beberapa jurnal
• Berdasarkan lebih dari 2.000 makalah dengan dugaan duplikasi gambar, ditelusuri klaster di mana gambar yang sama ditemukan pada banyak makalah
• Kelompok makalah tersebut menunjukkan pola yang jelas, yaitu publikasi yang terkonsentrasi pada periode tertentu dan beberapa jurnal terbatas
• Dalam proses ini, tidak hanya perusahaan penyusun makalah, broker (perantara) pun turut terlibat dalam sistem kolusi

Kasus Organisasi Seperti ARDA

• Kasus ARDA (Academic Research and Development Association), yang berbasis di Chennai, India, dianalisis
  • Menyediakan layanan untuk tugas makalah, tugas tesis, dan pencapaian hasil jurnal
  • Di situs web ARDA, mereka memfasilitasi publikasi atas nama peneliti dan meminta biaya US$250–500
• ARDA merupakan broker dengan tampilan legal, bukan produsen makalah sendiri
• Organisasi seperti ARDA menargetkan mahasiswa pascasarjana dan peneliti awal karier

Lonjakan dan Laju Makalah Palsu

• Analisis dilakukan berdasarkan statistik tahunan produk makalah yang dicurigai dari 55 basis data
• Pada periode 2016–2020, jumlah makalah yang mencurigakan melipatgandakan setiap 1,5 tahun (sepuluh kali laju pertumbuhan total makalah)
• Jumlah makalah yang ditarik dan temuan masalah di PubPeer juga meningkat dua kali lipat masing-masing setiap 3,3 tahun dan 3,6 tahun
• Namun karena laju pengungkapan tidak mampu mengejar laju kenaikan makalah palsu, proporsi penipuan di komunitas ilmiah meningkat

Penyebab dan Faktor Struktural

• Pertumbuhan ilmu global, makin banyaknya jurnal berdampak rendah dan anonimitas, serta sistem evaluasi yang berfokus pada jumlah keluaran makalah saling memperkuat lingkaran setan ini
• Peneliti muda makin banyak bergantung pada perusahaan penyusun makalah demi bertahan dalam kompetisi dengan rekan-rekan ilmiah
• Di beberapa bidang medis, makalah palsu semacam itu masuk ke tinjauan sistematis dan meta-analisis, dengan risiko terdistorsinya persepsi terhadap efektivitas terapi dan obat baru

Kesimpulan: Skala Industri Penipuan dan Urgensi Penanggulangannya

• Meskipun sudah lama diduga, penelitian ini signifikan karena membuktikan secara dramatis temuan tersebut
• Peneliti dan para ahli menekankan bahwa komunitas akademik perlu menyadari kondisi ini dan menyusun respons yang tegas
• Jika pemangku kepentingan di bidang perekrutan, evaluasi, dan publikasi tidak menerapkan sanksi jelas bagi pelaku dan mereformasi struktur insentif, masalah penipuan berbentuk 'industri' ini berisiko menyebar dengan cepat

[GN⁺]

Komentar Hacker News

• Saya menemukan bahwa ada beberapa jenis kecurangan ilmiah. Menurut saya, mencampuradukkan semua masalah ini malah hanya menimbulkan kebingungan.

  • 1. Jika data dimanipulasi dalam paper yang terbit di jurnal bereputasi, itu merupakan masalah yang sangat serius.
  • 2. Paper dengan metodologi yang salah di jurnal normal sehingga kesimpulannya salah—ini yang disebut “krisis reproduktibilitas”.
  • 3. Paper palsu yang diproduksi massal tanpa verifikasi, disebut paper mill—paper jenis ini mudah dikenali dan biasanya tidak menipu orang satu per satu.
    • 3a. Tapi jika paper seperti ini dipakai dalam meta-analisis, ini sangat berbahaya karena orang cenderung percaya pada meta-analisis tersebut.
  • Masalah 1 secara moral adalah yang paling buruk dan terjadi jauh lebih sering daripada yang dibayangkan. Kehadiran paper dengan data dimanipulasi di jurnal seperti Nature atau NEJM adalah bencana.
  • Masalah 2 adalah hal yang bisa diperbaiki. Di berbagai bidang, perubahan memang sedang terjadi.
  • Masalah 3 tidak terlalu memengaruhi pengetahuan ilmiah itu sendiri. Dari sisi universitas atau lembaga pendanaan, tentu mengecewakan ilmuwan mereka membeli paper palsu, tetapi jenis paper ini sebenarnya bisa diabaikan.
  • Namun, masalah 3a dapat sangat berisiko karena bisa memengaruhi kebijakan nyata.

• Dari pengalaman saya, data yang benar-benar dimanipulasi sangat jarang. Tapi memilih data agar cocok dengan hasil yang diinginkan, atau menggunakan statistik secara salah, terjadi sangat umum bahkan di jurnal terkenal seperti Nature Portfolio. Saya kira setidaknya 20% paper biologi dan medis memiliki kesalahan metodologi yang serius.

  • Alasan utamanya adalah insentif yang menyimpang dan ketimpangan kekuasaan. Mahasiswa doktoral atau postdoc yang tak mengikuti dosen pembimbingnya bisa diusir dari proyek, dan kariernya bisa tamat.
  • Sebaliknya, para dosen yang menumbuhkan budaya ini pada praktiknya tak dihukum apa pun. Hampir tidak ada supervisi atau verifikasi kejujuran, dan universitas juga kerap mengabaikan manipulasi data atau penipuan yang jelas. Akhirnya, orang yang tahu cara melanggar aturan justru mendapat imbalan lebih, sehingga perilaku buruk berlanjut.

• Malice (niat jahat), incompetence (ketidakmampuan), dan accident (kecelakaan)—ketiganya tidak bisa dibedakan dari sudut pandang reproduktibilitas. Kita tidak tahu niat peneliti.

  • Kalau ekosistem ini (ilmuwan, universitas, lembaga pendanaan, dan seterusnya) tak melakukan self-cleaning dan tak menghukum peneliti buruk, kita akan masuk masa ketika semua hasil riset harus selalu disangkakan sampai benar-benar direplikasi.
  • Bentuk sanksi bisa beragam: dari aturan “tanpa data+metodologi yang diserahkan, paper tidak boleh dipublikasikan”, pemotongan pendanaan, sampai catatan publik atas kebohongan atau ketidakmampuan.

• Saya ingin menceritakan satu kasus paper yang saya alami. Paper yang sangat baik saya temukan dan seolah-olah masalah hampir selesai. Itu terbit di konferensi Tier A dan menyatakan akan segera merilis data serta kode.

  • Namun, tidak peduli dicari sampai mana, saya tak bisa mendapatkan data atau kode. Saya juga sudah menghubungi penulis dan departemennya, tetapi jawabannya cuma bahwa untuk sementara tidak ada rencana rilis.
  • Akhirnya, paper ini mungkin benar-benar direkayasa atau sekadar cerita tanpa dasar.
  • Bagi saya, karena butuh banyak waktu mengumpulkan data eksperimen dan kode satu per satu, ini membuat saya kehilangan kepercayaan pada pekerjaan saya sendiri.

• Saya ingin menyebut kasus seperti paper Reinhart-Rogoff. Karena satu typo Excel, banyak politisi memakai itu untuk melegitimasi kebijakan austerity, dan saya penasaran apakah ini termasuk masalah 2 atau 3a.

• Masalah 3 juga punya efek samping lain. Kaum konspiratif memakai paper semacam itu untuk memberi legitimasi ilmiah pada klaim-klaim aneh mereka.

  • Di YouTube atau artikel sains populer, paper-paper itu dikutip untuk menipu publik. Seorang kenalan saya akhir-akhir ini mulai “tertarik pada sains” dan terus mengirimkan video YouTube yang ngawur.
    • Misalnya klaim bahwa Betelgeuse menjadi supernova sehingga Bumi punah, atau ada lorong dalam di bawah Piramida Giza yang hanya bisa dijual/diakui oleh alien, dan sebagainya.
  • Pada akhirnya, fenomena ini terus menurunkan kepercayaan publik pada sains.

• Saya ingat kasus seorang profesor dari China menyalin semua hal dari tesis doktor saya—rumus, grafik, semuanya—untuk menulis paper. Seorang mahasiswa China dari lab lain membandingkan dua paper dan menyadari keduanya sangat mirip, lalu memberitahuku; saya juga menghubungi universitasnya, tapi tak mendapat jawaban apa pun. Pengalaman yang menyedihkan.

• Saya juga punya pengalaman serupa. Saat meneliti di Inggris, seorang postdoc China mengirim metode dan hasil kami ke seseorang di China. Paper-paper itu diterbitkan serentak di jurnal-jurnal yang tidak kami kenal, dan kami pun sadar hampir tak ada yang bisa kami lakukan. Membuatnya merasa malu pun tidak ada efeknya. Untungnya tidak berdampak besar pada kami.

• Secara bercanda, saya ingin menyarankan mampir ke kantor profesor penipu itu secara tak terduga, seolah-olah sebagai turis.

  • Dalam situasi serupa, saya pernah langsung bertemu orang yang menyalin tesis master saya. Kalau melapor ke otoritas kampus, ada laporan resmi yang mencatat mengapa saya datang, jadi lawannya makin kerepotan.
  • Sebagai catatan, ini bukan kejadian di China. Secara ironis, para peneliti China yang pernah saya temui justru sangat etis dan rajin. Sangat disayangkan karena beberapa orang minoritas merusak reputasi yang lain.

• Di pekerjaan AI berteknologi tinggi sekarang, pengalaman menjadi penulis utama di konferensi teratas makin jadi syarat wajib.

  • Gaji awal sering di atas $150,000, sehingga insentif uang untuk kecurangan publikasi cukup besar.
  • Saya memperkirakan bahwa menerbitkan satu paper akan makin kurang penting seiring waktu. Pada akhirnya sektor bisnis juga akan menemukan indikator sukses lain.

  • Publikasi paper bukan cuma untuk kerja. Ia juga menguntungkan untuk visa “ekspatriat/ahli”, dengan waktu tunggu lebih pendek, kuota lebih banyak, serta benefit yang bagus.

    • Dalam lingkaran saya, meminta perusahaan profesional membuat paper untuk portofolio saja atau riset orisinal berbayar sudah biasa.
    • Akibatnya, muncul persepsi keliru tentang pembedaan imigran “baik” dan “buruk”.

  • Paper konferensi terbaik bukanlah hasil “paper factory” semacam itu.

    • Paper palsu biasanya muncul, misalnya 49 dari 79 paper di jurnal seperti PLOS ONE yang dikelola editor dan ditarik.
    • Ini tak terjadi di konferensi top-tier.

  • Baru-baru ini saya juga melihat perusahaan menilai rekam jejak publikasi dengan mencoba mereproduksi hasilnya langsung di lapangan. Banyak yang mulai sadar akan masalah ini.

• Saya ragu dengan slogan “trust the science”.

  • Sekarang saya rasa sains berubah menjadi pertarungan kerja white-collar yang stabil, bukan lagi alat utama kemajuan manusia.

  • Ini tidak benar-benar meruntuhkan “trust the science”; intinya jangan mempercayai paper perorangan secara buta.

    • Siapa pun yang mengikuti riset nyata pasti tahu ini.
    • Sering kali muncul paper yang tampak sangat inovatif, tapi saat ditiru tidak direplikasi dan akhirnya tak bisa dikomersialkan.
    • Beberapa komunitas seperti health podcaster justru bersemangat soal paper ini, padahal perlu verifikasi dulu sebelum memberi kepercayaan.

  • “trust the science” masih memungkinkan karena sains secara umum tetap bekerja dengan baik.

    • Bahkan justru budaya di balik slogan trust the science yang dipakai untuk membenarkan posisi sendiri dan hanya mengutip abstraklah yang memperburuk krisis kepercayaan.
    • Sains sejati berbasis pada eksperimen dan fakta yang dapat diverifikasi.
    • Kalau sains sendiri tak bisa dipercaya, itu sinyal bahwa kita sedang melakukan sesuatu yang salah, dan sainsnya sendiri tetap ada.

  • Menurut artikel, paper bermasalah dikritik dan ditarik.

    • Kehadiran beberapa penipu sekalipun menunjukkan sistem ilmiah secara keseluruhan tetap kokoh dan bekerja sesuai niatnya.

  • Sejak era COVID saya bahkan jarang melihat slogan “trust the science”.

    • Sains asal-asalan sudah ada sejak lama; sekarang malah makin kuatlah pengenalan publik terhadap perilaku curang dan penarikan paper.

  • Memang ada banyak korupsi dan penipuan di sains. Tapi penipuan biasanya tidak jadi wacana utama publik.

    • Penipuan umumnya bersembunyi di 99% sains yang tidak terlihat, jadi mudah tidak ketahuan.

• Dulu saya berpikir akademik adalah ruang meritokrasi murni. Tapi setelah masuk, saya sadar persaingan di sana lebih keras dari dunia bisnis, dan tak ada organisasi yang bebas dari kelemahan manusia. Semua adalah produk sifat manusia.

  • Sebagai mantan peneliti energi surya, saya mengalami persis hal yang sama.

    • Menulis tesis master di lab terbaik, bereksperimen berdasarkan paper yang dipresentasikan peneliti senior.
    • Saya bekerja seperti orang gila selama berbulan-bulan tapi tidak bisa mereplikasi hasilnya.
    • Saat kebetulan memperlihatkan data eksperimen ke senior doktor, dia memberi tahu bahwa tegangan dalam paper itu secara fisik mustahil, dan dengan menaikkan tegangan kita bisa memalsukan angka daya secara besar-besaran.
    • Di akademik, kalau sitasi tinggi dianggap sukses, dosen dapat pendanaan berdasarkan sitasi.
    • Maka terjadi umpan balik: lebih banyak peneliti, lebih banyak fasilitas, lebih banyak paper, lebih banyak sitasi.
    • Dalam sistem ini insentif untuk berbuat curang terlalu besar, dan semuanya dibiarkan walau diketahui bersama.
    • Sains adalah kumpulan niche kecil; di dalamnya semua orang saling kenal, jadi budaya negatif mudah menyebar.
    • Saya buang 7 bulan mengejar angka yang tak mungkin dan menyadari semuanya ditentukan uang dan politik, lalu saya menyerah dari jalan riset.
    • Solusinya, pemerintah dan kementerian pendidikan bersama harus bekerja agar tiap publikasi diverifikasi ketat oleh beberapa laboratorium. Mahal, tapi tidak ada pilihan lain.

  • Setelah bekerja di dunia bisnis, persepsi saya tentang akademik berubah.

    • Dalam permainan zero-sum dengan anggaran dan posisi tetap, termasuk pembagian posisi yang “tak terpotong”,
      • Jika Anda ada di lingkungan itu, sepertinya harus hidup dengan merasa terancam.
    • Bisnis juga banyak penipu meski banyak peluang win-win, jadi akademik bisa lebih buruk.

  • Saya menganggap akademik sebagai ruang altruistik dan tercerahkan, dan memang banyak orang demikian.

    • Sebaliknya, ada juga departemen yang benar-benar dibalut penipuan.
    • Tapi mayoritas ilmuwan tetap ikhlas terhadap ilmu, merawat mahasiswa, dan berusaha bekerja sungguh-sungguh di tengah politik yang menyedihkan.
    • Tetap saja, secara umum ini jauh lebih baik daripada sektor teknologi.

  • Ada ungkapan terkenal Sayre's Law: “Politik akademik adalah yang paling kejam dan paling menyakitkan karena taruhannya terlalu kecil.”

  • Ada hal yang perlu dipisahkan.

    • Saat ini pengakuan, pengajaran, dan penelitian disatukan.
    • Untuk mendapat pengakuan institusional dari institusi top, Anda harus mendaftar dan mengambil kelas di sana.
    • Dalam proses itu Anda harus belajar dari peneliti yang tidak tertarik mengajar, dan pada praktiknya mahasiswa doktoral pemula yang mengajar dengan upah minimum.
    • Namun biaya kuliahnya sangat mahal.

• Situasi ini tidak mengejutkan sama sekali. Ini hasil alami dari kelebihan pasokan ilmuwan, pasar yang sangat kompetitif, dan keputusan jangka pendek yang menjadikan publikasi sebagai indikator utama evaluasi SDM.

  • Kalau ada yang kaget melihat ini, berarti ia belum melihat distorsi insentif serius yang ilmuwan alami puluhan tahun.

• Bentuk paper palsu seperti paper mill yang disebut ini memang jarang di AS (meski di AS terdapat bentuk penipuan yang lebih halus dan kompleks).

  • Pola perilaku ini terkait dengan lingkungan akademik tiap negara dan sejarah ekspansi universitas.
  • Saya pikir sebelum era LLM, paper sampah seperti ini tak punya dampak berarti di praktik bidang masing-masing.
  • Mereka berputar dalam lingkaran sitasi internal, dampaknya ke pengetahuan mainstream di luar bidang kecil.
  • Tapi sekarang masalahnya jika paper semacam itu dipakai oleh Deep Research.
  • Di AS juga lazim menjumpai paper yang tampak baru karena memoles struktur lama dengan menonjolkan kebaruan.

• Lihatlah seberapa jauh Nature telah berubah.

  • Dulu Nature adalah jurnal andalan biologi, kini Nature Portfolio punya puluhan jurnal turunannya.
  • Nature Energy penuh dengan paper baterai yang dilebih-lebihkan, Nature Materials penuh dengan paper promosi di kimia permukaan dan nanoteknologi.
  • Saya menduga jurnal-jurnal turunan lain juga punya masalah serupa.
  • Jangan lupakan juga “nature partner journals”. Orang tetap menyebut dan mengutip jurnal-jurnal ini sebagai “Nature XX”.

• Kecurangan ilmiah memang lama jadi semacam industri, dan saya pikir dengan rasio sinyal terhadap kebisingan (signal to noise ratio) yang cukup baik, sistem ini masih bisa berjalan.

  • Apakah mungkin ketika ketimpangan kekayaan makin besar, beban bertahan hidup ilmuwan makin tinggi, lalu kecurangan ikut naik?

  • Budaya “publish or perish” mengkomodifikasi penelitian ilmiah sepenuhnya.

    • Menurut teori saya, sebelum Perang Dunia I, ilmuwan berasal dari golongan bangsawan kaya yang meneliti karena suka, dan ekspansi skala sulit dilakukan.
    • Waktu itu saya kira penipuan demi penghidupan lebih sedikit.
    • Bukan berarti kita harus kembali ke model itu, tapi membuat ilmuwan jadi “bagian yang dapat diganti” dan mengukur dampak lewat metrik seperti sitasi adalah pendekatan ala MBA yang pasti gagal.

  • Kini ada indikator aneh untuk mendeteksi paper penipu: “tortured phrases” (frasa terdistorsi).

    • Contoh: Parkinson’s illness/infection/sickness, dll.
    • Frasa ini berasal dari software parafrase untuk menghindari deteksi plagiat, dan fakta bahwa penulis/editor/reviewer/proofreader semuanya tidak menyadarinya adalah masalah besar.
    • Artikel terkait: Retraction Watch: All the red flags...

• Saya mempertanyakan pada titik mana kecurangan ini harus menyebar sebelum kita perlu dengan tegas memangkas dukungan pada sains.

  • 90% tidak dapat direplikasi? 95%? 98%? Menurut saya, meski mengorbankan beberapa bidang yang sehat, kita butuh respons tegas.

  • Di ruang online, orang yang berdalih bahwa dukungan terhadap sains itu penting sering punya antusiasme fanatik yang jauh dari realitas operasional dan pola pikir ilmiah.

    • Nyatanya, lembaga pendanaan sains tak mampu memberi dana yang tepat untuk ide bagus, dan sistemnya dibentuk agar hanya orang yang paham sistem yang bertahan.
    • Istilah “ahli” pun akhirnya diberikan pada orang yang paling adaptif terhadap sistem ini.
    • Saat sistem pendanaan baru dibahas, terkadang muncul resistensi kuat.

  • Saya pikir membandingkan penipuan ilmiah dengan kanker bukan bentuk debat yang baik.

    • Saya ingin tahu data mana: apakah benar 90% tidak bisa direplikasi?
    • Apa ada dasar untuk menyamakan sains dan kanker?

  • Penurunan kemakmuran umum dan inflasi tajam pada 1970-an memicu pemangkasan dukungan universitas, dan sejak itu akademik makin terdorong ke arah finansialisasi serta menjauh dari keunggulan akademik.

    • Sejak itu semua orang harus lebih fokus pada aspek ekonomi untuk bertahan, dan suasana itu menyebar sampai universitas.
    • Di situ terjadi lonjakan ketergantungan pada mahasiswa internasional asing.