- Hasil analisis seluruh isi teks dari 12.750 makalah arXiv menunjukkan sekitar sepertiga makalah terbaru terbaca seperti ditulis mesin, dengan tingkat klasifikasi pada kuartal lengkap terbaru sekitar 32%
- Makalah 2021–2022 dijadikan kelompok kontrol tulisan manusia, ambang ditetapkan agar sesuai dengan false positive rate 0,4%, serta menggunakan PDF versi 1 dan interval kepercayaan 95% berbasis bootstrap
- Setelah kemunculan ChatGPT, tingkat klasifikasi naik dua kali dan mencapai puncak sekitar 39% pada awal 2026; berdasarkan 12 bulan terakhir hingga Juli 2026, ilmu komputer mencapai 65,0% dan matematika 0,7%
- Makalah matematika yang banyak berisi rumus serta struktur teorema dan pembuktian bisa terukur rendah karena berbeda dari distribusi pelatihan detektor, dan kinerja terhadap kombinasi model privat dan prompt yang benar-benar digunakan penulis juga tidak dapat dievaluasi
- Hasil klasifikasi tidak dapat mengidentifikasi penulis maupun proporsi konten yang dihasilkan AI, dan juga tidak bisa membedakan penyuntingan ringan dari pembuatan penuh, sehingga harus ditafsirkan sebagai batas bawah proporsi gaya tulisan mekanis, bukan dasar untuk menyalahkan individu
Desain pengukuran berbasis false positive rate
- Angka seperti “N% konten adalah AI” menjadi kurang bernilai jika tidak disertai rasio dokumen manusia asli yang juga diklasifikasikan oleh detektor
- Jika 40% makalah baru diklasifikasikan sebagai tulisan mesin sementara 20% makalah sebelum ChatGPT juga mendapat hasil yang sama, angka yang pertama-tama harus dijelaskan adalah false positive rate 20%
- Detektor dikalibrasi untuk gaya tulisan akademik
- Pada false positive rate 0,4%, 99,6% dokumen ilmiah nyata sebelum LLM lolos secara normal
- Mendeteksi 85% dokumen akademik yang ditulis AI
- Makalah yang diajukan pada 2021–2022 dianggap sebagai data kebenaran tulisan manusia, lalu ambang ditetapkan agar tepat 0,4% saja yang diklasifikasikan
- Semua hasil adalah proporsi makalah yang melampaui ambang, yang secara desain membuat dokumen sebelum LLM tetap berada di 0,4%
- Tahun-tahun sebelum ChatGPT berperan sebagai kelompok kontrol bawaan
- Jika tren kenaikan adalah artefak dari detektor itu sendiri, hasil 2021–2022 semestinya setinggi 2026, tetapi kenyataannya tidak demikian
Sampel dan metode analisis
- Dari 10 kelompok bidang, sekitar 25 makalah diambil per bidang per bulan dari Januari 2023 hingga Juli 2026, ditambah 8 bulan kelompok kontrol dari 2021–2022, sehingga total 12.750 makalah dianalisis
- PDF versi 1 tiap makalah digunakan agar frasa yang direvisi pada 2026 tidak tercampur ke dalam sampel 2023 untuk makalah tersebut
- Alih-alih abstrak, yang dianalisis adalah seluruh isi teks
- Ada kasus makalah yang sama berada di bawah 20% pada abstrak tetapi melampaui 70% pada isi, sehingga analisis hanya pada abstrak dapat mengecilkan sinyal
- Semua angka menerapkan interval kepercayaan 95% dengan metode bootstrap
Tren keseluruhan dan perbedaan antarbidang
- Tingkat klasifikasi bertahan di 0,4% selama 2021–2022, lalu mulai naik dalam beberapa bulan setelah kemunculan ChatGPT
- Setelah itu terjadi dua kali kenaikan, mencapai sekitar 32% pada kuartal lengkap terbaru, dan mencapai puncak sekitar 39% pada awal 2026
- Hasil per bidang untuk 12 bulan terakhir hingga Juli 2026 adalah sebagai berikut
| Bidang | Kelompok kontrol sebelum LLM | Rasio klasifikasi terbaru | Interval kepercayaan 95% |
|---|---|---|---|
| Ilmu komputer | 0,2% | 65,0% | 59,3~70,3% |
| Biologi kuantitatif | 3,5% | 56,3% | 51,0~61,7% |
| Teknik elektro dan sistem | 1,7% | 51,3% | 46,0~57,0% |
| Ekonomi dan keuangan | 2,5% | 47,0% | 41,3~52,7% |
| Fisika terapan | 1,3% | 34,0% | 29,0~39,7% |
| Statistika | 1,8% | 31,3% | 26,0~36,7% |
| Fisika materi terkondensasi | 0,0% | 24,0% | 19,3~29,0% |
| Fisika energi tinggi | 0,5% | 14,0% | 10,0~18,0% |
| Astrofisika | 0,0% | 10,7% | 7,3~14,3% |
| Matematika | 0,0% | 0,7% | 0,0~1,7% |
- Ilmu komputer paling tinggi sekitar 65%, sementara matematika paling rendah sekitar 0,7%, tetapi angka rendah pada matematika sulit ditafsirkan
- Kolom kelompok kontrol adalah rata-rata tingkat klasifikasi 2021–2022 tiap bidang pada tiga pengaturan sensitivitas
- Bidang dengan kenaikan besar tidak sama dengan bidang yang memiliki level kelompok kontrol sebelum LLM yang tinggi, sehingga titik awal yang tinggi saja tidak dapat menjelaskan kenaikan berikutnya
Keterbatasan statistik kelompok kontrol per bidang
- Kelompok kontrol sebelum ChatGPT untuk tiap bidang berisi 200 makalah
- Pada false positive rate 0,4%, hanya 8 makalah dari 2.000 makalah kelompok kontrol di 10 bidang yang terklasifikasi, sehingga rasio per bidang dengan satu ambang diukur secara kasar
- Batas bawah false positive gabungan sudah cukup terestimasi dan desain studi memang mengacu padanya, tetapi angka kelompok kontrol per bidang hanyalah perkiraan
- Untuk mengunci rasio di bawah 1% secara presisi per bidang, diperlukan ribuan makalah kontrol pada tiap bidang, tetapi arXiv sebelum 2023 tidak memiliki jumlah makalah yang memenuhi itu
Skor rendah dan blind spot deteksi
- Skor rendah bisa berarti tingkat adopsi AI rendah, atau bisa juga mencerminkan blind spot detektor
- Makalah matematika berpusat pada rumus serta struktur teorema dan pembuktian; setelah rumus dan daftar pustaka dihapus, prosa yang tersisa sedikit dan berbeda dari bahasa Inggris ilmiah yang dipelajari detektor
- Makalah matematika yang ditulis dengan banyak bantuan model pun bisa mendapat skor rendah jika prosanya berada di luar distribusi detektor
- Karena itu, dari hasil matematika saja sulit membedakan tingkat adopsi rendah dari sensitivitas deteksi yang rendah
- Karena bidang yang proporsi prosanya tinggi dan paling cocok dengan distribusi pelatihan detektor mengalami kenaikan paling besar, faktor pembaur ini saja tidak dapat menjelaskan tren kenaikan keseluruhan
- Peringkat bidang dengan skor rendah harus dibaca sebagai batas bawah tingkat adopsi AI
- Detektor memiliki sensitivitas berbeda untuk tiap model generatif, dan kombinasi persis antara model privat serta prompt yang benar-benar digunakan penulis tidak dapat dievaluasi
- Cakupan deteksi yang tidak sempurna menurunkan tingkat klasifikasi, sehingga rasio yang terukur adalah batas bawah proporsi gaya tulisan mekanis sebenarnya; kinerja per generator dapat dilihat di penjelasan detektor
Hal yang tidak bisa diketahui dari hasil klasifikasi
- Detektor memperkirakan apakah sebuah dokumen terbaca seperti ditulis mesin berdasarkan tingkat kesalahan yang diketahui dan probabilitas yang dikalibrasi
- Detektor tidak dapat membedakan dokumen yang disunting ringan dari dokumen yang seluruhnya dihasilkan, dan satu skor tidak bisa menjadi dasar untuk menyalahkan individu tertentu
- Objek pengukuran bukan identitas penulis atau proporsi yang dihasilkan, melainkan rasio gaya tulisan mekanis yang juga mencakup penyuntingan dengan pemanfaatan AI secara intensif
- Makalah arXiv dapat diperiksa di halaman pemeriksaan gratis, teks umum di halaman pemeriksaan teks, dan pengoperasian detektor ini tidak menghasilkan keuntungan
1 komentar
Pendapat Hacker News
Makalah workshop PyHPC yang ditulis pada 2011 dinilai 27% ditulis mesin, dan disertasi doktoral 2012 dinilai 40%, tepat di bawah ambang 42%
Saya sudah tidak menerbitkan makalah lagi, tetapi saya tidak tahu apakah saya menulis seperti LLM atau LLM belajar dari tulisan saya. Makalah IEEE CLUSTERS 2015 bahkan mencapai 74%
Yang lebih berbahaya, orang yang tidak paham cara kerjanya menjadikannya dasar untuk langsung menyimpulkan penggunaan AI dan memberi kerugian serius pada siswa, dan ini sudah terjadi di semua jenjang pendidikan
Mereka menganalisis teks lengkap 12.750 makalah arXiv dari 2021~2026 untuk meneliti proporsi yang dinilai sebagai tulisan mesin dan besarnya kenaikan setelah peluncuran ChatGPT
Detektor sengaja disetel untuk menghindari false positive, sehingga tingkat deteksi sebelum ChatGPT sekitar 0,4%. Pada Januari 2026, sekitar 39% dari seluruh makalah, dan hingga 65% di ilmu komputer, dinilai ditulis AI, sementara matematika hampir tidak bergerak dari 0,7%, meski mungkin gaya yang berpusat pada pembuktian tidak tertangkap dengan baik. Ini hanyalah estimasi sinyal statistik, bukan bukti bahwa penulis tertentu menggunakan AI, dan tulisan mesin juga bisa mencakup penyuntingan berbantuan AI yang kuat
Bisa saja ada kebocoran, misalnya dokumen sebelum ChatGPT ikut masuk ke data pelatihan positif
Saya penasaran apakah memang ada segelintir penulis yang menulis seperti LLM bahkan sebelum LLM muncul
Saya tidak ingin membebani server saat memeriksa banyak makalah
Dalam penggunaan LLM di perusahaan, benar-benar ada insentif teori permainan yang bekerja
Para developer memakai Claude Code habis-habisan untuk menghasilkan kode dan dokumen yang tampak lebih baik dalam jumlah besar, dan manajemen mendorongnya karena kelemahannya belum langsung terlihat. Kualitas strukturalnya belum pasti, tetapi metrik yang salah hanya menunjukkan output, jadi perlu waktu bertahun-tahun untuk menilai apakah itu layak dengan mengorbankan penurunan kemampuan kognitif. Siapa pun yang tidak memakai LLM sepanjang hari pasti tertinggal dalam output, dan kemungkinan besar tekanan yang sama juga bekerja di dunia sains yang mementingkan jumlah publikasi
Meski begitu, banyak startup dan asisten profesor baru mengklaim sedang membuka wilayah baru dengan “AI”, padahal dalam praktiknya pendekatan yang paling efektif memakai machine learning, bukan LLM
Saya terus menginstruksikannya untuk meminimalkan duplikasi dan mengecilkan kode, tetapi hasilnya lebih dekat ke “jelek tapi berguna bagi saya”. Tingkat kegunaan seperti ini pun tidak bisa diabaikan, tetapi saya takut pada manajemen yang melihat toilet meluap lalu mengira nilainya telah dimaksimalkan
Pertanyaan yang benar-benar sulit adalah kualitas dibanding waktu dan biaya yang masuk, dan untuk saat ini saya rasa kode hasil generasi opus/fable cukup unggul jika dilihat dari biaya langganan
Alat barunya sendiri bagus, tetapi saya tidak suka dipaksa memakai alat tertentu demi memenuhi metrik manajemen
Jika manusia menjadi bergantung pada AI, perusahaan akan memperoleh pengaruh untuk mengubah hukum demi keuntungan mereka. Meski warga menolak pusat data raksasa di pusat kota, perusahaan bisa menekan bahwa tanpa AI yang disuplai pusat data itu orang tidak bisa melakukan apa-apa, jadi membuat manusia tidak kompeten dan bergantung mungkin memang inti strateginya
Seperti semua metode deteksi AI yang hanya memakai teks, akurasi menjadi kekhawatiran
Saya terutama tidak tahu bagaimana bisa yakin bahwa proses menggabungkan skor dari tiga detektor di akhir tidak menciptakan bias, dan karena tidak ada source, sulit meninjau cara kerjanya atau mereproduksi risetnya. Riset privat yang saya tulis sendiri sebelum era LLM juga mendapat skor tinggi, dan di makalah lain hampir semua kalimat ditandai merah sebagai “machine-leaning” tetapi tidak memengaruhi skornya. Teks yang sama juga mendapat skor yang sangat berbeda tergantung ada tidaknya format LaTeX. Kesimpulannya seharusnya adalah “deteksi teks hasil generasi itu sulit, dan hasilnya tidak boleh diterima hanya karena tampak mengonfirmasi hipotesis”. Teks ini juga baru saja saya tulis sendiri, tetapi mendapat skor tinggi sebagai tulisan mesin
Hasil menelaah masalah yang sama di lingkungan akademik menyimpulkan bahwa mendeteksi tulisan AI secara andal hanya dari teks adalah mustahil
Jika manusia dan LLM kebetulan menulis paragraf yang persis sama, tidak ada cara untuk membedakan satu masukan yang sama itu sebagai tulisan sintetis atau tulisan manusia. Memang ada jejak khas LLM, tetapi jejak itu berubah menurut waktu dan model, sehingga tulisan manusia yang tampak sintetis dan tulisan sintetis yang tampak manusiawi tidak bisa dibedakan. Pendekatan yang lebih menarik adalah menganalisis bagaimana kosakata, ciri linguistik, embedding gaya bahasa, embedding umum, salah ketik, kesalahan, dan referensi berubah dalam korpus esai setelah adopsi LLM. Jelas ada perubahan gaya akademik pada tingkat kelompok, tetapi sulit melacak penyebabnya
Seperti kata Chomsky, hampir semua kalimat yang diucapkan atau dipahami manusia adalah kombinasi kata yang muncul untuk pertama kalinya dalam sejarah alam semesta. Kesulitan yang lebih besar adalah bahwa LLM tidak menghasilkan satu bentuk ekspresi yang tetap, dan kepadatan informasi teks rendah sehingga diperlukan volume yang cukup besar untuk melakukan uji statistik dengan interval kepercayaan yang sempit
Jika 65% makalah yang dibaca menunjukkan ciri tulisan AI, orang akan tetap terkena pengaruh gaya AI meski tidak memakai AI secara langsung
Ini kemungkinan akan lebih kuat terutama pada peneliti baru yang gaya tulisnya masih terbentuk
Agar manusia bisa mempertahankan pola sintaksis AI dalam waktu lama, ia harus memahami pola yang saat ini belum benar-benar dipahami siapa pun lalu menyesuaikan tiap klausa secara rinci seperti memalsukan lukisan. Selain itu gaya AI juga berubah; delve, yang dulu merupakan tanda khas, menurun tajam sejak pertengahan 2024 dan kini hampir hilang dari output LLM. Tulisan manusia yang belajar menirunya justru jadi kurang mirip dengan gaya AI saat ini
Sudah ada orang yang menghasilkan ocehan bahkan sebelum AI
Karena bukan penutur asli bahasa Inggris, tidak mengejutkan bahwa sebagian besar makalah terjaring detektor AI
Bukan karena meminta LLM menulis seluruh makalah, melainkan karena belum terbiasa dengan gaya ilmiah sementara editor Amerika menuntutnya. Orang bisa menulis gagasan dengan kalimat dasar lalu menghaluskannya dengan LLM. Jika tiap paragraf ditulis sendiri lalu dipoles agar terdengar lebih ilmiah, isinya tetap sepenuhnya milik penulis tetapi akan dinilai sebagai hasil LLM. Sebaliknya, jika bahasa Inggrisnya dipoles cukup baik, makalah yang ditulis LLM pun bisa tampak seperti tulisan manusia
Jika menulis makalah lagi, saya tidak berniat menulis semuanya dengan tangan; selama saya memverifikasi bahwa isinya sesuai maksud saya dan memperbaiki bagian yang salah, tidak ada masalah. Bahkan di antara makalah yang ditulis penutur asli bahasa Inggris, banyak yang akan jauh lebih baik jika ditulis ulang dengan LLM
Detail ungkapan di tiap paragraf sangat memengaruhi apa yang disampaikan dan bagaimana cara menyampaikannya, sehingga sulit menganggapnya sepenuhnya sebagai makalah sendiri. Sejak awal pun patut dipertanyakan mengapa harus mengejar gaya yang terlihat ilmiah; makalah terbaik justru terbaca seperti percakapan tanpa pretensi. Saya paham ada tekanan dari luar, tetapi kalimat dasar penulis tampaknya lebih baik daripada kalimat LLM
Makalah seperti ini sering punya banyak bagian yang bertele-tele dan klise, jadi mungkin saja AI menulis 90% dan manusia hanya menulis isi yang benar-benar baru serta penjelasan tentang pentingnya
Bisa jadi cara seperti itu memang sedang menyebar
Sebagian orang mungkin seniman dalam menulis, tetapi kebanyakan tidak
Ada kemungkinan detektor hanya belajar bahwa kata dan istilah teknis yang meningkat dalam literatur setelah 2022 adalah ciri AI
Misalnya, karena LLM dan para penggunanya sering membahas LLM, ekspresi “large language model” itu sendiri bisa dinilai sebagai sesuatu yang terdengar seperti AI. Ekspresi ini jarang muncul sebelum 2022 dan kini sering muncul baik dalam teks masa kini maupun teks buatan AI, tetapi itu bukan ciri yang baik untuk membedakan tulisan manusia modern dari tulisan AI. Pada kelompok kontrol yang secara masuk akal dapat dianggap hampir tidak memiliki teks buatan LLM bahkan setelah 2023, tingkat deteksinya seharusnya jauh lebih rendah daripada arXiv. Nature dan Science juga tidak sepenuhnya bebas, tetapi jika diuji sampai 2026, kurva kenaikannya seharusnya jauh lebih rendah daripada arXiv
Saat memperbarui detektor saya akan melihat cara untuk mengurangi hal ini, tetapi sulit mendapatkan dataset bersih setelah 2023. Jika dibuat dengan detektor AI lain, pada akhirnya hasilnya tidak akan bisa lebih baik daripada detektor itu
Ketika ditanya kepada banyak peneliti yang meneliti protokol konsensus dan semacamnya apakah mereka lebih suka menulis makalah atau melakukan riset, hampir semuanya memilih riset itu sendiri
Jika mereka lebih suka menulis, mungkin mereka akan memilih profesi lain. Jika LLM bisa mengubah diagram riset, kode, dan semacamnya menjadi makalah atau draf, jumlah makalah riset berkualitas justru bisa meningkat. Ini karena gesekan berupa “ingin meneliti tetapi repot menulis makalah” berkurang. Jika kemampuan riset dan kebencian terhadap menulis dijadikan dua sumbu, LLM bisa mengeluarkan hasil dari peneliti yang nilainya tinggi pada keduanya. Makalah buruk juga akan bertambah, tetapi dalam jangka panjang efek bersihnya bisa positif