- Setelah preprint makalah “Artificial Intelligence, Scientific Discovery, and Product Innovation” dipublikasikan di arXiv pada November 2024, muncul persoalan terkait akurasi dan integritas penelitian tersebut
- MIT melakukan investigasi internal nonpublik, menyimpulkan bahwa makalah itu tidak cukup dapat dipercaya, lalu secara resmi mengirim permintaan penarikan kepada arXiv dan The Quarterly Journal of Economics
- Menurut surat terbuka atas nama Committee on Discipline MIT, mereka sama sekali tidak mempercayai asal, keandalan, dan akurasi data dalam makalah itu, serta tidak yakin terhadap hasil penelitiannya sendiri
- Berdasarkan kebijakan arXiv, hanya penulis yang dapat meminta penarikan makalah, tetapi karena penulis tidak melakukannya, MIT mengajukan permintaan resmi sebagai gantinya dan berharap makalah tersebut segera ditarik dengan penandaan yang jelas
Dampak makalah dan respons MIT
- Makalah preprint adalah penelitian yang belum melalui peer review
- Makalah tersebut telah memberi pengaruh yang cukup besar dalam diskusi akademik di bidang AI dan sains
- MIT mendorong penarikan resmi untuk mengurangi dampak negatif yang ditimbulkan isi makalah yang tidak akurat terhadap diskusi tersebut
- Penulis sudah tidak lagi berafiliasi dengan MIT
Pentingnya integritas penelitian
- Integritas penelitian adalah nilai inti MIT dan merupakan bagian dari misi utama institusi tersebut
- MIT telah menyiapkan dan menjalankan prosedur nonpublik serta kebijakan terkait untuk merespons persoalan pelanggaran penelitian dengan cepat
- Kebijakan dan prosedur terkait dapat dilihat di situs resmi MIT
Pernyataan resmi para profesor
- Profesor Daron Acemoglu dan Profesor David Autor disebut dalam catatan kaki makalah tersebut, dan mengeluarkan pernyataan resmi sebagai berikut
- Makalah tersebut adalah karya mantan mahasiswa doktoral tahun kedua di departemen ekonomi; belum dipublikasikan di jurnal yang telah melalui penelaahan, tetapi sudah aktif dibahas dalam literatur AI dan sains
- Seiring waktu, muncul keraguan atas validitas penelitian tersebut dan hal itu dilaporkan ke departemen terkait
- Pada Februari 2024, MIT melakukan investigasi nonpublik sesuai kebijakan internal
- Karena pembatasan keterbukaan informasi, hasilnya sulit diumumkan, tetapi mereka kembali menegaskan bahwa mereka sama sekali tidak mempercayai asal, keandalan, dan integritas data maupun penelitian tersebut
- Alasan isi ini dipublikasikan adalah karena makalah tersebut, meski belum diterbitkan, sudah memengaruhi pembahasan tentang dampak AI terhadap sains
- MIT menilai penting untuk memastikan rekam jejak penelitian yang akurat, dan menegaskan bahwa tidak pantas mengandalkan hasil makalah ini dalam diskusi di kalangan akademik maupun ruang publik
Kesimpulan dan rekomendasi
- MIT merekomendasikan agar kalangan akademik dan publik tidak menggunakan makalah tersebut sebagai rujukan ilmiah
- Menjamin akurasi dan keandalan penelitian diposisikan sebagai prioritas utama
1 komentar
Opini Hacker News
Saya memahami bahwa permintaan penarikan makalah arXiv hanya bisa dilakukan oleh penulis, dan posisi MIT tampaknya dijelaskan dalam bentuk pernyataan yang menerangkan bahwa MIT telah meminta penulis untuk menariknya tetapi itu belum terjadi. Menurut saya, cara MIT menyampaikan informasi sambil cukup melindungi privasi namun tetap mengungkap sebagian perkembangan situasi cukup baik. Ada juga dugaan bahwa penulis mungkin mengira ia bisa meninggalkan MIT secara sukarela sambil membiarkan makalah itu tetap ada dan berharap ini mengarah ke peluang baru, serta tidak menduga MIT akan mengeluarkan pernyataan resmi soal ini
Ada klaim bahwa MIT sedang melempar seluruh tanggung jawab ke mahasiswa sambil menutupi kelalaian mereka sendiri. Penulis mendapat rekomendasi dari profesor-profesor MIT yang terkenal dan kaya, dan rasanya sulit membayangkan mahasiswa doktoral tahun kedua bisa sendirian melakukan riset penipuan sebesar ini tanpa kontak di industri. Angka-angka dalam abstrak makalah seperti "AI menemukan material baru 44% lebih banyak, kenaikan pengajuan paten 39%, dan peningkatan inovasi downstream 17%" juga dipandang mencurigakan hanya dari angkanya saja jika dibandingkan dengan realitas riset industri. Dengan skala seperti itu, menurut pandangan ini, siapa pun yang punya naluri dasar seharusnya bisa melihat bahwa ini penipuan
Juga dikonfirmasi bahwa penulis membuat situs web palsu untuk menutupi jejaknya, bahkan mendaftarkan domain seolah-olah ia bekerja di perusahaan bernama Corning. Akibatnya, Corning sampai harus melakukan forced transfer domain melalui WIPO, dan kejadian itu turut dilampirkan
Ada juga materi video yang dibagikan tentang seminar makalahnya yang dibawakan penulis lewat Zoom. Jika dilihat kembali, terlihat kebiasaan tidak menatap layar atau kamera saat berbohong, dan ada kegelisahan bahwa kebohongan spontan seperti ini mungkin sudah menjadi kebiasaan sehari-hari
Kesan pertama yang dibagikan adalah bahwa data plot dalam makalah tampak terlalu rapi, sehingga terasa seperti hasil manipulasi, bukan data nyata. Secara khusus, pada Mei 2022, hanya sekitar enam bulan sebelum chatGPT muncul ke dunia, penulis yang masih doktoral tahun kedua tidak bisa menjelaskan faktor apa yang membuat perusahaan material besar mau diyakinkan untuk menjalankan eksperimen berskala seribu orang di laboratorium riset mereka. Penjelasan modelnya juga hanya sekilas seperti GAN+diffusion tanpa rincian spesifik, dan berdasarkan pengalaman kerja nyata di perusahaan besar, ditegaskan bahwa adopsi skala sebesar itu tidak mungkin terjadi dalam waktu sesingkat itu
Disebutkan bahwa desain eksperimen makalah ini secara realistis mustahil, mirip dengan penipuan makalah Michael LaCour. Saat itu juga ada angka respons panel survei dan tingkat respons ulang yang jauh di luar kewajaran, dan bahkan perusahaan yang sebenarnya mampu menjalankan eksperimen seperti itu pun mengatakan prosedur semacam itu tidak mungkin dilakukan
Penulis makalah tersebut juga disebut mengklaim telah mendapat persetujuan eksperimen pada manusia dari MIT IRB dan bahkan menyebut nomornya, padahal pada saat itu ia bahkan belum masuk program doktoral
Dalam sesi tanya jawab, penulis mengklaim bahwa yang dipakai bukan GAN melainkan GNN (graph neural network), tetapi dibagikan juga bahwa audiens presentasi saat itu tampaknya tidak berada dalam suasana yang benar-benar menggali validitas makalah secara mendalam
Jika replikasi makalah sulit dan bidangnya sendiri sangat luas, muncul pertanyaan kapan makalah seperti ini sebenarnya bisa diverifikasi, dan bahwa kita perlu lebih memikirkan berapa banyak makalah curang yang ada di bidang tersebut. Ada juga pengalaman pribadi bahwa di bidang ML memang cukup banyak orang yang mengarang angka
Gagasan bahwa data pembagian waktu kerja bulanan para ilmuwan bisa diperoleh secara hampir konstan sepanjang tahun lewat analisis teks otomatis sejak awal dianggap tidak masuk akal. Jika data seperti itu benar ada, mutunya harus jauh melampaui apa yang realistis di dunia nyata
Ekonom-ekonom ternama MIT tampaknya memihak kubu yang meragukan kredibilitas makalah tersebut, dan setelah mencoba memverifikasi kasus inovasi di perusahaan material besar yang benar-benar ada namun gagal menyelesaikan perbedaan pendapat, akhirnya penyelidikan diserahkan ke MIT. Ini bukan sesuatu yang selesai hanya dengan mengeluarkan mahasiswanya; jika profesor-profesor yang aktif mendorong makalah ini memang terlibat dalam risetnya, mereka seharusnya setidaknya memeriksa hal-hal dasar seperti apakah laboratorium misterius berskala seribu orang itu benar ada dan apakah alat AI itu benar dipakai
Dari 21 orang yang tercantum dalam daftar ucapan terima kasih makalah, disorot bahwa tak satu pun tampaknya mempertanyakan asal data. Salah satunya bahkan menulis thread Twitter populer tentang riset ini, dan ketika baru-baru ini diberi tahu soal kejadian tersebut, responsnya hanya singkat bahwa "data makalah itu tampaknya tidak dapat dipercaya"
Ada keluhan bahwa di berbagai tempat di dunia akademik banyak profesor yang terkenal namanya tetapi bahkan tidak benar-benar membaca makalah, dan secara pribadi penulis komentar ini juga mengalami kenyataan tersebut. Ia tidak bisa menyebut nama, tetapi tetap mencoba berpikir positif karena masih punya co-advisor yang baik di tengah situasi sulit
Ketika ditanya sumber kutipannya dari mana, dijawab bahwa itu berasal dari artikel Washington Post dan WSJ
Disorot juga fakta bahwa makalah ini sudah dikutip hampir 50 kali. Jika ini jurnal tradisional di masa lalu, setidaknya orang bisa meninggalkan pesan terkait masalah makalah tersebut, tetapi dalam kasus arXiv, jika kita hanya mengikuti makalahnya, tidak ada cara untuk mengetahui adanya perdebatan atau kontroversi sama sekali, dan ini menunjukkan kelemahan server preprint
Dijelaskan bahwa sebagian besar dari 50 sitasi itu berasal dari preprint seperti arXiv atau tempat seperti ResearchGate. Disebutkan bahwa jumlah sitasi di jurnal peer-review adalah tolok ukur yang lebih realistis. Dibagikan juga kesan bahwa arXiv pada dasarnya tidak lebih dari blog PDF tanpa peninjauan, hanya dengan sedikit sistem undangan, sehingga pertahanannya lemah. Dalam percakapan itu juga muncul contoh makalah kriptografi aneh di masa lalu
Kelemahan ini dianggap berasal dari ketiadaan review; arXiv hanya memiliki semacam moderasi, tetapi bukan sesuatu yang benar-benar layak dipercaya. Memercayai makalah berarti memercayai penulisnya atau meninjaunya sendiri, dan bahkan saat ditarik pun alasannya tidak selalu tertinggal secara terpisah, sehingga orang harus melacaknya sendiri. Sebagai contoh, dikutip pesan penarikan makalah yang pernah dilihat sendiri
Dibagikan bahwa makalah ini juga pernah dibahas di HN beberapa bulan lalu
Ditekankan dengan tautan lampiran bahwa sudah ada orang yang menyadari ada yang mencurigakan sejak saat itu
Judul dan tautan ke posting diskusinya juga ditambahkan untuk berbagi informasi
Ada pendapat bahwa daripada menghapus makalah sepenuhnya, lebih baik menambahkan catatan pada preprint riset tersebut yang memberi tahu adanya masalah dan kemungkinan penipuan. Karena makalah itu sudah terlanjur dikutip, mungkin nanti akan ada kebutuhan untuk memeriksa dampak nyatanya, dan jika makalahnya hilang, yang tersisa hanya kekosongan
Dijelaskan bahwa ketika makalah ditarik, versi-versi sebelumnya tetap ada, dan juga disebutkan bahwa pihak MIT memang telah meminta penarikan. Judul artikel media dinilai agak menyesatkan
Dipandang perlu juga memberi tanda peringatan pada makalah yang mengutipnya agar makalah kriminal semacam ini tidak terus dikutip, dan supaya dampak penipuannya tidak terus bertahan sampai akhir
Ada juga harapan agar arXiv setidaknya punya halaman yang menyatakan "sebuah makalah pernah ada di sini tetapi sudah ditarik"
Ada keraguan terhadap sikap MIT yang hanya membicarakan kesalahan mahasiswa doktoral sambil menolak seluruh kemungkinan soal pendanaan VC, kesepakatan belakang layar, atau korupsi terorganisasi. Pandangan ini melihat bahwa jika pihak terkait sebenarnya tahu makalah itu pada akhirnya akan terbongkar, tetapi lebih dulu memompa valuasi dan ekspektasi pasar AI untuk meraup keuntungan besar, lalu saat kontroversi membesar cukup membayar sedikit dan meminta maaf, maka struktur seperti itu pada akhirnya tetap menghasilkan keuntungan besar. Juga ditunjukkan bahwa perusahaan farmasi kadang beroperasi dengan cara seperti itu. Ada sikap waspada bahwa bahkan di institusi atau publikasi yang tampak tepercaya pun banyak makalah palsu atau agak dipelintir, sehingga mengutip artikel berita saja tidak menjamin validitas logis
Ditekankan bahwa pernyataan resmi MIT sangat minim detail, dan artikel WSJ memang memberi sedikit lebih banyak informasi tetapi tetap kurang spesifik. Disampaikan lagi bahwa para ekonom yang gencar mempromosikan makalah ini baru menghadapi investigasi internal MIT setelah ada pengajuan masalah dari ilmuwan komputer eksternal
Ada pendapat bahwa hanya dari penyebutan "mantan mahasiswa doktoral tahun kedua" saja sudah tersirat bahwa ia telah dikeluarkan