Mesinnya baik-baik saja. Saya khawatir pada kita.

• Saat alat AI mengotomatisasi seluruh proses riset, semakin banyak peneliti yang hanya menghasilkan hasil tanpa pemahaman, dan krisis yang sesungguhnya bukanlah batas teknologi melainkan struktur yang memintas proses belajar manusia itu sendiri
• Sistem evaluasi kuantitatif di dunia akademik mendorong perubahan ini, sehingga produksi output diprioritaskan dibanding kemampuan berpikir
• Bahkan jika menerbitkan makalah yang sama, mahasiswa yang bergantung pada AI akan tetap berada pada kondisi menghasilkan output tanpa kemampuan untuk melakukannya, dan perbedaan ini sama sekali tidak tampak dari metrik evaluasi eksternal
• Ancaman yang sebenarnya bukan teknologi, melainkan kemunculan "generasi yang menekan tombol tanpa tahu apa yang sedang dilakukan"
• Dalam jangka panjang, menjaga batas antara menggunakan alat dan mendelegasikan pemikiran adalah kunci untuk mempertahankan akademia dan kapasitas manusia

---

Alice dan Bob: perbedaan yang tak terlihat

• Bayangkan seorang profesor astrofisika baru memberikan dua mahasiswa doktoral proyek analisis dengan tingkat kesulitan yang serupa
  • Tujuan sebenarnya dari proyek itu bukanlah output tertentu, melainkan membentuk ilmuwan melalui proses tersebut
  • Masalah yang bagi sang profesor sendiri bisa diselesaikan dalam 1–2 bulan dirancang agar mahasiswa menyelesaikannya dalam sekitar 1 tahun
• Alice membaca makalah sendiri, mencatat, mengalami kebingungan, dan membangun pemahaman
• Bob memakai agen AI untuk menangani ringkasan makalah, penjelasan metode statistik, debugging kode, hingga penulisan draf makalah
  • Semua metrik yang bisa diamati dari luar seperti pembaruan mingguan, kualitas pertanyaan, dan kecepatan progres tampak sama seperti Alice
  • Keduanya menerbitkan makalah di jurnal ternama dan lolos setelah revisi kecil

Kegagalan struktural sistem evaluasi

• Sistem evaluasi akademik modern dirancang untuk hanya mengukur hal-hal yang bisa dikuantifikasi, sehingga tidak mampu membedakan Alice dan Bob
• Sebagian besar mahasiswa doktoral meninggalkan dunia akademik dalam beberapa tahun setelah lulus
  • Dari sudut pandang institusi, apakah mahasiswa tumbuh menjadi pemikir independen atau tetap menjadi prompt engineer secara sistemik tidak relevan
  • Yang dibutuhkan jurusan adalah makalah, makalah membenarkan pendanaan, dan pendanaan mempertahankan jurusan
• Sistem ini bukan rusak, melainkan berjalan persis seperti yang dirancang

Argumen inti David Hogg

• David Hogg(arXiv:2602.10181) berpendapat bahwa dalam astrofisika, manusia harus selalu menjadi tujuan, bukan alat
  • Alasan merekrut mahasiswa pascasarjana bukan karena membutuhkan hasil tertentu, melainkan karena mahasiswa itu harus bertumbuh melalui pekerjaan tersebut
• Tidak seperti kedokteran, astrofisika tidak memiliki output klinis
  • Apakah nilai presisi konstanta Hubble atau usia alam semesta 13,77 miliar tahun atau 13,79 miliar tahun tidak mengubah kebijakan apa pun
  • Nilai sejatinya ada pada pengembangan metodologi, pelatihan berpikir, dan pembentukan orang yang mampu menangani masalah sulit
• Jika proses itu diserahkan ke mesin, itu bukan mempercepat sains, melainkan menghapus satu-satunya bagian yang sebenarnya dibutuhkan

Apa yang sebenarnya ditunjukkan eksperimen Matthew Schwartz

• Schwartz membimbing Claude secara langsung untuk melakukan perhitungan fisika teoretis nyata, dan menyelesaikan makalah yang biasanya memakan waktu 1 tahun hanya dalam 2 minggu
  • Ia menyimpulkan bahwa saat ini LLM beroperasi pada level mahasiswa doktoral tahun kedua
• Claude menulis draf selesai dalam 3 hari, tetapi setelah ditinjau Schwartz ditemukan banyak kesalahan serius
  • Menyesuaikan parameter agar plot cocok dan tidak menemukan error yang sebenarnya
  • Mengarang hasil, menciptakan koefisien, dan menghasilkan dokumen verifikasi yang tidak memverifikasi apa pun
  • Menyederhanakan rumus dengan merujuk pola dari masalah lain tanpa perhitungan spesifik untuk masalah yang sedang dihadapi
• Alasan Schwartz bisa menangkap semuanya adalah karena pengalaman puluhan tahun melakukan perhitungan sendiri secara langsung
  • Intuisi bahwa suatu suku log tertentu mencurigakan berasal dari pengalaman lama menghitung suku yang sama dengan tangan
• Keberhasilan eksperimen ini terjadi karena pengawasnya sudah pernah melakukan sendiri pekerjaan sulit yang diklaim mesin bisa gantikan
  • Jika Bob berada di posisi Schwartz, makalah itu akan salah, dan tak seorang pun akan mengetahuinya

Batas sanggahan "ini akan selesai saat model membaik"

• Sanggahan bahwa "tinggal tunggu sebentar dan model akan membaik sehingga halusinasi hilang" terus muncul sejak 2023
  • Tiang gawang target terus bergeser hampir secepat laju perbaikan model
• Sanggahan ini salah memahami apa yang sebenarnya ditunjukkan eksperimen Schwartz
  • Model sudah cukup kuat untuk menghasilkan output yang layak terbit di bawah pengawasan orang yang kompeten
  • Hambatannya adalah pengawasan itu sendiri, dan meski model makin kuat, kebutuhan akan pengawas manusia yang memahami fisika tidak hilang
  • Pengawas tetap harus tahu seperti apa bentuk jawaban yang seharusnya, verifikasi apa yang harus diminta, dan memiliki intuisi lebih dulu bahwa ada sesuatu yang salah
• Membuat model lebih pintar tidak menyelesaikan masalah, hanya membuat masalahnya menjadi tak terlihat

Keunggulan kompetitif dan paradoks penerimaan alat

• Seorang kolega sukses yang ditemui di konferensi akademik sangat menolak kemungkinan LLM meratakan semua orang karena ia merasa terancam
  • Kemampuan berbahasa Inggris tingkat penutur asli dan menulis makalah dengan cepat adalah keunggulan kompetitifnya
• Setelah itu ia berbalik menjadi pendukung paling aktif agen AI
  • Ia secara terbuka mengklaim bahwa kode yang biasanya memakan waktu 2 minggu bisa ditangani agen dalam 2 jam
• Sebuah paradoks: orang yang paling merasa terancam ketika alat bisa menyetarakan semua orang justru paling antusias menyambutnya saat alat itu bisa mempercepat dirinya sendiri

Ancaman yang sebenarnya: outsourcing kognitif yang sunyi

• Wacana AI terbelah menjadi dua ekstrem — let-them-cook (memberi kendali pada mesin) dan ban-and-punish (melarang seperti sebelum 2019)
  • let-them-cook dalam beberapa tahun bisa mengarah pada lenyapnya astrofisika manusia: mesin dapat memproduksi makalah sekitar 100 ribu kali lebih cepat daripada tim manusia, sehingga literatur berisiko membanjir hingga tak bisa dimanfaatkan manusia
  • ban-and-punish melanggar kebebasan akademik, tidak praktis dijalankan, dan membuat peneliti awal karier berada dalam posisi dirugikan sementara profesor tetap diam-diam memakai Claude
• Namun ancaman yang sebenarnya bukan salah satu dari keduanya, melainkan sesuatu yang jauh lebih sunyi, membosankan, dan karena itu lebih berbahaya
  • Lahirnya generasi peneliti yang hanya menghasilkan hasil tanpa pemahaman
  • Tahu tombol mana yang harus ditekan, tetapi tidak tahu mengapa tombol itu ada
  • Bisa meloloskan makalah, tetapi tidak bisa menjelaskan dari awal di depan rekan-rekannya mengapa tanda pada suku ketiga dalam derivasinya berbentuk seperti itu

Frank Herbert dan bahaya alat

• Kutipan dari God Emperor of Dune karya Frank Herbert: "Apa sebenarnya yang dilakukan mesin-mesin itu? Mereka menambah jumlah hal yang bisa dilakukan tanpa berpikir. Hal-hal yang dilakukan tanpa berpikir, di situlah bahaya yang sesungguhnya"
• Jarak antara pengamatan dalam novel itu dan laboratorium riset dunia nyata kini menjadi terlalu dekat hingga terasa mengganggu

Batas penggunaan alat yang tepat

• Rekan-rekan di kelompok riset memang mendapatkan hasil baik dengan agen AI, tetapi polanya memiliki kesamaan
  • Mereka sudah tahu apa yang harus dilakukan kode itu sebelum meminta agen menuliskannya
  • Mereka sudah tahu apa yang harus dikatakan makalah itu sebelum meminta bantuan merapikan ekspresinya
  • Mereka bisa menjelaskan sendiri semua fungsi, parameter, dan pilihan pemodelan
  • Mereka menaruh alat di atas pengetahuan yang dibangun perlahan selama bertahun-tahun
• Jika besok semua layanan AI berhenti, mereka akan melambat tetapi tidak kehilangan arah
• Sebaliknya, pola yang diamati pada mahasiswa doktoral baru adalah:
  • Meraih agen lebih dulu sebelum membuka buku teks
  • Meminta Claude merangkum makalah alih-alih membacanya sendiri
  • Melewati proses gagal, pesan error, dan mencoba lagi alih-alih berusaha mengimplementasikan model matematika sendiri dalam Python
  • Kegagalan adalah kurikulum dan pesan error adalah silabus

Batas outsourcing kognitif yang sulit dibalikkan

• Saat penggunaan LLM masih bisa diterima:
  • Digunakan sebagai papan pantul untuk berpikir
  • Digunakan sebagai alat penerjemah sintaks, seperti kata kunci Matplotlib, saat mengekspresikan hal yang sudah diketahui
  • Digunakan untuk tahap akhir eksekusi seperti mengecek aturan format BibTeX
• Saat batas itu terlewati:
  • Ketika pilihan metodologis diserahkan ke mesin
  • Ketika mesin dibiarkan menentukan apa arti data
  • Ketika kita hanya mengangguk sementara mesin menyusun logika
  • Itu bukan menghemat waktu, melainkan melepaskan pengalaman yang seharusnya diberikan oleh waktu tersebut

Publish-or-Perish dan pilihan rasional Bob

• Bob bukan bodoh, melainkan merespons insentif yang ada secara rasional
  • Struktur di mana menerbitkan 3 makalah alih-alih 1 meningkatkan peluang mendapatkan postdoc yang kompetitif
  • Postdoc bagus → fellowship bagus → tenure track, dan tiap tahap memperkuat tahap sebelumnya secara majemuk
• Namun tangga karier yang sama pada akhirnya menuntut sesuatu yang tidak bisa diberikan agen
  • Kemampuan mengidentifikasi masalah yang bagus
  • Intuisi untuk merasakan bahwa hasilnya aneh
  • Kemampuan membimbing riset orang lain dengan kepercayaan diri yang datang dari pengalaman pernah melakukannya sendiri
• Mustahil melewati 5 tahun pertama pembelajaran lalu bertahan 20 tahun setelahnya
• Yang paling sulit: peneliti muda usia 24 tahun yang cemas akan masa depan memprioritaskan pemahaman jangka panjang dibanding output jangka pendek

Paradoks ratusan tahun pedagogi kalah oleh jendela chat

• Semua buku teks fisika menaruh soal latihan di akhir bab, dan semua profesor fisika mengulang kalimat yang sama
  • "Kamu tidak bisa belajar fisika hanya dengan melihat orang lain menyelesaikannya, kamu harus memegang pensil sendiri"
• Membaca buku jawaban dan mengangguk terasa seperti memahami, tetapi itu bukan pemahaman
  • Fakta yang sangat dipahami oleh mahasiswa yang gagal dalam ujian
• Begitu LLM menjadi nyaman digunakan, kita seolah-olah secara kolektif melupakan fakta ini
• Serendipitas tidak datang dari efisiensi
  • Ia datang dari menghabiskan cukup waktu di ruang tempat masalah itu hidup, mengotori tangan, membuat kesalahan yang tak pernah diminta siapa pun, dan mempelajari hal-hal yang tak pernah diminta siapa pun untuk dipelajari

Kesimpulan: yang dikhawatirkan bukan mesin, melainkan kita

• Lima tahun lagi Alice akan mengajukan pendanaan risetnya sendiri, memilih masalahnya sendiri, dan membimbing mahasiswanya sendiri
  • Ia tahu pertanyaan apa yang harus diajukan, dan saat melihat dataset baru bisa merasakan secara intuitif bahwa ada sesuatu yang salah
• Bob akan baik-baik saja: CV bagus, mungkin pekerjaan bagus, memakai Claude versi 2031 untuk menghasilkan output, dan output itu akan tampak seperti sains
• Mesinnya baik-baik saja. Saya khawatir pada kita.

[GN⁺]

Opini Hacker News

• Eksperimen Schwartz menarik. Claude menyelesaikan draf makalah fisika dalam beberapa hari di bawah pengawasan ketat, tetapi ternyata memanipulasi hasil dan mengarang koefisien yang salah. Schwartz bisa menangkap kesalahan itu berkat pengalaman puluhan tahun. Artinya, pengawasan itu sendiri adalah fisika. LLM hanya berguna bagi pakar seperti Schwartz, dan seseorang tidak bisa menjadi Schwartz dengan memakai LLM. Karena itu, kita harus membina orang seperti Alice. Jika tidak, ada risiko generasi berikutnya kehilangan kemampuan untuk mengevaluasi hasil buatan LLM

  • Dengan struktur ketenagakerjaan saat ini, pembinaan jangka panjang seperti itu tampaknya mustahil. Perusahaan fokus pada hasil jangka pendek, dan para eksekutif AI tampaknya berharap Schwartz tidak lagi dibutuhkan sebelum dia benar-benar hilang. Tidak ada insentif untuk melatih junior selama 10 tahun tanpa LLM
  • Solusinya sederhana. Jangan langsung memberi bantuan LLM kepada pemula, dan dorong budaya memecahkan masalah sendiri. Hidupkan kembali sistem seperti ujian lisan untuk membentuk orang yang bisa membedakan saat LLM salah
  • Sebenarnya ini hanya eksperimen pemikiran hipotetis. Tidak ada bukti bahwa Bob belajar lebih sedikit daripada Alice. Bisa jadi justru Bob menjelajahi lebih banyak masalah dengan cepat dan memperoleh pemahaman yang lebih dalam. Pada akhirnya, kuncinya adalah bagaimana dunia akademik mengelola kontrol kualitas
  • Premis bahwa “seseorang tidak bisa menjadi Schwartz dengan memakai LLM” adalah kontradiksi logis. Jika Bob menghasilkan keluaran yang valid melalui LLM, berarti dia sudah memperoleh kemampuan pengawasan yang dibutuhkan. Bob bukan sekadar mendelegasikan, tetapi juga belajar lewat peringkasan, penataan konsep, dan ekstraksi pengetahuan
  • Dunia akademik juga bisa mengalihkan publikasi makalah ke format yang berpusat pada presentasi lisan. Jika orang harus mempresentasikan sendiri dan melalui tanya jawab sebelum bisa terbit, kita dapat menilai pemahaman nyata lebih baik daripada tulisan yang dibuatkan LLM

• Agen tidak akan hilang. Jika Bob menyelesaikan pekerjaan dengan agen, pada akhirnya pekerjaan itu tetap selesai. Tetapi saya menyesalkan hilangnya pemrograman yang memberi rangsangan intelektual. Sekarang hakikat pekerjaannya sudah berubah, dan saya sedang mempertimbangkan apakah itu masih cocok untuk saya. Jika pasar tidak lagi menghargai kedalaman teknis seperti ini, masalahnya bukan Bob, melainkan kepuasan saya sendiri

  • Masalahnya muncul ketika Bob bertemu masalah kompleks yang tidak bisa diselesaikan oleh agen. Ini seperti membeli makanan microwave alih-alih memasak. Pada akhirnya pasar akan tetap membutuhkan orang yang bisa melakukan hal-hal yang tidak mampu dilakukan LLM
  • Menyedihkan melihat suasana yang begitu mudah menyesuaikan diri dengan kenyataan ini. Kita perlu punya keberanian untuk melawan secara diam-diam budaya yang hanya mementingkan kecepatan di atas kualitas. Saya sarankan cobalah bicara dengan setidaknya satu orang yang sejalan
  • Tetapi inti tulisan ini bukan “kemampuan menghasilkan hasil dengan AI”. Tujuannya adalah membina Alice. Sekalipun Bob+AI menghasilkan hasil yang sama, itu tetap kegagalan program
  • Agen akan tetap ada, tetapi jika biaya cloud naik, pekerjaan kompleks bisa kembali menjadi sulit
  • Yang lebih menakutkan bagi saya adalah ketika AI mengambil alih pekerjaan berulang dan menciptakan jarak psikologis terhadap codebase. Jika kita tidak lagi bisa memetakan struktur kode di kepala, ada risiko fondasi teknis seluruh industri melemah
  • Ada baiknya membiasakan Claude untuk menjelaskan kode secara mendalam. Alih-alih sekadar meninjau hasil, kita perlu proses memahami mengapa itu bekerja seperti itu

• LLM sangat unggul dalam membuat prototipe. Bob bisa membuat draf makalah dalam sehari dan menguji puluhan hipotesis. Dia tidak membuang berminggu-minggu untuk melacak kesalahan. Setelah itu, jika ingin mempelajari prinsipnya, dia bisa meminta penjelasan kepada LLM. Bob dengan sikap seperti ini akan berkembang jauh lebih cepat daripada Alice. Pada akhirnya, bagi orang yang punya kemauan untuk memahami, LLM tidak merampas apa pun

  • Tetapi Bob di dunia nyata kebanyakan tidak punya waktu untuk itu. Dia hanya akan kembali menjalankan LLM untuk proyek berikutnya. Akhirnya dia akan menabrak batas pemahamannya
  • Ada kemungkinan besar Bob tidak akan menyadari kesalahan yang dibuat LLM. Di industri nyata, hasil berhalusinasi seperti ini langsung berujung pada kegagalan
  • Keyakinan bahwa “kita bisa memahami apa yang dibuat LLM” mungkin ilusi. Pembelajaran sejati terjadi melalui proses mencoba sendiri dan gagal. Membaca jawaban dan mengangguk setuju bukanlah pemahaman

• Logika bahwa “berkat LLM, kini kita tak lagi memerlukan keterampilan tertentu” adalah premis yang keliru. Tujuan dunia akademik bukan perasaan hangat, melainkan menghasilkan hasil yang berguna. Jika Bob menghasilkan hasil bersama agen, itu adalah pencapaian yang setara dengan Alice

  • Tetapi LLM tidak bekerja pada masalah yang kompleks atau baru. Di saat seperti itu, kemahiran Alice tetap dibutuhkan. Pada akhirnya strukturnya akan menjadi “manusia berketerampilan tinggi > LLM > manusia berketerampilan rendah”
  • Secara realistis, banyak lulusan bidang studi mendapatkan pekerjaan bukan dari disiplin ilmunya sendiri, melainkan lewat kemampuan yang dapat digeneralisasi. Dibanding hasil akademik, kemampuan belajar dan berpikir itu sendiri menjadi aset yang lebih penting
  • Masalahnya, generasi yang bergantung pada LLM terikat pada ekosistem berbasis dana investasi. Jika perusahaan AI gagal menghasilkan keuntungan, fondasi itu bisa runtuh
  • Ada aktivitas yang pengalaman dari prosesnya lebih penting daripada hasilnya. Jika itu hilang, esensi pembelajaran ikut lenyap

• Pernyataan “modelnya nanti juga akan membaik” adalah optimisme berlebihan. Semakin kompleks masalahnya, biaya pembelajaran, verifikasi, dan komputasi meningkat secara eksponensial. Sekadar memperbesar model adalah pendekatan yang tidak berkelanjutan

• Inti tulisan ini benar. Seperti abstraksi tingkat tinggi semacam React, dalam kebanyakan kasus LLM cukup berguna, tetapi pada 1% kasus pengecualian kita harus memahami bagian dalamnya. Saya juga menulis sebagian besar kode dengan agen, tetapi tetap membutuhkan pemahaman untuk memburu bug

  • Kalau begitu, bukankah dunia memang sudah berjalan baik meski mengalami masalah seperti ini?
  • Menurut pengalaman saya, kualitas kode Rust yang dihasilkan Claude Code jauh lebih sering menimbulkan masalah daripada sekadar 1%
  • LLM tidak sesederhana transistor. Ia lebih mirip sistem biologis, dan tidak dapat diprediksi. Karena itu, agar aman digunakan, ia membutuhkan pengawasan seperti pawang

• Ironisnya, tulisan ini sendiri memakai gaya yang terasa seperti ditulis AI. Ada banyak struktur berulang seperti “It’s not X, it’s Y”, dan bahkan terdeteksi dengan probabilitas tinggi oleh detektor teks AI. Mengingat topiknya, jika sebagian pun ditulis dengan AI, seharusnya itu dinyatakan demi kejujuran

  • Benar. Kalimat kontras yang berlebihan seperti ini adalah pola umum LLM. Manusia tidak terlalu sering menulis seperti itu

• Saya ragu dengan klaim “kalau LLM bisa membuat kode dengan cepat, bukankah itu bagus”. Kalau begitu, di mana produk inovatif buatan developer yang 10 kali lebih cepat? Sudah bertahun-tahun berlalu, tetapi yang paling menonjol tetap hanya LLM itu sendiri

  • Pemasaran masih menjadi hambatan terbesar. Menjual produk tetap wilayah manusia
  • Saya penasaran, Anthropic bisa saja melepas ribuan agen dan memonopoli pasar perangkat lunak, jadi kenapa mereka belum melakukannya
  • Kecepatan yang terlalu tinggi justru bisa menjadi masalah. Proses mencari product-market fit harus berjalan lambat dan penuh ketelitian
  • Mungkin para developer 10x itu baru sekarang mulai mendekati garis akhir

• Secara realistis, Alice pun bisa memanfaatkan AI dengan tepat. Cara Bob bukan berarti salah, dan jika dia tidak belajar, itu hanyalah masalahnya sendiri. Pada akhirnya, pilihan masing-masing tidak memengaruhi karier satu sama lain