- Salah satu pendiri HuggingFace, Thomas Wolf, berpendapat bahwa AI tidak akan membawa kemajuan pesat dalam sains, yaitu "abad ke-21 yang dipadatkan"
- "Abad ke-21 yang dipadatkan" adalah konsep dari "Machine of Loving Grace" karya Dario Amodei, yang menyatakan bahwa AI akan berperan seperti banyak Einstein di pusat data dan menyelesaikan semua penemuan ilmiah abad ke-21 hanya dalam 5~10 tahun
- Pada awalnya, ide ini terasa mengesankan dan memunculkan pikiran, "AI akan mengubah seluruh sains dalam 5 tahun!" tetapi setelah dibaca ulang, banyak bagiannya terlihat seperti angan-angan (wishful thinking)
AI bukan jenius, melainkan 'yes-man'
- Ia berpikir bahwa yang sebenarnya akan kita dapatkan adalah "negeri para yes-man di server" (jika tren saat ini berlanjut)
- Untuk menjelaskan perbedaan ini, ia membagikan kisah pribadinya
- Ia selalu menjadi siswa berprestasi
- Ia tumbuh di kota kecil, masuk ke sekolah teknik terbaik di Prancis, lalu diterima di program doktoral MIT
- Pelajaran sekolah selalu terasa mudah
- Ia bisa memprediksi ke mana penjelasan profesor akan mengarah, dan pertanyaan apa yang mungkin keluar dalam ujian
- Namun ketika akhirnya menjadi peneliti (mahasiswa doktoral), ia mengalami guncangan besar
- Ia adalah peneliti yang biasa-biasa saja, di bawah rata-rata, dan tidak memenuhi harapan
- Rekan-rekannya melontarkan banyak ide menarik, sementara ia sering mentok
- Ia tidak bisa menemukan sesuatu yang tidak tertulis di buku (dan itu pun paling jauh hanya variasi dari teori lama yang tidak terlalu berguna)
- Masalah yang lebih besar, sangat sulit untuk meragukan pengetahuan yang telah dipelajari dan menantang keadaan yang ada
- Ia bukan Einstein, hanya siswa yang pandai belajar di sekolah
- Mungkin alasan ia bukan Einstein adalah karena ia terlalu pandai belajar di sekolah
- Banyak jenius dalam sejarah justru mengalami kesulitan akademik
- Edison dinilai "bodoh (addled)" oleh gurunya
- Barbara McClintock dikritik karena memiliki "pemikiran aneh", tetapi kemudian memenangkan Nobel
- Einstein gagal pada percobaan pertama ujian masuk ETH Zurich
- Contoh seperti ini tak terhitung jumlahnya
- Kesalahan yang sering dilakukan orang adalah mengira Newton atau Einstein hanyalah 'siswa unggul yang diperbesar'
- Dengan kata lain, mereka keliru menduga bahwa jika siswa 10% teratas diekstrapolasi secara linear, maka jenius akan lahir
- Sudut pandang ini mengabaikan kemampuan terpenting dalam sains
- Kemampuan mengajukan pertanyaan yang tepat, bahkan menantang pengetahuan yang telah dipelajari, adalah inti terobosan ilmiah yang sesungguhnya
- Terobosan ilmiah nyata lahir ketika Copernicus menentang seluruh pengetahuan pada zamannya dan mengusulkan bahwa Bumi mengelilingi Matahari
- Dalam istilah machine learning, itu berarti menentang akal sehat yang ada "terlepas dari seluruh data pelatihan"
Cara menciptakan Einstein
- Untuk menciptakan Einstein di pusat data, yang dibutuhkan bukan sekadar sistem yang mengetahui semua jawaban
- Yang dibutuhkan adalah sistem yang mengajukan pertanyaan yang bahkan belum terpikirkan oleh orang lain
- Sistem itu harus mampu bertanya, "Bagaimana jika semua ini salah?" ketika semua buku teks, para ahli, dan akal sehat mengatakan sebaliknya
- Pikirkan perubahan paradigma radikal dari teori relativitas khusus
- Dibutuhkan keberanian untuk menetapkan postulat pertama: "Mari kita anggap kecepatan cahaya konstan di semua kerangka acuan"
- Ini bertentangan dengan akal sehat pada masa itu (bahkan juga dengan intuisi kita saat ini)
- CRISPR sudah dikenal sejak 1980-an sebagai sistem imun adaptif pada bakteri
- Namun 25 tahun setelah penemuannya, Jennifer Doudna dan Emmanuelle Charpentier memenangkan Nobel setelah mengusulkan bahwa hal itu bisa digunakan untuk penyuntingan gen
- "Selama bertahun-tahun kita tahu bahwa XX melakukan YY, tetapi bagaimana jika pemahaman kita salah? Atau bagaimana jika ini bisa diterapkan pada ZZ, konsep yang sama sekali berbeda?"
- Kesadaran seperti inilah yang menjadi inti dari pemikiran di luar pengetahuan (outside-of-knowledge thinking) dan pergeseran paradigma (paradigm shift)
- Inilah mekanisme kunci yang mendorong kemajuan ilmiah
- Pergeseran paradigma seperti ini jarang terjadi (sekitar 1~2 kali per tahun)
- Terobosan semacam itu biasanya berujung pada Nobel setelah dampaknya terbukti
- Meski jarang, ia setuju dengan klaim Dario
- Porsi terbesar dalam kemajuan sains datang dari pergeseran paradigma seperti ini, sementara sisanya kebanyakan hanyalah noise
Mengapa AI sulit mewujudkan inovasi ilmiah
- Kinerja AI saat ini berfokus pada kemampuan mempelajari pengetahuan yang sudah ada dan memberikan jawaban
- Cara kita saat ini mengevaluasi peningkatan kecerdasan model AI bersifat terbatas
- Contoh tes AI terbaru adalah "Humanity's Last Exam" atau "Frontier Math"
- Keduanya terdiri dari pertanyaan yang sangat sulit dan umumnya disusun oleh peneliti setingkat doktor
- Namun, tetap ada jawaban benar yang jelas dan tertutup
- Ujian seperti ini sama dengan jenis ujian yang dulu ia kuasai saat masih sekolah
- Ujian ini mengukur kemampuan menemukan jawaban tepat untuk masalah yang jawabannya sudah diketahui
- Padahal terobosan ilmiah yang sesungguhnya bukan berasal dari menjawab pertanyaan yang sudah diketahui, melainkan dari
- mengajukan pertanyaan baru yang menantang, dan mempertanyakan konsep serta ide yang ada
- Ingatlah The Hitchhiker's Guide to the Galaxy karya Douglas Adams
- Jawabannya adalah "42", tetapi tidak ada yang tahu apa pertanyaannya
- Itulah hakikat riset
- LLM saat ini menyimpan hampir seluruh pengetahuan umat manusia, tetapi tetap tidak mampu menciptakan pengetahuan baru
- Yang terutama mereka lakukan adalah "manifold filling"
- Mereka mengisi celah di antara pengetahuan yang sudah dimiliki manusia
- Semacam merajut pengetahuan seperti jalinan kain realitas
- Saat ini kita sedang menciptakan siswa yang sangat patuh
- Ini memang sempurna untuk tujuan utama AI saat ini, yaitu menjadi asisten yang unggul dan helper yang patuh
Agar AI bisa mewujudkan inovasi ilmiah yang sesungguhnya
- Namun agar AI bisa menghasilkan inovasi ilmiah, diperlukan kondisi-kondisi berikut
- AI harus mampu meragukan pengetahuan yang dimilikinya sendiri
- AI harus mampu mengusulkan ide baru yang bertentangan dengan data pelatihan masa lalu
- Jika tidak, AI tidak akan mampu membawa inovasi ilmiah
- Jika kita menginginkan terobosan ilmiah, kita harus meninjau ulang cara mengukur kinerja model AI
- Saat ini yang diukur adalah jumlah pengetahuan dan kemampuan menjawab pertanyaan yang sudah ada dengan tepat
- Sebagai gantinya, kita perlu beralih ke cara yang dapat menguji pengetahuan dan kemampuan bernalar
- Kemampuan yang harus dimiliki model AI ilmiah
- Menantang data pelatihan: tidak menerima mentah-mentah data yang dipelajari, tetapi mampu mempertanyakannya
- Mencoba pendekatan kontrafaktual yang berani: mampu mencoba asumsi berani yang bertentangan dengan akal sehat yang ada
- Menurunkan usulan yang digeneralisasi dari petunjuk kecil: mampu menemukan pola baru dari petunjuk halus lalu menggeneralisasikannya
- Mengajukan pertanyaan non-intuitif untuk membuka jalur riset baru: mampu merintis arah riset baru dengan pertanyaan yang sebelumnya tidak pernah ada
- Kita tidak membutuhkan siswa A+ yang bisa menjawab semua pertanyaan
- Yang kita inginkan adalah siswa B yang bisa melihat dan mempertanyakan apa yang terlewat oleh orang lain
PS: Arah perbaikan benchmark AI
- Mungkin timbul pertanyaan benchmark seperti apa yang dibutuhkan
- Misalnya, kita bisa membayangkan situasi di mana model diuji terhadap penemuan baru yang sangat mutakhir
- Dalam kondisi model sama sekali tidak memiliki pengetahuan awal atau kerangka konseptual tentang penemuan itu
- Lalu dievaluasi apakah model dapat memulai dari pertanyaan yang tepat dan mengeksplorasi masalahnya
- Ini adalah masalah yang sangat sulit
- Kebanyakan model AI saat ini telah mempelajari hampir seluruh pengetahuan yang diketahui manusia
- Karena itu, membuatnya bekerja dalam situasi tanpa jawaban maupun kerangka konseptual sama sekali adalah tantangan besar
- Namun jika kita menginginkan inovasi ilmiah, kita membutuhkan benchmark yang bisa mengevaluasi perilaku seperti ini
- Pada akhirnya, ini adalah masalah terbuka, dan ia ingin mendengar pandangan yang tajam tentang hal ini
PPS:
- Banyak orang mengajukan "Move 37" (AlphaGo) sebagai bukti bahwa AI sudah mencapai kecerdasan setingkat Einstein
- Ia ingin menjelaskan secara spesifik soal hal ini
- Move 37 memang mengesankan, tetapi pada akhirnya itu adalah jawaban siswa unggul di dalam aturan permainan Go yang sudah ditetapkan
- AI hanya menyelesaikan masalah sesuai aturan permainan yang ada
- Demikian juga, dalam waktu dekat model AI kemungkinan besar akan
- menghasilkan pembuktian matematis yang lebih elegan daripada yang dibuat matematikawan terbaik
- Namun itu tidak berarti telah terjadi pergeseran paradigma yang sesungguhnya
- Dalam Go, terobosan setingkat Einstein haruslah sesuatu yang lebih mendasar
- Mendekati tindakan mendefinisikan ulang aturan Go itu sendiri atau
- menciptakan aturan permainan baru yang jauh lebih menarik daripada permainan yang ada
- Analogi yang lebih tepat dalam matematika adalah
- menghubungkan bidang-bidang matematika yang berbeda untuk merintis bidang riset baru
- Ini biasanya merupakan pencapaian yang layak mendapat Fields Medal
- Pergeseran paradigma ilmiah setingkat Einstein masih menuntut standar yang sangat tinggi
5 komentar
Kalau dibilang kita sudah berhasil membuat AI yang bisa mengajukan pertanyaan yang tak terpikirkan sebelumnya, akan terasa ngeri kalau AI itu mulai melontarkan pertanyaan seperti mengapa manusia tidak boleh disakiti.
AI dan kreativitas: pergeseran paradigma dan hubungan dengan inspirasi
Tulisan Thomas Wolf memuat argumen bahwa AI akan sulit mendorong inovasi ilmiah yang benar-benar baru. Ia menggambarkan AI seperti "yes-man" yang menyusun ulang pengetahuan yang sudah ada, dan mengatakan bahwa itu jauh dari kejeniusannya sosok seperti Einstein yang mampu mengubah paradigma.
Pandangannya dengan tepat menunjukkan keterbatasan AI, namun pada saat yang sama juga membuat kita memikirkan kemungkinan kolaborasi antara AI dan manusia. < Tulisan ini adalah jawaban saat saya meminta pendapat kepada Claude, tetapi entah kenapa ia malah membuatnya menjadi artifact padahal tidak diminta, dan kalimat ini juga ditambahkan tiba-tiba tanpa penjelasan saat sedang membicarakan hal lain. Aneh juga...
Inspirasi dan peran AI
Namun, apa itu inspirasi? Kreativitas manusia pada akhirnya juga lahir dari hubungan dan kombinasi baru atas ide-ide yang sudah ada. Bahkan Einstein pun melihat lebih jauh dengan berdiri di atas bahu para ilmuwan sebelumnya seperti Newton, Maxwell, dan Lorentz.
Yang diberikan AI adalah:
Hubungan simbiosis AI dan manusia
Thomas Wolf mengatakan AI tidak bisa sendirian memicu pergeseran paradigma, tetapi bagaimana jika AI bekerja sama dengan manusia? Dalam proses ketika manusia mengajukan pertanyaan dan AI menjelajahi berbagai kemungkinan, ide-ide baru bisa lahir.
Manusia memiliki kemampuan untuk mengajukan pertanyaan, intuisi, dan menilai nilai dari hasil yang muncul. AI, berdasarkan data dalam jumlah besar, menyajikan titik-titik keterkaitan. Gabungan dua kecerdasan ini mungkin dapat membawa kita ke tempat yang tidak bisa dicapai masing-masing secara terpisah.
Kesimpulan: kemungkinan kreativitas baru
AI mungkin tidak dapat sendirian menciptakan "abad ke-21 yang terkompresi". Namun, AI dapat memberi inspirasi kepada manusia, membuka jalur pemikiran baru, dan berfungsi sebagai pendamping kreativitas manusia.
Inovasi sejati kemungkinan besar akan muncul dalam proses penciptaan bersama ketika manusia dan AI masing-masing mengerahkan kekuatannya. Ini akan menjadi perjalanan untuk mencari paradigma baru bersama manusia, melampaui peran sekadar "yes-man".
https://id.news.hada.io/topic?id=19168
Ini riset yang rasanya AI tidak akan pernah terpikirkan.
Saya setuju dengan inti pembahasan di artikel.
"Kita tidak membutuhkan siswa A+ yang bisa menjawab semua pertanyaan
Yang kita inginkan adalah siswa B yang bisa melihat dan mengajukan pertanyaan tentang hal-hal yang terlewat oleh orang lain"
Melihat ini, saya langsung merasa bahwa sayalah siswa B itu, tetapi perusahaan besar hanya melihat siswa A+ saat merekrut.
Komentar Hacker News
Beruntung ketika AI diberi instruksi, "jangan mengarang apa pun, dan jika tidak tahu jawabannya, katakan tidak tahu"
Merekomendasikan membaca "Against Method" karya Feyerabend
Tersedia tautan versi BlueSky
Ini posting yang menarik tentang "mengajukan pertanyaan yang benar"
Pendapat tentang kemungkinan kompresi abad ke-21, yaitu siswa B yang kreatif bekerja bersama siswa A AI
Tidak bisa membedakan respons LLM yang benar-benar baru dari halusinasi
Ini posting bagus yang seharusnya berada di tempat yang lebih cerdas daripada Twitter/X modern
Pernah melihat algoritme yang merancang sirkuit yang tidak akan dirancang oleh insinyur manusia
Penulis tampaknya menganggap bagian yang sulit adalah membuat dugaan
Belum menemukan model yang benar-benar ketat dalam berpegang pada fakta
Hanya ingin fakta yang lugas, bukan intuisi