- Diskusi semakin meluas bahwa large language model (LLM) melampaui sekadar prediksi kata dan menunjukkan bentuk pemahaman dan pemikiran yang nyata
- Ahli saraf Doris Tsao menilai bahwa machine learning telah mengungkap lebih banyak tentang hakikat kecerdasan dibandingkan neurosains selama 100 tahun terakhir
- Deep learning dan arsitektur jaringan saraf dijelaskan sebagai peniruan cara kerja otak manusia, melalui konsep ‘memahami = kompresi’
- Riset Douglas Hofstadter dan Pentti Kanerva dihubungkan dengan struktur kognitif ‘seeing as’ pada LLM
- Keterbatasan dan risiko etis AI seperti efisiensi belajar yang menyerupai manusia, pengalaman, dan ketiadaan kesadaran tetap menjadi tantangan utama
Fenomena polarisasi kinerja AI
- CEO Anthropic Dario Amodei memprediksi bahwa pada 2027 akan muncul AI yang lebih cerdas daripada peraih Nobel di bidang biologi, matematika, teknik, dan penulisan
- Ia menggambarkan visi pusat data sebagai semacam "negara para jenius", dengan jutaan salinan model yang masing-masing melakukan riset
- Sam Altman dari OpenAI berpendapat bahwa industri kini berada tepat di ambang pembangunan "superinteligensi digital", dan era 2030-an akan menjadi masa yang sepenuhnya berbeda dari sebelumnya
- Saat ini, sebagian besar alat AI yang digunakan orang sehari-hari masih terbatas, seperti Clippy di Microsoft Office pada masa lalu
- Zoom AI hanya memberi saran sederhana seperti "icebreaker rapat apa?"
- Siri hampir tidak punya kemampuan selain mengatur pengingat
- AI Gmail mengarang cerita tentang perjalanan ke Turki yang belum pernah dilakukan pengguna
- Peluncuran AI yang tergesa-gesa dan tidak merata telah membentuk kabut bahwa semua ini hanya hype, tetapi sebenarnya ada kemajuan yang cukup besar
Inovasi AI di bidang pemrograman
- Awalnya ada anggapan bahwa AI tidak berhubungan dengan kecerdasan atau pemahaman yang nyata, tetapi sudut pandang itu berubah setelah menggunakan AI saat bekerja sebagai programmer
- Menulis kode adalah tugas yang paling dikuasai AI, karena strukturnya lebih jelas daripada prosa dan bisa diverifikasi secara otomatis
- Awalnya AI dipakai sebagai rujukan alih-alih pencarian informasi, lalu secara bertahap diberi masalah kecil yang terpisah, dan akhirnya pekerjaan nyata yang dilatih seumur hidup pun diserahkan ke AI
- Model AI dapat mencerna detail kompleks dari ribuan baris kode hanya dalam hitungan detik
- Menemukan bug halus dan mengoordinasikan fitur baru yang rumit
- Berpindah ke tim yang berkembang cepat agar bisa memanfaatkan alat AI dengan lebih baik
- Agen AI gagal dalam tugas seperti memesan liburan atau melaporkan pajak, tetapi rekan kerja kini menulis sebagian besar kode dengan AI dan kadang menjalankan beberapa agen coding sekaligus
- Setelah mempelajari cara pakai yang efektif, kini pekerjaan yang dulu butuh sebulan bisa diselesaikan dalam satu malam
- Meski tidak tahu cara membuat aplikasi iOS, berhasil membuat dua aplikasi iOS
Kekuatan dan kelemahan large language model
- Seperti kata bos saya, "wawancara seharusnya mencari kekuatan, bukan sekadar ketiadaan kelemahan"; begitu juga LLM yang punya banyak kelemahan
- Halusinasi yang menghasilkan informasi palsu tetapi terdengar meyakinkan
- Terlalu patuh bahkan ketika pengguna salah
- Mudah tertipu oleh teka-teki sederhana
- Di masa lalu, kelancaran, kefasihan, dan kemampuan memahami konteks percakapan dianggap sebagai kekuatan yang nyaris mustahil dicapai
- Ketika mengalami langsung kekuatan ini, muncul pertanyaan: "seberapa meyakinkankah ilusi pemahaman sebelum kita berhenti menyebutnya ilusi?"
- Kasus Max: memperbaiki sprinkler taman bermain
- Di depan anak-anak yang wajahnya memerah, ia menemukan labirin pipa dan katup yang rumit di gudang utilitas
- Ia memasukkan foto dan penjelasan masalah ke ChatGPT-4o
- AI menilai itu sebagai sistem pencegah aliran balik pada irigasi dan menyarankan untuk memutar ball valve kuning di bagian bawah
- Saat air berhasil keluar, terdengar sorak-sorai di taman bermain
Konvergensi neurosains dan AI
- Doris Tsao, profesor neurosains di UC Berkeley: "Kemajuan machine learning telah mengajarkan lebih banyak tentang hakikat kecerdasan daripada yang ditemukan neurosains selama 100 tahun terakhir"
- Terkenal lewat riset yang menguraikan cara monyet mengenali wajah
- Memprediksi neuron mana yang akan menembak saat monyet melihat wajah tertentu
- Wajah dapat dirender hanya dari pola neuron yang menembak
- Berdasarkan riset tentang cara wajah direpresentasikan di dalam model AI
- Pertanyaan Tsao: "apa wawasan terdalam yang didapat dari ChatGPT?"
- Jawabannya sendiri: "saya rasa ini menghilangkan aura mistis dari pemikiran secara mendasar"
Sejarah dan perkembangan deep learning
- Pada 1980-an, tim psikolog kognitif dan ilmuwan komputer (David Rumelhart, Geoffrey Hinton, James McClelland) mencoba mensimulasikan pemikiran dalam mesin
- Mereka membentuk kelompok riset di UC San Diego
- Otak dipandang sebagai jaringan raksasa tempat neuron menembak dalam pola untuk memicu kumpulan neuron lain
- Tarian pola inilah yang disebut pemikiran
- Pembelajaran terjadi melalui perubahan kekuatan koneksi antarneuron
- Mereka menciptakan jaringan saraf buatan dan menerapkan algoritme gradient descent untuk meningkatkan akurasi prediksi
- Diibaratkan seperti pendaki yang turun dari puncak gunung ke lembah: jika setiap langkah selalu menuju turunan, pada akhirnya akan sampai
- Peneliti AI lain skeptis bahwa jaringan saraf cukup canggih untuk pekerjaan nyata, tetapi ketika jaringan membesar, ia mulai menyelesaikan masalah yang sebelumnya tak terpecahkan
- Algoritme deep learning menyelesaikan masalah yang sebelumnya membutuhkan seluruh makalah untuk membedakan angka tulisan tangan atau mengenali wajah dalam gambar
- Deep learning kemudian menaklukkan pengenalan suara, terjemahan, caption gambar, permainan papan, hingga prediksi pelipatan protein
Prediksi next-token dan mekanisme pembelajaran
- Model AI utama saat ini dilatih pada sebagian besar internet dan menggunakan teknik prediksi next-token
- Model belajar dengan menebak apa yang akan muncul berikutnya lalu membandingkannya dengan isi yang benar-benar muncul
- Tebakan yang salah memicu perubahan kekuatan koneksi antarneuron melalui gradient descent
- Pada akhirnya model menjadi sangat mahir memprediksi teks sehingga tampak seolah memiliki pengetahuan dan pemahaman
- Hal yang patut dipikirkan: orang-orang yang mencari rahasia cara kerja otak memperbesar model hingga seukuran otak, lalu model itu mulai melakukan tugas yang membutuhkan kecerdasan mirip otak
- Mungkinkah mereka sebenarnya telah menemukan apa yang dicari?
Sanggahan terhadap skeptisisme AI
- Ted Chiang dalam artikel New Yorker 2023, "ChatGPT Is a Blurry JPEG of the Web", mengajukan argumen skeptis
- ChatGPT hanyalah seluruh internet yang dimasukkan ke dalam program lalu dimuntahkan kembali secara tidak sempurna
- Seperti salinan dari salinan yang kabur, tetapi cukup mampu menipu orang agar tampak cerdas
- Buku "The AI Con" karya Emily M. Bender (ahli linguistik) dan Alex Hanna (sosiolog) menyampaikan argumen serupa
- Bender menggambarkan LLM sebagai "stochastic parrots"
- Tyler Austin Harper dari The Atlantic: "large language model tidak memahami apa pun, tidak bisa, dan tidak akan bisa"
- Model menghasilkan tulisan bukan lewat pemikiran, melainkan tebakan yang secara statistik terinformasi
- Bersamaan dengan perdebatan teknis ini, muncul juga perdebatan moral
- AI memperkaya pihak berkuasa, mengonsumsi energi hingga mempercepat perubahan iklim, dan mengasingkan pekerja
- Kesimpulan Harper: "fondasi industri AI adalah penipuan"
Penilaian ulang dari para ahli saraf
- Ilmuwan kognitif Harvard Samuel J. Gershman: "argumen 'stochastic parrots' harus berhenti pada titik tertentu"
- "hanya skeptikus yang paling keras kepala yang bisa menyangkal bahwa sistem ini melakukan hal-hal yang sebelumnya tidak dibayangkan oleh kebanyakan dari kita akan bisa dicapai"
- Ahli saraf kognitif Princeton Jonathan Cohen menekankan keterbatasan AI, tetapi juga berpendapat bahwa LLM mencerminkan bagian otak manusia yang paling besar dan paling penting
- "sebagai pendekatan orde pertama, neokorteks adalah mekanisme deep learning"
- Manusia memiliki neokorteks yang jauh lebih besar dibanding ukuran tubuhnya daripada hewan lain
- Spesies dengan neokorteks terbesar (gajah, lumba-lumba, gorila, simpanse, anjing) adalah yang paling cerdas
Pemahaman adalah kompresi, dan kompresi adalah pemahaman
- Argumen inti dari buku tahun 2003 karya peneliti machine learning Eric B. Baum, "What Is Thought?"
- Pemahaman adalah kompresi, dan kompresi adalah pemahaman
- Regresi linear dalam statistik: menggambar "garis terbaik (line of best fit)" pada titik-titik di grafik
- Jika ada keteraturan mendasar dalam data (ukuran sepatu dan tinggi badan), garis terbaik mengekspresikannya secara efisien dan memprediksi titik baru
- Neokorteks menyuling lautan pengalaman mentah (suara, penglihatan, dan indra lain) menjadi "garis terbaik" untuk digunakan dalam prediksi
- Bayi menebak seperti apa rasa mainan atau ke mana makanan akan pergi saat jatuh ke lantai
- Jika prediksi salah, koneksi antar-neuron disesuaikan
- Seiring waktu, koneksi menangkap keteraturan dalam data
- Membentuk model dunia yang terkompresi
Kompresi dan kecerdasan pada model AI
- Jaringan saraf buatan juga mengompresi pengalaman seperti jaringan saraf nyata
- DeepSeek, model AI open-source terbaik
- Dapat menulis novel, mengusulkan diagnosis medis, dan berbicara seperti penutur asli dalam puluhan bahasa
- Dilatih untuk prediksi next-token dengan data puluhan terabita
- Saat diunduh, ukurannya hanya 1/600 dari aslinya
- Hasil penyulingan internet, dikompresi agar muat di laptop
- Ted Chiang benar ketika menyebut ChatGPT awal sebagai JPEG buram dari web, tetapi penulis berpendapat justru itulah alasan model menjadi semakin cerdas
- Chiang sendiri juga menunjukkan: untuk mengompresi file teks berisi jutaan contoh aritmetika, yang diperlukan bukan file zip melainkan menulis program kalkulator
- "Kompresi terbaik bisa dicapai dengan memahami teks"
- Mungkin LLM telah mulai melakukan ini
Berbagai jenis pemikiran
- Membayangkan program komputer benar-benar memahami dan berpikir bisa terasa tidak alami dan menjijikkan
- Kita biasanya mengonseptualisasikan pemikiran sebagai sesuatu yang sadar
- monolog batin ala Joyce
- aliran memori indrawi dan lamunan ala Proust
- penalaran: menyelesaikan masalah langkah demi langkah
- Dalam percakapan tentang AI, berbagai jenis pemikiran ini sering tercampur sehingga penilaiannya menjadi dangkal
- Karena ChatGPT tidak berlamun ala Proust, maka jelas tidak berpikir
- Karena ChatGPT semakin baik memecahkan teka-teki logika, maka jelas berpikir
- Ada sesuatu yang lebih subtil sedang terjadi: penulis tidak percaya ChatGPT punya kehidupan batin, tetapi ia tampak seperti tahu apa yang dikatakannya
Teori kognisi Douglas Hofstadter
- Profesor ilmu kognitif dan sastra bandingan di Indiana University
- "Kognisi adalah pengenalan (cognition is recognition)"
- Terkenal lewat "Gödel, Escher, Bach: An Eternal Golden Braid", pemenang Pulitzer Prize 1980
- Teori yang ia kembangkan selama puluhan tahun: "melihat sebagai (seeing as) adalah esensi dari berpikir"
- Mengenali satu bidang warna sebagai mobil, yang lain sebagai gantungan kunci
- Mengenali huruf "A" meski ditulis dalam font tertentu atau tulisan tangan yang buruk
- Proses yang sama menjadi dasar pengenalan yang lebih abstrak
- Saat grandmaster catur meninjau papan, latihan bertahun-tahun terkondensasi menjadi cara melihat: gajah putih lemah, endgame ini kemungkinan remis
- Mengenali pusaran air dalam kuliah sebagai tanda bahwa berbahaya untuk menyeberang
- Mengenali rapat yang dihadiri sebagai situasi "kaisar telanjang"
- Anak penulis yang berusia 2 tahun mengenali bahwa jalan-jalan pagi menjelang siang dengan stroller bisa menjadi kesempatan mendapat croissant, lalu memintanya
- Bagi Hofstadter, ini adalah inti dari kecerdasan
Teori ruang berdimensi tinggi Pentti Kanerva
- Hofstadter awalnya adalah salah satu kalangan yang meremehkan AI
- Ia menulis bahwa sebagian besar riset AI tidak ada kaitannya dengan pemikiran nyata, dan penulis juga setuju saat kuliah pada 2000-an
- Pengecualian: ia tertarik pada kelompok UC San Diego dan mengagumi karya ilmuwan kognitif Finlandia-Amerika yang kurang dikenal, Pentti Kanerva
- Kanerva menemukan sifat-sifat aneh dalam matematika ruang berdimensi tinggi
- Di ruang berdimensi tinggi, dua titik acak bisa sangat berjauhan
- Namun secara paradoks, tiap titik memiliki awan tetangga besar di sekitarnya, sehingga mudah ditemukan jika sudah "cukup dekat"
- Ini mengingatkan pada cara kerja memori
- Dalam bukunya tahun 1988, "Sparse Distributed Memory", ia berpendapat bahwa pikiran, sensasi, dan ingatan dapat direpresentasikan sebagai koordinat dalam ruang berdimensi tinggi
- Otak adalah perangkat keras yang sempurna untuk menyimpan hal-hal semacam ini
- Setiap ingatan memiliki semacam alamat, yang didefinisikan oleh neuron-neuron yang aktif saat diingat kembali
- Pengalaman baru menyalakan himpunan neuron baru untuk merepresentasikan alamat baru
- Dua alamat bisa berbeda dalam banyak hal tetapi serupa dalam hal lain
- Satu persepsi atau ingatan memicu ingatan lain di dekatnya
- Contoh: bau jerami memanggil kembali ingatan tentang perkemahan musim panas, tiga nada pertama Beethoven No. 5 membuat kita mengantisipasi nada keempat, posisi catur yang belum pernah dilihat memunculkan permainan-permainan lama
Perubahan sikap Hofstadter
- Hofstadter menyadari bahwa Kanerva sedang menggambarkan sebuah "mesin seeing as"
- Dalam kata pengantar buku Kanerva: "Model memori Pentti Kanerva adalah pencerahan bagi saya. Itu adalah riset pertama yang memungkinkan saya melihat sekilas tujuan jauh untuk memahami bagaimana otak bekerja sebagai keseluruhan"
- Semua jenis pemikiran (ala Joyce, ala Proust, logis) bergantung pada hal yang tepat muncul pada saat yang tepat
- Itulah cara kita memahami situasi yang sedang kita hadapi
- Buku Kanerva kemudian menghilang dari perhatian, dan ketenaran Hofstadter sendiri juga memudar
- Ia kadang hanya muncul untuk mengkritik sistem AI baru
- Pada 2018 tentang Google Translate dan lainnya: "Masih ada sesuatu yang sangat kurang dalam pendekatan ini, sesuatu yang tersampaikan oleh kata pemahaman (understanding)"
- Saat GPT-4 dirilis pada 2023, datanglah momen perubahan sikap Hofstadter
- "Saya tercengang oleh sebagian hal yang dilakukan sistem-sistem ini. Bahkan 10 tahun lalu saya tak akan bisa membayangkannya"
- Bahkan kalangan yang paling keras meremehkan pun tak bisa lagi terus meremehkan
- Ada program yang bisa menerjemahkan, membuat analogi, berimprovisasi, dan melakukan generalisasi setara pakar
- Sulit mengatakan bahwa ia tidak memahami
- "Ia melakukan sesuatu yang sangat mirip dengan berpikir. Dengan cara yang agak asing, tetapi bisa dikatakan sedang berpikir"
Ruang vektor berdimensi tinggi pada LLM
- Di intinya, LLM memiliki "mesin seeing as"
- Setiap kata direpresentasikan sebagai serangkaian angka yang menunjukkan koordinat (vektor) dalam ruang berdimensi tinggi
- Dalam GPT-4, vektor kata memiliki ribuan dimensi, menggambarkan nuansa kemiripan dan perbedaan dengan semua kata lain
- Selama pelatihan, model menyesuaikan koordinat kata saat terjadi kesalahan prediksi
- Kata-kata yang muncul bersama dalam teks bergerak lebih dekat dalam ruang
- Ini menciptakan representasi penggunaan dan makna yang sangat padat, sehingga analogi menjadi persoalan geometri
- Contoh klasik: jika dari vektor kata "Paris" dikurangi "France" lalu ditambah "Italy", vektor lain terdekat adalah "Rome"
- LLM juga "memvektorkan" gambar untuk mengodekan isi, suasana, bahkan ekspresi wajah
- Cukup detail untuk menggambarnya ulang dalam gaya tertentu atau menulis paragraf tentangnya
- Ketika Max meminta bantuan soal sprinkler taman bermain, model tidak sekadar memuntahkan teks
- Foto perpipaan dikompresi bersama prompt Max menjadi vektor yang menangkap ciri paling penting
- Vektor itu berfungsi sebagai alamat untuk memanggil kata dan konsep terdekat
- Ide-ide secara bergiliran memanggil hal-hal lain saat model membangun pemahaman atas situasi
- Lalu menulis respons sambil "mengingat" ide-ide tersebut
Riset Anthropic tentang penjelajahan internal model
- Penulis membaca wawancara dengan peneliti Anthropic, Trenton Bricken
- Bersama rekan-rekannya, ia melakukan eksplorasi bagian dalam Claude (seri model AI milik Anthropic)
- Riset ini belum melalui penelaahan sejawat atau diterbitkan di jurnal ilmiah
- Tim tersebut mengidentifikasi ansambel neuron buatan atau "fitur (features)" yang aktif ketika Claude hendak mengatakan hal tertentu
- Fitur bekerja seperti kenop volume untuk sebuah konsep
- Jika dinaikkan, model hanya akan membicarakan hal itu
- Eksperimen kontrol pikiran: ketika fitur yang merepresentasikan Golden Gate Bridge diperkuat, saat diminta resep kue cokelat model menyarankan bahan seperti "1/4 cangkir kabut kering" dan "1 cangkir air laut hangat"
- Bricken menyebut arsitektur Transformer dari Google
- Resep penyusunan jaringan saraf yang menjadi dasar model AI utama
- Huruf "T" pada ChatGPT berarti "Transformer"
- Bricken berpendapat bahwa matematika di inti arsitektur Transformer sangat mendekati model yang diajukan Pentti Kanerva puluhan tahun lalu dalam "Sparse Distributed Memory"
Pengaruh timbal balik antara neurosains dan AI
- Haruskah kita terkejut dengan kesesuaian antara AI dan otak manusia?
- LLM adalah jaringan saraf buatan yang pengembangannya dibantu oleh psikolog dan ahli neurosains
- Yang lebih mengejutkan: ketika model berlatih hal sederhana, yaitu memprediksi kata, model mulai bertindak dengan cara yang mirip otak
- Belakangan ini bidang neurosains dan AI saling terkait
- Para ahli otak menggunakan AI sebagai semacam organisme model
- Ahli neurosains MIT Evelina Fedorenko menggunakan LLM untuk meneliti bagaimana otak memproses bahasa
- "Saya tidak pernah berpikir akan bisa memikirkan hal-hal seperti ini sepanjang hidup saya. Saya tidak pernah membayangkan kita akan memiliki model yang cukup bagus"
- Orang sering mengatakan AI adalah kotak hitam, tetapi yang benar justru bisa jadi kebalikannya
- Ilmuwan dapat menelusuri dan bahkan mengubah aktivitas neuron buatan individual
- Ahli neurosains Princeton Kenneth Norman: "Memiliki sistem yang bekerja dan mewujudkan teori tentang kecerdasan manusia adalah impian ilmu saraf kognitif"
- Ia membuat model komputer hippocampus (wilayah otak yang menyimpan memori episodik), tetapi di masa lalu model itu terlalu sederhana sehingga hanya bisa diberi masukan yang merupakan pendekatan kasar terhadap apa yang mungkin masuk ke pikiran manusia
- "Sekarang kita bisa memberikan ke model memori stimulus yang persis sama dengan yang diberikan kepada manusia"
Analogi Wright bersaudara
- Wright bersaudara meneliti burung saat berupaya membuat pesawat awal
- Mereka menemukan bahwa burung lepas landas menghadap angin (orang yang rasional mungkin akan mengira mereka ingin angin bertiup dari belakang)
- Mereka menekuk ujung sayap untuk menjaga keseimbangan
- Penemuan-penemuan ini memengaruhi rancangan glider awal mereka
- Setelah itu mereka membuat terowongan angin sepanjang 6 kaki untuk menguji satu set sayap buatan dalam kondisi yang dikendalikan secara presisi
- Penerbangan glider berikutnya jauh lebih berhasil
- Anehnya, baru setelah mereka membuat mesin terbang yang benar-benar berfungsi, mereka bisa memahami dengan tepat bagaimana burung melakukannya
Eksperimen terowongan angin untuk pikiran itu sendiri
- AI memungkinkan ilmuwan menempatkan pikiran itu sendiri ke dalam terowongan angin
- Makalah para peneliti Anthropic berjudul "On the Biology of a Large Language Model" (judul yang provokatif)
- Mereka mengamati bagaimana Claude merespons kueri dan menggambarkan "sirkuit" sebagai rangkaian fitur yang bersama-sama melakukan perhitungan kompleks
- Memanggil ingatan yang tepat adalah satu langkah menuju pemikiran
- Menggabungkan dan memanipulasi ingatan dalam sirkuit adalah langkah berikutnya
- Kritik lama terhadap LLM: karena harus menghasilkan respons satu token demi satu, model tidak bisa merencanakan atau bernalar
- Ketika Claude diminta melengkapi bait dalam puisi yang berima, sirkuitnya lebih dulu mempertimbangkan kata terakhir di baris baru untuk menjamin rima
- Lalu bekerja mundur untuk menulis seluruh baris
- Para peneliti Anthropic menganggap ini sebagai bukti bahwa model benar-benar terlibat dalam perencanaan
- Jika sedikit menyipitkan mata, rasanya seolah cara kerja batin pikiran untuk pertama kalinya mulai terlihat
Perlunya skeptisisme tingkat menengah
- Ahli neurosains Princeton Norman: "Kekhawatiran saya adalah orang-orang berubah dari 'sangat skeptis terhadap ini' menjadi menurunkan seluruh pertahanan mereka"
- "Masih banyak hal yang harus diselesaikan"
- Penulis mengakui dirinya salah satu dari orang yang dimaksud Norman (mungkin terlalu mudah terkesan oleh konvergensi antara Sparse Distributed Memory dan model Anthropic)
- Dalam 1–2 tahun terakhir, ia mulai mempercayai perkataan Geoffrey Hinton: "deep learning akan bisa melakukan segalanya" (Hinton baru-baru ini memenangkan Nobel berkat riset AI-nya)
- Namun model yang lebih besar tidak selalu model yang lebih baik
- Kurva yang memetakan performa model terhadap ukuran mulai mendatar
- Semakin sulit menemukan data berkualitas tinggi yang belum ditelan model, dan daya komputasi makin mahal
- Saat GPT-5 dirilis pada Agustus, peningkatannya hanya bertahap
- Kekecewaan yang cukup serius hingga mengancam memecahkan gelembung investasi AI
- Momen saat ini menuntut jenis skeptisisme menengah
- Memandang serius model AI masa kini, tetapi tidak percaya bahwa tidak ada lagi masalah sulit yang tersisa
Merancang model yang belajar seefisien manusia
- Masalah terpenting: bagaimana merancang model yang belajar seefisien manusia
- GPT-4 diperkirakan terekspos pada triliunan kata selama pelatihan
- Anak kecil hanya membutuhkan jutaan kata untuk menjadi fasih
- Ilmuwan kognitif mengatakan otak bayi baru lahir memiliki "bias induktif (inductive biases)" tertentu yang mempercepat pembelajaran
- Tentu saja otak adalah hasil evolusi jutaan tahun, yang dengan sendirinya merupakan sejenis data pelatihan
- Bayi manusia memiliki ekspektasi bahwa dunia terdiri dari objek dan bahwa makhluk lain memiliki keyakinan serta niat
- Ketika ibu mengatakan "pisang", balita mengaitkan kata itu dengan seluruh objek kuning yang sedang ia lihat, bukan ujung atau kulitnya
- Balita melakukan eksperimen kecil: apakah ini bisa dimakan? Sejauh apa itu bisa dilempar?
- Mereka termotivasi oleh emosi seperti keinginan, rasa ingin tahu, dan frustrasi
- Anak-anak selalu mencoba melakukan hal yang sedikit di luar kemampuan mereka
- Pembelajaran efisien karena bersifat embodied, adaptif, disengaja, dan berkelanjutan
- Untuk benar-benar memahami dunia, mungkin kita harus berpartisipasi di dalamnya
Pengalaman AI yang miskin
- Pengalaman AI terlalu miskin sehingga sebenarnya sulit disebut sebagai "pengalaman"
- Model bahasa besar dilatih dengan data yang sudah sangat dimurnikan
- Ahli neurosains UC Berkeley Tsao: "Alasan ini bekerja adalah karena ia menumpang pada bahasa (piggybacking)"
- Bahasa itu seperti pengalaman yang sudah dikunyah duluan
- Jenis data lain memiliki kepadatan makna yang lebih rendah
- Ilmuwan kognitif Harvard Gershman: "Mengapa tidak ada revolusi serupa dalam hal penalaran atas data video?"
- Jenis model visi yang kita miliki masih kesulitan dengan penalaran akal sehat tentang fisika
- Model terbaru DeepMind dapat menghasilkan video dengan cat yang tercampur benar dan labirin yang terselesaikan
- Tetapi juga menggambarkan kaca yang memantul alih-alih pecah, dan tali yang remuk menjadi simpul sambil mengabaikan hukum fisika
- Ahli neurosains kognitif Microsoft Research Ida Momennejad melakukan eksperimen yang memberi LLM tur virtual sebuah gedung lalu menanyakan rute dan jalan pintas
- Ini adalah penalaran spasial yang mudah bagi manusia
- Di luar pengaturan paling dasar, AI cenderung gagal atau berhalusinasi tentang jalur yang tidak ada
- "Apakah ia benar-benar merencanakan? Tidak terlalu"
Laju sembrono industri AI
- Dalam percakapan dengan para ahli saraf, penulis menangkap kekhawatiran bahwa industri AI sedang melaju agak gegabah
- Ilmuwan kognitif Princeton, Brenden M. Lake: jika tujuannya adalah membuat pikiran buatan yang secakap pikiran manusia, maka "kita tidak melatih sistem dengan cara yang benar"
- Setelah AI selesai dilatih, "otak" jaringan sarafnya akan dibekukan
- Memberi tahu model fakta tentang dirinya tidak akan menyambungkan ulang neuron
- Sebagai gantinya, digunakan pengganti yang kasar: menuliskan sedikit teks ("pengguna punya bayi dan sedang belajar bahasa Prancis")
- Lalu mempertimbangkan hal ini sebelum memberi instruksi lain
- Otak manusia terus memperbarui dirinya sendiri
- Ada teori yang indah tentang salah satu caranya: saat tidur, cuplikan terpilih dari memori episodik diputar ulang untuk melatih neokorteks
- Ruang berpikir berdimensi tinggi menjadi berlekuk karena memori yang diputar ulang
- Kita bangun dengan cara pandang yang sedikit baru
Masalah dalam komunitas AI
- Komunitas AI terlalu kecanduan kemajuan pesat dan terikat secara finansial sehingga kadang berpura-pura bahwa kemajuan itu tak terelakkan dan tidak ada lagi sains yang tersisa untuk dikerjakan
- Sains kadang memiliki sifat yang tidak nyaman: mandek
- Silicon Valley menyebut perusahaan AI sebagai "lab" dan sebagian pegawainya sebagai "peneliti", tetapi pada dasarnya ini adalah budaya rekayasa yang melakukan apa pun yang berhasil
- Cohen: "Saya sangat terkejut betapa komunitas machine learning tidak peduli untuk melihat atau menghormati sejarah sebelumnya dan ilmu kognitif"
Perbedaan mendasar dengan otak
- Model AI masa kini berhasil berkat penemuan tentang otak puluhan tahun lalu, tetapi tetap sangat berbeda dari otak
- Perbedaan mana yang sekadar insidental, dan mana yang mendasar?
- Setiap kelompok ahli saraf punya teorinya sendiri
- Teori-teori ini kini bisa diuji dengan cara yang sebelumnya mustahil
- Namun, tak ada yang mengharapkan jawaban mudah
- Masalah yang terus mengganggu model AI diselesaikan "dengan secara hati-hati mengidentifikasi bagaimana model tidak berperilaku secerdas yang kita inginkan, lalu memperbaikinya"
- "Itu tetap merupakan proses manusia-ilmuwan di dalam loop"
Perbandingan dengan Human Genome Project
- Pada 1990-an, miliaran dolar dituangkan ke Human Genome Project
- Dengan asumsi bahwa sequencing DNA bisa menyelesaikan problem medis paling pelik (kanker, penyakit genetik, bahkan penuaan)
- Era gembar-gembor dan kepercayaan diri
- Era domba kloning Dolly dan "Jurassic Park"
- Bioteknologi sedang berjaya dan para komentator bertanya-tanya apakah manusia seharusnya bermain sebagai Tuhan
- Para biolog segera menemukan bahwa kenyataannya lebih rumit
- Mereka tidak berhasil menyembuhkan kanker atau menemukan penyebab Alzheimer maupun autisme
- Mereka belajar bahwa DNA hanya menceritakan satu bagian dari kisah kehidupan
- Sebenarnya bisa dikatakan bahwa biologi sempat tersapu semacam demam gen
- Karena mereka punya sarana untuk meneliti dan memahami DNA, maka mereka terobsesi pada DNA
- Namun, tak ada yang akan berargumen bahwa ketika Francis Crick masuk ke sebuah pub di Cambridge pada 1953 setelah membantu memastikan struktur DNA dan berkata "kami telah menemukan rahasia kehidupan", ia salah
- Ia dan rekan-rekannya melakukan lebih banyak daripada hampir siapa pun untuk menghilangkan aura mistis kehidupan
- Puluhan tahun setelah penemuan mereka menjadi salah satu periode paling produktif dan paling menggairahkan dalam sejarah sains
- DNA menjadi istilah yang dikenal luas, dan semua siswa SMA belajar tentang heliks ganda
Prospek dan kekhawatiran di era AI
- Dalam AI pun kita kembali berada di momen gembar-gembor dan kepercayaan diri
- Sam Altman berbicara tentang menggalang setengah triliun dolar untuk membangun Stargate, klaster baru pusat data AI di Amerika Serikat
- Orang-orang membahas perlombaan menuju superinteligensi dengan keseriusan dan urgensi yang bisa tampak tak berdasar, bahkan menggelikan
- Kecurigaan penulis: alasan orang-orang seperti Amodei dan Altman membuat deklarasi mesianis adalah karena mereka percaya gambaran dasar tentang kecerdasan sudah terpecahkan
Respons para ahli saraf yang terbelah
- Sebagian ahli saraf juga percaya bahwa ambang penting telah terlampaui
- Uri Hasson dari Princeton: "Saya benar-benar berpikir jaringan saraf mungkin merupakan model kognisi yang tepat"
- Ini membuatnya sama marahnya dengan betapa hal itu membuatnya bersemangat
- Hasson: "Saya punya kekhawatiran yang kebalikan dari kebanyakan orang"
- "Kekhawatiran saya bukan bahwa model-model ini mirip kita. Melainkan bahwa kita mirip model-model ini"
- Jika teknik pelatihan yang sederhana dapat membuat program berperilaku seperti manusia, manusia mungkin tidak seistimewa yang kita kira
- Ini juga bisa berarti bahwa AI dapat melampaui kita bukan hanya dalam pengetahuan, tetapi juga dalam penilaian, orisinalitas, dan kelihaian, dan akibatnya juga dalam kekuasaan
- Hasson: "Akhir-akhir ini saya khawatir kita akan berhasil memahami cara kerja otak"
- "Mengejar pertanyaan ini mungkin merupakan kesalahan besar bagi umat manusia"
- Ia membandingkan para peneliti AI dengan ilmuwan nuklir pada 1930-an
- "Ini adalah masa paling menarik dalam hidup orang-orang ini. Pada saat yang sama, mereka tahu bahwa apa yang mereka kerjakan punya implikasi besar bagi umat manusia. Tetapi karena rasa ingin tahu untuk belajar, mereka tidak bisa berhenti"
Perasaan rumit Hofstadter
- Buku Hofstadter favorit penulis: "Fluid Concepts and Creative Analogies: Computer Models of the Fundamental Mechanisms of Thought"
- Membuat penulis merinding saat kuliah
- Premisnya: pertanyaan seperti "Apa itu berpikir?" bukan sekadar filosofis, tetapi memiliki jawaban nyata
- Saat terbit pada 1995, Hofstadter dan kelompok risetnya hanya bisa memberi petunjuk tentang seperti apa jawabannya
- Penulis bertanya-tanya apakah Hofstadter akan bersemangat karena para peneliti AI mungkin telah mencapai apa yang lama ia dambakan, yaitu penjelasan mekanistis tentang dasar-dasar berpikir
- Namun, dalam percakapan, Hofstadter terdengar sangat kecewa dan takut
- Riset AI saat ini "mengonfirmasi banyak ide saya, tetapi merenggut keindahan tentang apa itu umat manusia"
- "Ketika saya jauh lebih muda, saya ingin mengetahui dasar kreativitas, mekanisme kreativitas. Itu adalah cawan suci bagi saya. Tetapi sekarang saya justru ingin itu tetap menjadi misteri"
- Rahasia berpikir mungkin lebih sederhana daripada yang dibayangkan siapa pun
- Mungkin jenis hal yang bisa dipahami siswa SMA, atau bahkan mesin
Belum ada komentar.