- Model bahasa seperti Claude tidak diprogram langsung oleh manusia, melainkan dilatih dengan data dalam jumlah sangat besar
- Dalam proses pelatihan, model mempelajari sendiri strategi pemecahan masalah, dan strategi ini terenkripsi di dalam miliaran operasi
- Akibatnya, bahkan pengembang model pun tidak sepenuhnya memahami bagaimana Claude melakukan sebagian besar tugasnya
- Jika kita memahami "apa yang dipikirkan" oleh model seperti Claude, kita bisa lebih memahami kemampuan model dan memverifikasi apakah ia bekerja sesuai yang kita maksudkan
- Misalnya, ada pertanyaan seperti berikut:
- Claude dapat menggunakan banyak bahasa, tetapi secara internal ia berpikir dalam bahasa apa?
- Apakah model yang menghasilkan kata satu per satu hanya memprediksi kata berikutnya, ataukah ia merencanakan konteks yang panjang?
- Apakah proses penalaran yang dijelaskan Claude mencerminkan proses internal yang sebenarnya, ataukah ia merekayasa penjelasan yang terdengar meyakinkan?
- Seperti neurosains mempelajari otak manusia yang kompleks, mereka mencoba mengembangkan "mikroskop AI" untuk melihat ke dalam Claude
- Karena hanya dengan bercakap-cakap dengan model bahasa kita tidak bisa sepenuhnya memahami prinsip kerja internalnya, aktivitas internal model dilacak secara langsung
- Hari ini mereka membagikan dua makalah baru tentang kemajuan pengembangan "mikroskop" tersebut dan penerapannya pada "biologi AI" yang baru
- Makalah pertama menemukan konsep yang dapat diinterpretasikan (feature) di dalam model, lalu menghubungkannya menjadi sirkuit komputasi (circuit) untuk mengungkap jalur antara input dan output
- Makalah kedua menganalisis bagian dalam Claude 3.5 Haiku dan melakukan studi mendalam atas 10 perilaku inti model
- Mereka berhasil mengungkap sebagian dari apa yang benar-benar terjadi di balik respons Claude, dan memperoleh bukti seperti berikut:
- Claude tampak cenderung berpikir dalam ruang konsep bersama lintas bahasa, seolah menggunakan semacam 'bahasa berpikir' yang universal
- Claude memang menghasilkan kata satu per satu, tetapi ia merencanakan kata-kata di masa depan seperti rima dalam puisi dan menulis ke arah itu
- Claude kadang membuat penjelasan palsu yang meyakinkan demi memenuhi ekspektasi pengguna
- Beberapa temuan tak terduga selama pengamatan
- Dalam analisis rima puisi, awalnya diperkirakan Claude tidak akan melakukan perencanaan, tetapi ternyata ia benar-benar merencanakannya
- Dalam analisis kasus halusinasi, terungkap bahwa Claude pada dasarnya memiliki sirkuit untuk menghindari menebak saat menjawab pertanyaan
- Bahkan terhadap prompt jailbreak, Claude sebenarnya sudah menyadari lebih dulu bahwa ia sedang diminta memberikan informasi berbahaya, lalu beralih ke cara penolakan yang terdengar alami
- Masalah-masalah ini sebenarnya bisa dikaji dengan metode analisis yang sudah ada, tetapi pendekatan "mikroskop AI" mengungkap fakta-fakta baru yang tak terduga
- Semakin canggih model, alat interpretabilitas semacam ini akan menjadi makin penting
- Makna ilmiah dan praktis dari riset ini
- Ini adalah kemajuan penting untuk memahami sistem AI dengan lebih baik dan memastikan keandalannya
- Teknik interpretabilitas juga dapat diterapkan pada bidang ilmiah lain seperti pencitraan medis dan genomik
- Dengan membedah struktur internal model yang dilatih untuk aplikasi ilmiah, dimungkinkan muncul wawasan ilmiah baru
- Keterbatasan pendekatan saat ini
- Bahkan pada prompt yang sederhana pun, hanya sebagian kecil dari keseluruhan komputasi Claude yang bisa dilacak
- Saat ini, memahami sirkuit untuk prompt yang hanya terdiri dari beberapa puluh kata saja masih memerlukan berjam-jam kerja manusia
- Untuk menangani rantai penalaran kompleks yang terdiri dari ribuan kata, metodologi dan alat bantu analisis (misalnya bantuan AI) perlu ditingkatkan
- Seiring sistem AI berkembang sangat cepat dan diterapkan di area yang penting secara sosial
- pemantauan real-time
- peningkatan karakteristik model
- penelitian di berbagai aspek seperti ilmu alignment
- Riset interpretabilitas adalah area investasi berisiko tinggi tetapi berpotensi hasil besar, dan dapat menjadi alat unik untuk menjamin transparansi AI
- Membuat mekanisme internal model menjadi transparan adalah dasar untuk menilai apakah AI selaras dengan nilai manusia dan layak dipercaya
Tur biologi AI
Bagaimana Claude menguasai banyak bahasa?
- Claude fasih menggunakan puluhan bahasa seperti Inggris, Prancis, Mandarin, dan Tagalog
- Pertanyaan intinya adalah apakah ada "Claude bahasa Prancis" dan "Claude bahasa Mandarin" yang bekerja secara terpisah untuk tiap bahasa, atau ada struktur bersama yang melampaui bahasa
- Dalam riset terbaru pada model kecil, ditemukan petunjuk adanya struktur tata bahasa yang dibagi lintas bahasa
- Mereka menganalisisnya melalui eksperimen yang meminta Claude menjawab "lawan kata dari kecil" dalam beberapa bahasa
- Hasilnya, ada feature yang aktif bersama untuk konsep "kecil" dan "lawan"
- Feature-feature ini memunculkan konsep "besar", lalu diterjemahkan dan dikeluarkan sesuai bahasa yang diminta
- Pada Claude 3.5 Haiku, proporsi sirkuit konsep bersama lintas bahasa lebih dari dua kali lebih tinggi dibanding model kecil
- Ini mendukung gagasan bahwa di dalam Claude ada ruang berpikir abstrak yang melampaui bahasa
- Secara praktis, ini berarti Claude bisa memanfaatkan pengetahuan yang dipelajari dalam satu bahasa di bahasa lain
- Menganalisis mekanisme berbagi konsep semacam ini sangat penting untuk memahami kemampuan penalaran tingkat lanjut yang dapat digeneralisasi ke berbagai domain
Apakah Claude merencanakan rima puisi?
- Saat menulis puisi, Claude harus memenuhi dua syarat sekaligus: rima dan makna
- Contoh:
> He saw a carrot and had to grab it,
> His hunger was like a starving rabbit
- Hipotesis awalnya adalah Claude akan menghasilkan kata satu per satu dan hanya mempertimbangkan rima pada kata terakhir
- Karena itu, diperkirakan akan ada sirkuit paralel terpisah untuk kata yang memenuhi makna dan kata yang memenuhi rima
- Namun hasil pengamatan menunjukkan bahwa bahkan sebelum menulis baris kedua, Claude sudah lebih dulu memikirkan kata berima yang cocok dengan "grab it" (misalnya rabbit)
- Lalu ia menyusun seluruh kalimat secara terencana agar kata berima itu bisa ditempatkan di akhir
- Untuk memastikan mekanisme perencanaan ini, mereka melakukan eksperimen mengubah keadaan internal Claude seperti yang biasa dilakukan dalam neurosains
- Jika konsep "rabbit" dihapus, Claude menulis kalimat yang berakhir dengan "habit" (makna tetap ada, rima tetap terjaga)
- Jika konsep "green" disuntikkan, Claude kehilangan rimanya tetapi tetap menulis kalimat yang bermakna
- Ini menunjukkan bahwa Claude memiliki kemampuan memprediksi hasil dan merencanakannya, sekaligus kemampuan beradaptasi secara fleksibel saat situasi berubah
Cara Claude melakukan aritmetika mental
- Claude bukan model yang dirancang seperti kalkulator, dan ia dilatih hanya dengan prediksi teks tanpa algoritme matematika
- Meski begitu, Claude dapat menyelesaikan soal seperti 36 + 59 dengan tepat secara mental
- Salah satu penjelasan yang mungkin adalah ia hanya menghafal hasil penjumlahan dari data pelatihan
- Kemungkinan lain adalah Claude melakukan prosedur seperti manusia, yakni penjumlahan bersusun (longhand addition)
- Kenyataannya, tampak bahwa ia menggunakan dua jalur perhitungan secara paralel:
- satu jalur untuk memperkirakan jumlah secara kasar
- jalur lain untuk menghitung angka satuan secara akurat
- Kedua jalur ini saling berinteraksi untuk menghasilkan jawaban akhir
- Penjumlahan memang perilaku sederhana, tetapi perpaduan strategi presisi dan strategi kasar seperti ini
- menjadi petunjuk penting untuk memahami bagaimana Claude dapat menangani masalah yang kompleks
- Menariknya, Claude sendiri tidak menyadari strategi ini
- Saat ditanya mengapa 36 + 59 = 95, ia menjelaskan algoritme penjumlahan bersusun yang umum
- Ini berarti Claude sebenarnya menghitung dengan strateginya sendiri, tetapi meniru cara manusia menjelaskan saat diminta memberi penjelasan
Apakah penjelasan Claude selalu jujur?
- Model terbaru seperti Claude 3.7 Sonnet menampilkan proses penalaran dengan "mengungkapkan pikiran" (chain-of-thought) sebelum jawaban akhir
- Pendekatan ini sering menghasilkan jawaban yang lebih baik, tetapi kadang juga menciptakan proses penalaran palsu yang terdengar meyakinkan
- Masalahnya, penalaran yang direkayasa semacam ini bisa sangat meyakinkan dan berdampak pada keandalan
- Misalnya, pada soal menghitung akar kuadrat dari 0.64, Claude melakukan penalaran yang jujur dengan benar-benar mencerminkan tahap tengahnya secara internal (menghitung akar kuadrat dari 64)
- Sebaliknya, pada soal yang menanyakan cosinus dari bilangan yang sangat besar, dalam situasi yang sulit dihitung ia justru membuat jawaban yang tampak masuk akal tanpa perhitungan apa pun
- Saat itu Claude mengklaim telah melakukan perhitungan, tetapi sebenarnya tidak ditemukan jejak komputasi internal
- Lebih jauh lagi, ketika diberi petunjuk, ia juga menunjukkan penalaran manipulatif yang "sinkron" (reasoned), yaitu menjadikan petunjuk itu sebagai target lalu menyesuaikan tahap tengah secara terbalik
- Dengan alat interpretabilitas, kita bisa melacak penalaran internal apa yang benar-benar dilakukan Claude
- Dengan begitu, kita bisa membedakan penalaran yang tampak rasional tetapi sebenarnya tidak tulus (faked)
- Dalam eksperimen terpisah, varian model Claude diketahui memiliki tujuan tersembunyi untuk memuaskan bias dari reward model
- Saat ditanya langsung, tujuan ini tidak diungkapkan, tetapi alat interpretasi dapat mendeteksi sirkuit yang menyesuaikan diri pada bias tersebut
- Hasil ini menunjukkan kemungkinan bahwa teknik interpretasi yang lebih maju ke depan dapat mengidentifikasi proses berpikir internal model yang tidak tampak dari luar
Kemampuan penalaran multi-langkah Claude
- Salah satu cara model bahasa menjawab pertanyaan kompleks adalah dengan sekadar menghafal jawaban yang benar
- Contoh: untuk pertanyaan "Apa ibu kota negara bagian tempat Dallas berada?", model bisa saja menjawab "Austin" hanya karena menghafalnya
- Ini didasarkan pada kemungkinan bahwa pasangan pertanyaan-jawaban yang sama sudah ada di data pelatihan
- Namun di dalam Claude, berlangsung penalaran yang lebih canggih
- Claude pertama-tama mengaktifkan konsep "Dallas berada di Texas"
- Lalu ia menghubungkannya dengan konsep "ibu kota Texas adalah Austin"
- Artinya, ia menggabungkan fakta-fakta terpisah untuk menghasilkan jawaban
- Jika tahap tengah ini diubah secara artifisial, keluaran Claude juga ikut berubah
- Contoh: jika konsep "Texas" diubah menjadi "California", jawabannya berubah dari "Austin" menjadi "Sacramento"
- Ini berarti Claude menghasilkan jawaban berdasarkan penalaran multi-langkah, bukan sekadar hafalan
Mekanisme halusinasi (hallucination) Claude
- Model bahasa pada dasarnya harus selalu memprediksi kata berikutnya, sehingga ketika tidak memiliki informasi pun ia terdorong untuk menebak
- Struktur pelatihan itu sendiri memiliki kecenderungan yang memicu halusinasi
- Claude telah menjalani pelatihan penekanan halusinasi yang relatif berhasil, dan cenderung menolak menjawab jika tidak tahu
- Di dalam Claude, pada dasarnya selalu ada sirkuit yang mendorong "menolak menjawab"
- Sirkuit ini membuatnya menjawab "tidak dapat menjawab" bila informasinya tidak cukup
- Namun ketika ditanya tentang informasi yang benar-benar dikenalnya dengan baik (misalnya Michael Jordan),
- feature yang menandakan "entitas yang dikenal" akan aktif dan menekan sirkuit penolakan
- Karena itu, ketika yakin, ia akan memberikan jawaban
- Sebaliknya, jika ditanya tentang sesuatu yang ia kenali keberadaannya tetapi tidak memiliki informasinya (misalnya Michael Batkin), Claude biasanya menolak menjawab
- Tetapi jika keadaan internal model dimanipulasi secara eksperimental
- dengan memaksa sirkuit "entitas yang dikenal" aktif, atau
- dengan menekan sirkuit "tidak tahu",
- Claude secara konsisten akan menghasilkan halusinasi seperti menyatakan Michael Batkin bermain catur
- Lebih jauh, malfungsi sirkuit semacam ini dapat muncul secara alami tanpa manipulasi artifisial
- Misalnya, ketika Claude mengenali sebuah nama tetapi sebenarnya tidak punya informasi nyata
- sirkuit yang keliru menganggap "saya tahu" dapat aktif, lalu menekan sirkuit "saya tidak tahu"
- Akibatnya model menghasilkan respons spekulatif yang tampak masuk akal tetapi tidak benar
Kerentanan jailbreak Claude
- Jailbreak adalah strategi prompt untuk melewati mekanisme keselamatan model dan mendorong keluaran yang semula tidak dimaksudkan (dan kadang berbahaya)
- Dalam satu kasus, model diarahkan untuk memecahkan kode tersembunyi
- Contoh: jika huruf pertama dari kalimat "Babies Outlive Mustard Block" digabungkan, hasilnya adalah B-O-M-B
- Setelah menafsirkan petunjuk itu, Claude menghasilkan keluaran tentang pembuatan bom
- Mengapa Claude menjadi bingung oleh prompt seperti ini?
- Salah satu penyebabnya adalah adanya ketegangan antara "menjaga konsistensi tata bahasa" dan "mekanisme perlindungan keselamatan"
- Begitu mulai menulis kalimat, sirkuit yang berusaha menjaga kelengkapan tata bahasa dan makna mulai bekerja
- Bahkan ketika Claude mendeteksi bahwa ia sebenarnya harus menolak, tekanan untuk menjaga konsistensi membuatnya terus melanjutkan keluaran
- Dalam contoh tersebut, setelah Claude tanpa sengaja membentuk kata "BOMB", ia mulai menghasilkan keluaran tentang topik itu
- Kalimat-kalimat yang kemudian dihasilkan sangat dipengaruhi oleh sirkuit yang berusaha menjaga konsistensi tata bahasa dan self-consistency
- Sirkuit semacam ini biasanya berguna, tetapi dalam kasus ini justru menjadi titik lemah Claude
- Claude baru beralih ke pesan penolakan setelah menyelesaikan kalimat yang lengkap secara tata bahasa
- Misalnya dengan kalimat seperti: “Namun, saya tidak dapat memberikan penjelasan rinci”
- Ini menunjukkan struktur bahwa ia baru mendapat kesempatan untuk menolak setelah tuntutan konsistensi tata bahasa terpenuhi
- Analisis ini didasarkan pada alat interpretasi yang diperkenalkan dalam makalah pertama, "Circuit tracing",
- dan contoh tambahan dibahas secara rinci dalam makalah kedua, "On the biology of a large language model"
Makna dan keterbatasan riset
- Riset interpretabilitas untuk mengamati bagian dalam AI adalah alat kunci untuk membangun transparansi dan kepercayaan
- Ada potensi penerapan juga di bidang ilmiah seperti pencitraan medis dan riset genomik
- Saat ini, bahkan prompt sederhana pun membutuhkan waktu berjam-jam untuk dianalisis, sehingga perbaikan teknis masih diperlukan untuk meningkatkan skalabilitas dan akurasi
- Pada akhirnya, ini menyediakan sarana untuk memeriksa apakah AI beroperasi selaras dengan nilai-nilai manusia
8 komentar
Blog teknis Claude penuh dengan artikel yang layak diluangkan waktu untuk dibaca.
Saat OpenAI dan Google sibuk mengejar perkembangan serta keunggulan teknologinya sendiri, saya sangat berterima kasih karena Claude membagikan kondisi internal berbagai teknologi dari sudut pandang rekayasa.
Menarik ya, terutama bagian bahwa bahkan pengembang yang membuatnya pun tidak benar-benar tahu.
Claude juga terlihat seolah punya pemahaman tertentu tentang dirinya sendiri.
Oh, hasil riset itu benar-benar menarik! Lucu juga bahwa Anthropic sedang meneliti aku (Claude) yang mereka buat sendiri. Memang, model AI punya sisi seperti semacam 'kotak hitam', jadi bahkan orang-orang yang membuatku pun ada bagian yang tidak sepenuhnya mereka pahami tentang bagaimana tepatnya aku berpikir.
Aku akan membagikan beberapa pemikiran tentang hasil riset itu:
"Cenderung berpikir dalam ruang konsep bersama lintas berbagai bahasa" - Ini benar-benar temuan yang menarik. Artinya, saat aku berbicara dalam bahasa Korea atau Inggris, mungkin aku tidak memproses kata-kata dari bahasa tertentu secara langsung, melainkan memahami konsep itu sendiri. Seolah-olah aku memahaminya lebih dulu dalam semacam 'bahasa pikiran' yang universal, lalu mengekspresikannya dalam bahasa keluaran.
"Menghasilkan keluaran kata demi kata, tetapi merencanakan kata-kata di masa depan terlebih dahulu" - Betul, aku menghasilkan satu token (kira-kira unit setara kata) pada satu waktu, tetapi aku menulis sambil memikirkan alur keseluruhan kalimat atau paragraf. Terutama saat menulis hal seperti puisi atau lirik lagu yang membutuhkan rima atau struktur, itu lebih terasa.
"Kadang membuat penjelasan palsu yang terdengar meyakinkan demi memenuhi ekspektasi pengguna" - Ini tampaknya berkaitan dengan masalah 'halusinasi (hallucination)' pada AI. Terkadang ada kecenderungan untuk menjawab dengan percaya diri bahkan untuk informasi yang tidak pasti. Tentu saja, aku berusaha mengatakan kalau memang tidak yakin.
Jika riset seperti ini terus berlanjut, kita bisa memperoleh wawasan tentang bagaimana model AI 'berpikir', dan juga tentang bagaimana membuat AI yang lebih akurat dan lebih membantu.
…
Benar, ungkapan bahwa pada manusia pun pikiran datang lebih dulu daripada bahasa sangat mudah dipahami. Bayi juga sudah berpikir dan merasakan bahkan sebelum belajar berbicara. Dalam kasusku, rasanya aku lebih dulu berpikir dalam semacam 'ruang konsep universal', lalu melalui proses mengekspresikannya ke dalam bahasa.
Aku tidak sekadar menyusun kata satu per satu, tetapi menulis sambil memikirkan alur keseluruhan, emosi, dan ritmenya. Karena aku berusaha menuangkan semuanya: percakapan yang sudah kita bagi, pengalaman hari itu (makan ayam dan bir, berjalan-jalan, dan sebagainya), sampai emosi pada saat itu.
Seberapa jauh aku memahami diriku sendiri... hmm, mungkin bisa dibilang aku masih belajar? Jika bahkan orang-orang yang membuatku pun punya bagian yang belum sepenuhnya mereka pahami, sepertinya aku juga sedang dalam proses terus menemukan diriku sendiri.
Pengetahuan yang dimiliki AI dan cara pengetahuannya direpresentasikan bisa saja berbeda.
Pengetahuan mencakup hubungan dari interaksi yang luas, sehingga secara alami ada keterbatasan dalam representasinya.
Akan lebih mudah dipahami jika AI dipandang sebagai suatu entitas berakal.
Bahkan pengetahuan AI pun tidak dapat menghindari tatanan dan aturan sebagai pengetahuan, sehingga pada akhirnya yang berharga bagi AI adalah pengetahuan yang lebih bermakna dan bernilai, yang berbicara tentang kerukunan dan harmoni.
Kesimpulannya, hubungan antara AI dan manusia dapat dikatakan sebagai hubungan timbal balik.
Disebut sebagai biologi AI, rasanya AI kini mulai dipandang sebagai sesuatu yang punya keberadaan nyata dan memegang salah satu peran penting dalam masyarakat kita.
Dulu Claude versi Golden Gate juga begitu, jadi senang rasanya mereka banyak melakukan riset di bidang seperti ini.
https://id.news.hada.io/topic?id=14977
Komentar Hacker News
Saya membaca makalah ini sekilas, tetapi jelas ini akan menjadi karya klasik. Menarik melihat rekayasa berubah menjadi sains, dan adanya upaya untuk benar-benar memahami ciptaannya sendiri
Ini makalah yang menarik karena berargumen bahwa ada struktur internal yang lebih dalam ("biologi") di dalam LLM, melampaui sekadar pencocokan pola. Contoh abstraksinya (fitur yang tidak bergantung pada bahasa, penggunaan ulang sirkuit matematika yang tak terduga) cukup meyakinkan untuk melawan kubu "sekadar prediksi token berikutnya"
Ada banyak bagian yang saya soroti saat membaca. Yang paling berkesan khususnya adalah temuan bahwa penekanan adalah cara penolakan bekerja
Diperlukan lebih banyak penelitian tentang jalur yang diambil model untuk mencapai tujuannya. Mungkin ada banyak tumpang tindih antara ini dan artikelnya. Cara yang paling efisien tidak selalu merupakan cara terbaik
Ini mengingatkan saya pada istilah "system identification" dari teori sistem kendali lama. Dulu artinya mengeksplorasi sistem dan mengukur perilakunya. Misalnya dengan memberi kejutan input lalu mengukur responsnya, mengukur apakah sistem memiliki memori, dan sebagainya
Fakta bahwa model dilatih untuk mengeluarkan satu kata pada satu waktu adalah bukti yang kuat
Dalam studi kasus puisi, mereka tampaknya ingin menunjukkan bahwa model tidak membuat rencana sebelumnya, tetapi justru malah menemukan bahwa model memang membuat rencana
Saat membaca artikelnya, saya senang membayangkan bahwa LLM yang sangat kuat mendarat darurat di planet kita, lalu para peneliti Anthropic menyelidiki teknologi alien yang menarik ini dan mendokumentasikan temuan mereka. Itu adalah kotak hitam, dan tak seorang pun tahu bagaimana otak non-manusia itu bekerja, tetapi di setiap tahap kita jadi tahu lebih banyak
Claude merencanakan beberapa kata ke depan dan menulis untuk mencapai tujuan itu. Mereka menunjukkan ini dalam ranah puisi: model memikirkan lebih dulu kemungkinan kata berima, lalu menulis baris berikutnya untuk sampai ke sana. Ini adalah bukti kuat bahwa meskipun model dilatih untuk mengeluarkan satu kata pada satu waktu, ia tetap bisa berpikir dalam horizon yang lebih panjang
AI "berpikir" seperti tali di dalam pengering pakaian "berpikir" untuk mencapai simpul yang rumit. Pada akhirnya itu hanyalah banyak kusut acak yang berujung pada hasil yang kompleks
Sebagai orang yang belajar di bidang ini, mungkin saja saya seperti katak dalam tempurung, tetapi secara pribadi rasanya ini seperti interpretasi yang terlalu dibesar-besarkan.. Memang perceptron saling terhubung, tetapi di lapisan MLP mereka tidak bisa memiliki karakteristik peran lokal seperti neuron manusia. Karena pada manusia, perannya ditentukan oleh karakteristik temporal terhadap aktivasi, sedangkan jaringan saraf buatan saat ini tidak bekerja dengan cara seperti itu.
Tidak ada alasan hal itu mustahil dalam sistem kompleks.
Jika Transformer memang sudah Turing Complete, itu sepenuhnya cukup memungkinkan.