Semua Model AI Mungkin Sama

• Platonic Representation Hypothesis (hipotesis representasi Idea) menyatakan bahwa ketika model AI makin besar dan makin cerdas, secara internal mereka akan berkumpul menuju ruang representasi yang serupa
• Melalui konsep compression pada model bahasa, kecerdasan ditafsirkan sebagai kemampuan kompresi data, dan dijelaskan bahwa saat model melakukan generalisasi, kemiripan metodenya menjadi lebih tinggi
• Dengan menganalisis masalah embedding inversion, PRH menyiratkan bahwa ruang embedding antar model yang berbeda dapat disejajarkan dengan metode seperti CycleGAN
• Eksperimen seperti Sparse Autoencoder menunjukkan bahwa jaringan yang sangat berbeda pun menemukan konsep dan sirkuit yang sama atau mirip
• Wawasan ini membuka potensi aplikasi praktis yang besar, seperti menguraikan aksara kuno yang belum terpecahkan atau bahasa hewan

---

Pendahuluan: permainan Mussolini atau Bread dan berbagi makna

• Penulis menggunakan permainan "Mussolini atau Bread" sebagai contoh untuk memperkenalkan cara menebak objek yang dipikirkan lawan dengan mempersempit pertanyaan secara berulang
• Alasan permainan ini bisa berjalan adalah karena adanya ruang makna bersama (semantics) di antara manusia
• Ditekankan bahwa banyak orang, bahkan tanpa aturan khusus, umumnya dapat memahami secara intuitif "kedekatan" makna

Semantik universal: kompresi dunia dan model

• Seperti permainan ini, otak manusia membangun model kompleks tentang dunia nyata dengan cara yang serupa
• Dari sudut pandang algoritmik, AI belajar dengan mengompresi data dunia semaksimal mungkin
• Tugas generasi bahasa alami dapat dipandang sebagai pekerjaan kompresi berbasis distribusi probabilitas (teori informasi Shannon)
• Ini menyiratkan bahwa semakin baik model mengompresi data, semakin dalam ia memahami dunia nyata
• Dalam praktiknya, model bahasa yang lebih besar menunjukkan kemampuan kompresi data yang lebih baik dan kecerdasan yang lebih tinggi
• Ketika dataset menjadi terlalu besar sehingga mengingat tiap titik data secara individual tidak lagi mungkin, model mulai menggabungkan data dan melakukan generalisasi

Platonic Representation Hypothesis (hipotesis representasi Idea)

• Peneliti MIT memformalkan "Platonic Representation Hypothesis" pada tahun 2024
• Menurut hipotesis ini, semakin besar skala model AI, semakin banyak feature yang dibagikan, dan ruang representasinya menjadi selaras secara serupa
• Hal ini telah diamati secara eksperimental di berbagai domain seperti bahasa dan visi
• Seiring model berkembang setiap tahun menjadi lebih besar dan lebih efisien, diperkirakan kemiripan ruang representasi antar model akan terus meningkat

Masalah embedding inversion

• Penulis menjelaskan pengalamannya meneliti masalah embedding inversion, yaitu menyimpulkan kembali teks input asli dari vektor embedding
• Sebelumnya, pada ImageNet dan lainnya, sudah ada kasus pemulihan informasi yang mendekati gambar asli hanya dari nilai probabilitas
• Embedding bahasa alami tampak kaya informasi, tetapi karena teks yang mirip memiliki embedding yang mirip, inferensi balik yang jelas menjadi sangat sulit
• Untuk itu, dikonfirmasi bahwa teknik iterative refinement yang mendekati teks makin akurat lewat pencarian dan optimasi embedding berulang sangat efektif
• Dengan metode tersebut, ditunjukkan secara empiris kemungkinan inversi dengan akurasi di atas 94% pada tingkat kalimat panjang

Generalisasi embedding inversion dengan hipotesis Idea

• Namun, metode yang ada hanya dapat diterapkan pada model embedding tertentu, dan memiliki keterbatasan pada model baru atau model privat
• Jika PRH benar, maka dimungkinkan membuat inverter embedding universal yang bekerja di antara berbagai model
• Selama beberapa tahun, penulis meneliti kemungkinan menyelaraskan ruang dengan pendekatan CycleGAN ketika diberikan dua himpunan embedding berbeda (A, B) yang pasangannya tidak diketahui
• Hasilnya, ia berhasil mengonversi antar dua ruang embedding dengan metode unsupervised matching tanpa fine-tuning tambahan (vec2vec)
• Melalui hal ini, dibuktikan bahwa embedding basis data arbitrer dapat diterjemahkan atau diinferensikan balik bahkan tanpa informasi individual tentang tiap embedding

Kemungkinan interpretasi mesin: Universal Circuits

• Dalam riset analisis sirkuit di bidang Mechanistic Interpretability, ditemukan fungsi internal bersama meskipun struktur model berbeda
• Hasil penerapan Sparse Autoencoder (SAE) menunjukkan bahwa bahkan ketika dilatih secara independen pada model yang berbeda, terdapat redundansi yang cukup besar dalam feature yang dapat diinterpretasikan
• Dengan membandingkan feature dari dua SAE, dimungkinkan penyelarasan konsep lintas model
• Jika PRH lebih akurat dari yang diduga, fenomena ini diharapkan akan semakin menonjol pada model yang lebih kuat

Implikasi praktis dan prospek

• Hipotesis representasi Idea, selain memiliki implikasi filosofis yang mendalam, juga menawarkan kemungkinan praktis dalam interpretasi model, inversi, dekripsi sinyal, dan pemulihan bahasa
• Ke depan, jika teknik interpretasi makin berkembang, diperkirakan bahwa pada model yang lebih besar akan semakin umum menemukan penyelarasan ruang representasi dan kesamaan internal
• Ada kemungkinan bahwa penguraian aksara kuno yang selama ini mustahil dipecahkan, seperti Linear A, atau interpretasi bahasa hewan (misalnya vokalisasi paus), kelak dapat terwujud
• Metode saat ini seperti vec2vec masih memiliki kelemahan, tetapi sudah menunjukkan keberhasilan yang cukup besar pada embedding berbasis internet serta image-text
• Ini juga menyiratkan adanya kemungkinan dekripsi di masa depan untuk konversi ruang antarbahasa maupun transformasi bahasa paus → bahasa manusia

[GN⁺]

Komentar Hacker News

• Fenomena bahwa semua orang mempelajari konsep yang mirip seperti "anjing", "rumah", "manusia", dan "perahu" sangat menarik, seperti teori Idea Plato; meski tumbuh di lingkungan berbeda dan pengalaman pengamatannya tidak saling tumpang tindih, pada akhirnya kita tetap mencapai kesepakatan tentang konsep yang sama. Large language model (LLM) juga menunjukkan pembelajaran yang serupa, tetapi karena data pelatihannya banyak bertumpang tindih, hal ini tidak seajaib pada manusia. Jika nilai universal seperti moralitas atau kebajikan yang ditunjuk Plato lewat 'Idea tentang Kebaikan' benar-benar ada, maka ada harapan bahwa nilai seperti itu juga bisa diajarkan kepada LLM agar mereka mengikutinya atau menolak permintaan yang bertentangan dengannya.
  • Konsep seperti "baik" atau "adil" jauh lebih rumit tergantung situasinya. Kita mungkin bisa sepakat tentang benda sederhana seperti perahu atau rumah, tetapi dalam isu moral seperti aborsi, eutanasia, serta eksperimen pada hewan dan sel punca, sudut pandang sangat berbeda bahkan di dalam masyarakat yang sama. Sebagai contoh, lihat grafik hasil survei Gallup 2010.
  • Kata "kurang lebih" memikul terlalu banyak beban untuk menopang klaim bahwa Plato benar. Kita hidup dalam realitas bersama dengan hukum fisika dan tekanan evolusi yang sama, jadi cara perahu bisa mengapung di air memang terbatas. Namun itu tidak berarti ada Idea ala Plato yang sungguh-sungguh eksis sehingga semua orang mencapai konsep yang persis sama. Dalam praktiknya, kata-kata seperti "kebebasan", "ekonomi", dan "pemerintah" juga punya definisi dan interpretasi berbeda bagi tiap orang; tata bahasanya mungkin sama sehingga tampak mirip di permukaan, tetapi konsep sebenarnya berbeda.
  • Pada akhirnya saya memahaminya sebagai konsep archetype Jung.
• Contoh mengubah embedding kembali menjadi teks tidak mendukung gagasan "model statistik dari realitas bersama". Sulit bahkan membayangkan versi bahasa paus dari kalimat "Mage (foaled April 18, 2020) is an American Thoroughbred racehorse who won the 2023 Kentucky Derby"; Kentucky, Derby, kalender Gregorian, Amerika, dan ras kuda semuanya adalah artefak yang menjadi penting karena kebetulan historis dan budaya manusia. Pada akhirnya ini hanyalah fenomena statistik menjadi mirip karena semuanya dilatih pada tumpukan data yang sama.
  • Terlepas dari apakah Kentucky Derby merupakan "inti realitas" atau tidak, untuk memodelkan realitas secara 100% akurat, Anda memang harus tahu tentang Kentucky Derby. Penulis berargumen bahwa model pada akhirnya sedang berkonvergensi ke representasi yang lebih dekat dengan Idea Platonik. Jika ada model sepenuhnya otonom dengan kemampuan konversi sempurna, saya rasa konsep seperti "balapan kuda" atau "kuda yang memenangkan balapan" tetap bisa disampaikan bahkan di ruang berdimensi tinggi. Terlepas dari apakah teori Idea Plato benar atau tidak, itu persoalan terpisah dari apakah LLM saat ini benar-benar sudah mampu sejauh itu.
  • Mengklaim bahwa realitas sepenuhnya bersifat kultural tidak banyak artinya. Hal yang sama bisa diterapkan pada fakta ilmiah; gravitasi tetap ada meski paus tidak mengenal kata sains. Jika LLM hanya mempelajari teori gravitasi Newton lalu general relativity (GR) muncul, penjelasan GR terhadap realitas tidak berubah hanya karena data pelatihan tidak memuat GR. Selain itu, mungkin mustahil menerjemahkan GR ke dalam nyanyian paus, tetapi ia tetap bisa disampaikan lewat bahasa Inggris-bahasa Mandarin-model ML-konsep di dalam otak; itulah yang dimaksud dengan 'model statistik realitas bersama'. Meski kita tak bisa menerjemahkan GR ke ocehan bayi, sifat realistis GR tidak berubah.
  • Sulit melihat LLM sebagai sesuatu yang berkonvergensi ke model statistik realitas; yang sebenarnya terjadi, ia hanya berkonvergensi ke model statistik dari data pelatihannya. Hanya saja karena data pelatihannya sangat besar, ia tampak menemukan sesuatu yang umum bagi semua teks. Ini tampaknya tidak akan mengungkap kebenaran inti realitas, tetapi bisa membantu menjelaskan fenomena seperti "ketika kita memakai ungkapan idiomatis ini, semua orang memahami maksudnya".
  • Kalimat "Mage (foaled April 18, 2020) is an American Thoroughbred racehorse who won the 2023 Kentucky Derby" juga hampir mustahil diterjemahkan ke bahasa Yunani atau sebagian bahasa pribumi modern, karena sama sekali tidak ada konteks bersama tentang budaya tersebut. Dibutuhkan glosarium, atau LLM harus bertindak sebagai glosarium itu sendiri agar bisa dipahami. Namun, LLM papan atas saat ini sudah dapat menjelaskan konsep dari level mikro hingga makro seperti QCD, gravitasi, dan fenomena budaya. Jika benar-benar harus menerjemahkannya ke bahasa baru, mungkin kita bisa mulai dari konsep dasar lalu perlahan membangun strukturnya. Pada akhirnya, kemampuan LLM menerjemahkan bahasa manusia secara dasar tanpa supervisi terpisah juga muncul dari kemampuan semacam ini.
  • Isu ini bisa diuji dengan mudah dengan melatih dua model pada dataset yang benar-benar berbeda, misalnya satu khusus teks Tiongkok kuno dan satu khusus bahasa Yunani kuno, lalu melihat apakah struktur yang mirip muncul.
• Harapan bahwa "kita bisa menerjemahkan bahasa paus atau bahasa kuno" terlalu optimistis. Hal terpenting dalam bahasa adalah konteks. AI pandai berbahasa karena ada miliaran teks yang ditinggalkan manusia berdasarkan pengalaman mereka, sedangkan paus tidak punya data seperti itu.
  • Ini memunculkan pertanyaan, "Jika singa bisa berbicara, akankah kita bisa memahaminya?"
  • Dunia di sekitar kita adalah pengalaman bersama bagi manusia, paus, dan hewan lain. Jika mempertimbangkan hal ini, maka ada juga titik temu yang dibagi antara paus dan manusia.
  • Yang penting adalah apakah ada "ruang representasi bersama antarbahasa". Jika ada, struktur tiap bahasa dan pemetaan terjemahannya bisa dipelajari secara terpisah. Bagian kedua ini, yang disebut "universal embedding inverter", mungkin lebih mudah dipelajari, dan jika strukturnya cukup khas maka bisa dipetakan ke ruang representasi bersama lalu dimanfaatkan. Jika terjemahan tanpa konteks memang memungkinkan—meski untuk saat ini masih spekulasi penuh harapan—ini tetap layak diteliti tanpa prasangka.
  • Jika gorila atau gajah—keduanya sangat cerdas—diajari memberi nama pada objek dan memakai simbol, saya percaya mereka juga akan mampu mewariskan pengalaman dan kebijaksanaan lintas generasi, serta menunjukkan kecerdasan yang tak kalah dari kita secara diam-diam. Saya tertarik pada proyek lumba-lumba Google Gemma, tetapi karena manusia adalah hewan darat, saya berharap subjek penelitiannya adalah gajah, bukan lumba-lumba. Dengan begitu, umpan balik penelitian bisa didapat langsung di darat dan riset dasar bisa lebih difokuskan.
• Pendekatan seperti ini hanya bekerja ketika distribusi karakteristik dan relasi semantik dari tiap sumber cukup mirip. Dalam permainan MB (seperti Mussolini vs Bread dan sejenisnya), semuanya gagal jika lawan memilih tokoh yang tidak saya kenal. Saya mungkin tidak menangkap referensinya, atau penilaian jarak semantiknya berbeda. Pakar harus bermain dengan sesama pakar, orang awam dengan sesama orang awam, agar levelnya cocok dan benar-benar berhasil. Penguraian dokumen kuno juga punya masalah yang sama; jika peradaban kuno berfokus pada konsep yang sama sekali berbeda dari masa kini, memahami mereka lewat embedding makna modern menjadi nyaris mustahil.
  • Setiap kali memainkan permainan MB dengan teman-teman — kalau kategorinya tokoh, saya belum pernah benar-benar berhasil menebak dengan tepat sampai akhir.
• Dalam contoh permainan Mussolini vs Bread, penalaran bahwa "ini pasti tokoh manusia" tidak sah secara logis. Pada hewan pun bisa saja ada lebih banyak jawaban yang cocok.
  • Lelucon ini intinya adalah humor bahwa David Beckham terasa kurang manusiawi sampai-sampai dibandingkan dengan personifikasi kejahatan pun begitu.
  • Logikanya memang longgar, tetapi intinya justru orang tetap bisa menebak jawabannya meski penjelasannya kurang. Itu berarti manusia memiliki ruang makna fuzzy yang sama.
  • Saya juga sependapat dengan penulis. Kata yang akan saya pilih mungkin "senapan" atau "artileri", dan itu juga bisa menembus celah logika ini. Contoh semacam ini juga mengisyaratkan mengapa pencarian embedding murni saja tidak cukup untuk menyelesaikan masalah RAG (retrieval-augmented generation).
  • Mohon maklumi kekeliruan logika kecil ini.
  • Jawaban meleset seperti Oswald Mosley juga bisa muncul.
• Saya tidak setuju dengan klaim bahwa "alasan permainan ini bekerja adalah karena benda-benda di dunia hanya saling terkait dalam satu cara". Ada beragam hubungan, dan hubungan-hubungan itu juga berasal dari realitas tempat kita hidup. Sepertinya kata "cara" dipakai dalam beberapa makna berbeda, dan kutipannya ditulis terlalu ambigu sehingga membingungkan.
• Saya setuju bahwa LLM sedang berkonvergensi pada representasi realitas saat ini sebagai hasil karya kolektif umat manusia. Sekarang AI perlu diberi input sensorik real-time, hormon virtual dengan half-life berbeda berdasarkan dialog dan penggunaan energi, loop berpikir yang selalu aktif, bahkan psilocybin buatan untuk memicu koneksi saraf yang kreatif. Jika manusia punya teori stoned ape, maka AI juga butuh teori stoned AI.
  • Mungkin kita juga bisa menjadikan AI sebagai atraksi untuk pengunjung taman hiburan, lalu memberi Anthony Hopkins hak mengelola source code-nya; memangnya apa yang bisa salah?
  • Saya mulai bosan membaca tulisan tentang AI, tetapi kalau ada berita berjudul "kita memberi jamur ke AI", saya pasti langsung klik.
• Saat membaca kalimat bahwa "saya sama sekali tidak bisa memahami presentasi Ilya tentang intelligence-compression", saya jadi bertanya-tanya apakah Marcus Hutter telah dilupakan. Kalau begitu, saya rasa Hutter Prize juga sangat layak untuk ditinjau kembali.
• Saya mencoba bertanya tentang piezoelectric effect ke Grok, o3-pro, dan Claude. Semuanya memberi jawaban yang benar, tetapi hanya Claude yang juga menunjukkan efek sekunder yang muncul pada use case nyata. Ketiga model itu mungkin menjelajahi ruang yang sama, tetapi Claude memberi sudut pandang yang satu tingkat lebih dalam.
  • Ada satu hal yang membuat penasaran: saya ingin tahu apakah itu Grok 3 atau 4.
• Tao yang dapat diucapkan bukanlah Tao yang kekal. Jika ditanya apa itu Tao, saya melihatnya sebagai 'kehendak' — kehendak bisa diekspresikan manusia lewat bahasa. Kehendak yang sama bisa dinyatakan dalam bahasa Mandarin, Jepang, maupun Inggris, dan bahasa hanyalah representasi yang berbeda. Large language model juga mempelajari kehendak melalui token kata, dan ketika kemudian mengekspresikannya, ia mewujudkan Tao. Dalam arti itu, saya setuju dengan klaim bahwa “model AI pada dasarnya bisa semuanya sama.”