- Deep learning dapat dipahami sebagai rangkaian transformasi topologis yang mengubah data dengan cara yang bermakna
- Jaringan saraf bekerja sebagai pembangkit topologi yang mentransformasikan data di ruang berdimensi tinggi sehingga data yang semula tidak dapat dipisahkan menjadi dapat dibedakan
- Data berada di atas manifold berdimensi tinggi, dan jaringan saraf mempelajari struktur manifold tersebut untuk tugas klasifikasi, penerjemahan, dan penalaran yang bermakna
- Dalam riset AI modern, berbagai teknik supervised learning dan reinforcement learning (seperti RLHF) diperkenalkan untuk berpindah ke titik yang lebih baik di atas manifold penalaran
- Jaringan saraf itu sendiri, gambar, teks, logika penalaran, dan semua informasi lain dapat direpresentasikan sebagai manifold, dan jaringan saraf berfungsi sebagai penemu topologi universal
Hubungan Deep Learning dan Topologi
- Topologi adalah cabang matematika yang mempelajari sifat-sifat yang tidak berubah selama proses deformasi suatu objek
- Jaringan saraf deep learning berulang kali menerapkan transformasi linear dan non-linear pada data masukan di berbagai dimensi (mis. perkalian matriks, tanh), sehingga secara bertahap mengubah distribusi dan struktur data
- Setiap operasi pada lapisan jaringan saraf dapat ditafsirkan sebagai transformasi geometris, dan ketika transformasi ini terakumulasi, struktur data yang kompleks dapat dipisahkan dan diklasifikasikan
- Karakteristik ini memungkinkan pembedaan kelas-kelas kompleks dalam berbagai dataset yang awalnya tidak bisa dipisahkan hanya dengan satu garis atau bidang
Ekspansi Dimensi dan Pemisahan Data
- Data yang saling bertumpuk dan tidak dapat dibedakan di bidang dua dimensi dapat dengan mudah dipisahkan ketika dipindahkan ke dimensi yang lebih tinggi
- Tidak seperti manusia, jaringan saraf dapat beroperasi pada dimensi yang arbitrer sangat tinggi, sehingga mampu menangani pola data yang sangat kompleks
- Sebagai contoh, masalah klasifikasi seperti anjing dan kucing dalam foto dapat direkonstruksi menjadi struktur (manifold) yang dapat dibedakan secara matematis di ruang berdimensi tinggi
Makna dan Peran Jaringan Saraf Dalam
- Jaringan saraf adalah "alat pembangkit topologi" yang menata ulang data masukan menjadi struktur yang bermakna
- Fungsi loss mendefinisikan sifat apa dari data yang akan dipelajari, dan membentuk permukaan (topologi) yang sesuai untuk berbagai tugas seperti klasifikasi, penerjemahan, dan prediksi
- Semua data yang bermakna (teks, gambar, suara, dan lain-lain) disimpan sebagai vektor numerik berdimensi tinggi (embedding vector), sehingga operasi matematis yang fleksibel dapat dilakukan di dalam ruang ini
Manifold dan Representasi Makna
- Warna, gambar, kata, bahkan klasifikasi furnitur, semua informasi dan konsep berada di atas ruang manifold berdimensi tinggi tertentu
- Sebagai contoh, semua nilai piksel dari gambar RGB direpresentasikan sebagai vektor raksasa, sehingga transformasi dan kemiripan yang bermakna dapat dianalisis di atas manifold gambar
- Melalui operasi embedding, konsep-konsep yang berhubungan secara semantik (mis. "king" - "man" + "woman" = "queen") dapat ditempatkan berdekatan satu sama lain
Pendekatan Manifold terhadap Jaringan Saraf, Penalaran, dan Strategi Pembelajaran
- Penalaran manusia itu sendiri dapat dimodelkan sebagai klaster di atas manifold berdimensi tinggi, dan jaringan saraf bergerak secara bertahap menuju penalaran yang lebih baik dengan mengikutinya
- Keterbatasan model bahasa besar (LLM) saat ini adalah bahwa statistik bahasa murni saja (next-token prediction) tidak cukup untuk mencapai penalaran setingkat manusia
- Untuk mengatasi hal ini, berbagai pendekatan berbasis reinforcement learning digunakan, termasuk supervised learning, RLHF, Chain-of-Thought, dan pengumpulan reasoning trace berkualitas tinggi
- Untuk model penalaran yang tangguh, makalah seperti Deepseek R1 baru-baru ini mencoba secara otomatis menyeleksi 'penalaran yang baik' berdasarkan kriteria objektif (mis. unit test, benar atau tidaknya jawaban soal matematika), guna mengatasi keterbatasan dan biaya evaluasi manusia yang ada selama ini
Pemanfaatan Struktur Manifold pada Jaringan Saraf dan Model Itu Sendiri
- Semua parameter (bobot) jaringan saraf juga dapat direpresentasikan sebagai satu vektor raksasa, dan ini dapat ditafsirkan sebagai manifold di atas berbagai ruang makna (semantic space)
- Konsep model diffusion untuk pembuatan gambar dapat diperluas ke ruang parameter jaringan saraf juga, sehingga beragam karakteristik model pretrained yang sudah ada bisa dimanfaatkan kembali secara efisien, atau digunakan untuk inisialisasi cepat dan pembuatan model baru
- Perkembangan teknik untuk menjelajahi ruang embedding model dapat memungkinkan pengembangan AI yang lebih cepat dan lebih efektif di masa depan
Kesimpulan dan Implikasi
- Bidang deep learning masih cenderung informal dan bergantung pada intuisi, tetapi cara berpikir topologis sangat membantu dalam memahami prinsip kerja model yang kompleks
- Semakin luas pemahaman terhadap ruang embedding dan struktur manifold, semakin besar pula peluang untuk pengembangan dan analisis AI yang lebih praktis dan sistematis
1 komentar
Opini Hacker News
Untuk tulisan ini, yang ditulis berdasarkan posting blog saya pada 2014, saya pernah berusaha sangat serius menggunakan topologi sebagai cara untuk memahami jaringan saraf. Hasilnya pernah saya bagikan dalam dua tulisan lanjutan berikut
Dalam proses mencoba memahami bagian dalam jaringan saraf, ada aspek-aspek di mana sudut pandang topologis terasa berguna, tetapi dari hasil eksplorasi hampir 10 tahun, saya merasa pendekatan topologis tidak banyak membantu secara besar
Hal yang lebih efektif saya pelajari adalah sebagai berikut
Untuk bacaan terkait, saya merekomendasikan tulisan-tulisan berikut
Terkait cara memahami jaringan saraf, saya sering memikirkan kesalahpahaman seperti berikut
Saya sering melihat nuansa yang menyamakan LLM dengan model n-gram dalam reaksi populer terhadap posting RNN Karpathy atau dalam makalah ‘stochastic parrot’. Dulu kedua pendekatan itu memang dianggap agak lebih mirip, tetapi setelah model belakangan ini berkembang sangat pesat, penyamaan itu tidak lagi terlalu cocok
Ini mengingatkan saya pada pengalaman saya mencoba menerapkan topologi dalam situasi nyata. Sejak pertama kali belajar topologi pada 2011, saya mencobanya secara berkala sampai sekarang, tetapi saya skeptis terhadap klaim umum bahwa "data nyata mendekati manifold halus berdimensi rendah". Saya ingin mengeksplorasi lebih dalam apakah sifat ini benar-benar berlaku pada data nyata, atau hanya hasil distorsi yang sengaja kita buat lewat metode reduksi dimensi demi efisiensi, tetapi sayangnya saya tidak punya cukup waktu
Saya sudah lama menikmati rangkaian tulisanmu tentang 'circuits'. Hipotesis representasi linear terasa sangat meyakinkan, sampai-sampai saya juga menulis draf awal ulasan untuk Toy Models of Superposition. Namun saya merasa analisis ‘circuits’ terlalu terpusat pada arsitektur Transformer, jadi terasa kurang menarik.
Model seperti GAN, VAE, dan CLIP tampak secara eksplisit memodelkan manifold. Model sederhana pun dalam proses optimisasi bisa mengumpulkan fitur serupa ke arah yang sama, tetapi kadang ada fenomena empiris di mana fitur mirip justru berada pada arah ortogonal. Ini tampaknya lebih berkaitan dengan fungsi loss yang dioptimalkan
Toy Models of Superposition menggunakan MSE, sehingga perilakunya menyerupai tugas regresi atau kompresi autoencoder. Pola interferensi antarfitur yang sering muncul bersama jadi cenderung penting. Tetapi jika tujuannya adalah contrastive loss, saya kira perilaku minimisasi interferensi seperti ini akan berubah
Saya ingin berbagi bahwa dulu pernah ada diskusi Hacker News tentang tulisan lama saya
Neural Networks, Manifolds, and Topology (2014)
Dalam fisika, menarik bahwa simetri global yang berbeda (manifold topologis) bisa memiliki struktur metrik yang sama (geometri lokal). Misalnya, dalam persamaan medan Einstein, solusi tensor metrik yang sama bisa ada pada manifold yang secara topologis berbeda.
Sebaliknya, jika melihat solusi Ising Model, bahkan dengan struktur topologi kisi yang sama bisa ada banyak solusi, dan di dekat titik kritis struktur topologi kisi itu mungkin pada dasarnya tidak penting.
Ini memang hanya analogi sederhana, tetapi memberi petunjuk bahwa detail penting dari dinamika tidak melekat pada topologi sistem. Ceritanya jauh lebih kompleks
Jika topologi benar-benar inti utamanya, kita tidak akan berusaha meratakan manifold agar pencarian kemiripan menjadi lebih mudah. Pada dasarnya yang inti adalah ‘geometri’ dan ukuran yang sesuai dengannya. Dalam kehidupan nyata pun, kita menginginkan struktur yang memungkinkan kita membandingkan benda
Selama pelatihan jaringan saraf, manifold juga berubah secara topologis. Dalam proses itu, muncul pertanyaan seperti "sebenarnya bagaimana topologi berubah selama training?" Secara pribadi saya membayangkan bahwa pada awalnya topologi berfluktuasi keras lalu perlahan stabil, setelah itu baru dilakukan penyesuaian geometris yang lebih halus. Beberapa makalah yang layak dirujuk adalah berikut
Jika pernah menggunakan GAN atau VAE, proses perubahan topologi ini bisa benar-benar diamati. Pada berbagai checkpoint selama training, kita bisa melihat bagaimana titik-titik di ruang berdimensi tinggi bergerak dengan alat seperti UMAP dan TSNE
Proses yang kamu bayangkan, yaitu "perubahan keras di awal lalu stabilisasi, kemudian fine-tuning geometris", memang benar-benar terjadi. Pada saat itu perubahan keras di fase awal juga sangat dipengaruhi oleh learning rate, pilihan optimizer, dan sebagainya
Kalau mau diperdebatkan, yang dibahas di sini sebenarnya bisa disebut aljabar linear terapan, tetapi kalau dibilang begitu rasanya jadi kurang keren
Judulnya sekarang terasa klise dan tidak akurat. Namun saya tetap menikmati isi tulisannya
Topologi adalah cabang matematika yang membahas struktur minimum yang tersisa ketika berbagai kendala geometris seperti jarak, sudut, dan arah dihapus. Sudut pandang topologis berarti hanya melihat keterkaitan esensial yang tetap bertahan bahkan di bawah deformasi yang sangat kuat seperti itu
Konsep topologi bisa berguna dalam machine learning, tetapi dalam praktiknya informasi geometris seperti skala, jarak, dan sudut jauh lebih penting bagi hakikat data. Misalnya, jika skala diabaikan saat membedakan kucing rumahan dari harimau, hasilnya akan konyol
Pendekatan topologis baru berguna ketika ada banyak informasi yang tidak dapat dipercaya, jadi terlalu berlebihan jika menganggap deep learning berbasis topologi
Sesuai yang kamu katakan, topologi berguna bila jarak, sudut, panjang, dan sebagainya tidak bisa dipercaya, dan kenyataannya memang kita menangani data yang tidak bisa dipercaya. Tidak ada makna kalau di ruang piksel gambar, kaleng cola dan rambu berhenti berada cukup dekat. Jaringan saraf benar-benar melakukan ‘deformasi keras’ yang kamu maksud
Saat masuk ke tahap implementasi nyata, detail-detail kecil yang 'seharusnya tidak perlu dipedulikan jika ini benar-benar soal topologi', seperti jumlah layer, quantization, atau resolusi floating-point, justru memainkan peran penting
Istilah ‘topologi’ sendiri secara leksikal punya dua definisi. Menganggap konsep topologi hanya sebagai sifat-sifat yang kamu jadikan premis itu adalah pandangan yang terbatas pada sebagian definisi saja
Saya tidak begitu paham mengapa ide mencari permukaan pemisah dalam tulisan ini disebut 'topologi'.
Misalnya ada penjelasan seperti "jika belajar menerjemahkan, model akan mempelajari topology yang menempatkan bread dan pan, foto kucing dan kata cat, saling berdekatan"; tetapi pembicaraan tentang 'dekat atau jauh' seperti ini justru jauh dari topologi
Dalam ruang topologis, walaupun dua titik dekat, jika ruang itu diregangkan, dua titik itu bisa dibuat cukup jauh sambil tetap berada dalam ‘ruang topologis yang sama’ (itulah inti lelucon ‘cangkir kopi dan donat punya topologi yang sama’)
Sebenarnya, pendekatan aljabar geometri (algebraic geometry) — struktur di mana titik-titik berada di dekat suatu algebraic variety — tampak lebih cocok diterapkan. Pada akhirnya, yang penting adalah geometri dan jarak
Jika harus memberi definisi longgar tentang topologi, saya akan mengatakan bahwa itu adalah studi tentang ruang matematis yang membahas konsep 'dekat dan jauh' (lingkungan, neighborhood) bahkan tanpa adanya 'jarak'. Berbagai definisi tentang himpunan terbuka pada dasarnya adalah memilih suatu topologi, dan dari situ ditentukan sifat-sifat seperti kontinuitas, kekompakan, dan keterhubungan.
Ruang metrik adalah salah satu contoh ruang topologis.
Tentu saja, itu tidak berarti topologi selalu sudut pandang terbaik untuk memahami jaringan saraf. Penulis aslinya sendiri sekarang juga sudah mengubah posisinya
Saya hanya ingin meluruskan kesalahpahaman. Lihat https://en.wikipedia.org/wiki/General_topology
Saya 100% setuju bahwa ini tidak ada hubungannya dengan topology. Kalau ada tulisan tentang topology dan deep learning, saya harap kebingungannya dibatasi hanya pada sisi topology saja
Kata 'topology' yang baru saya tulis tadi saya pakai agak secara idiomatis. Yang lebih tepat sebenarnya saya sebut sebagai 'permukaan pemisah' (surface)
Saya rasa melihat pembelajaran dari sudut pandang manifold adalah ekspresi yang kuat
Di ruang berdimensi tinggi, saya sering merasa reasoning itu sendiri nyaris tak bisa dibedakan dari fakta itu
Saya banyak menulis tentang ‘probabilistic reasoning manifolds’ dalam jurnal pribadi atau komentar berita.
Gagasannya adalah bahwa manifold yang terdiri dari ruang pola pada dasarnya terbentuk melalui pembelajaran probabilistik, dan penalaran nyata berlangsung secara probabilistik, bukan lewat proposisi. Kita mungkin bisa menemukan beberapa 'aksioma' dengan mencari titik tetap atau attractor, tetapi pada akhirnya yang dianalisis adalah manifold probabilistik yang terbentuk dari data input
Penalaran dan data saling terjalin sehingga tidak mungkin dipisahkan sepenuhnya
Mempelajari (mengurai) hubungan nonkontekstual — inilah tepatnya yang disebut 'decontextualization'. Namun agar analisis bisa bermakna dalam situasi atau domain baru, 'recontextualization' harus selalu menyusul.
Untuk penjelasan yang lebih panjang lihat https://news.ycombinator.com/item?id=42871894
Jika hewan sama sekali tidak bisa menangani pernyataan proposisional secara nonprobabilistik, maka itu berarti penalaran logis menjadi mustahil, dan tidak dapat menjelaskan kemampuan bernalar hewan di dunia nyata
Contoh: struktur logika sederhana seperti "jika laba-laba ada di kotak A, maka tidak ada di kotak lain"
Data nyata sebenarnya tidak benar-benar berada pada manifold. Itu hanya konsep pendekatan yang dipakai agar lebih mudah memikirkan data
Hampir semua capaian berguna dalam deep learning dibuat tanpa kaitan dengan topology. Deep learning adalah bidang empiris yang berkembang cepat lewat eksperimen, trial-and-error, dan hanya sedikit inspirasi matematis pun yang dipakai (dan itu juga bukan topology)
Saya sepenuhnya tidak setuju dengan klaim ini. Memang banyak trial-and-error, tetapi ini adalah hasil kerja gabungan banyak teori matematika seperti topology, geometry, game theory, calculus, statistics, dan lain-lain. Bahkan backpropagation sendiri adalah chain rule
Bidang ini sudah menjadi cukup populer dan menguntungkan sampai banyak praktisi bisa memakainya dengan mudah tanpa mengetahui akar teoretisnya
Pada akhirnya, saat menciptakan teori atau teknik baru, sering kali yang sebenarnya terjadi adalah orang tanpa sadar 'menemukan kembali' teori dari bidang lain yang sudah ada lalu memanfaatkannya
Soal klaim bahwa "inspirasi semacam ini sejak awal bukan topologi", menurut saya 'intuisi matematis' seperti ini kebanyakan diterapkan secara retrospektif. Setelah ada terobosan dalam deep learning, para peneliti fisika atau matematika baru belakangan menyadari kemiripannya dengan metode di bidang mereka
Misalnya ada tulisan bahwa GPT hampir sama dengan algoritme yang dulu saya pakai untuk menyelesaikan masalah fisika
https://ondrejcertik.com/blog/2023/…
Saya sudah lebih dari 10 tahun di bidang deep learning, dan klaim bahwa "data tidak berada pada manifold" itu salah. Ada alasan mengapa embedding space disebut 'space'. GAN, VAE, contrastive loss, dan sebagainya benar-benar membangun struktur manifold vektor yang bisa dilalui atau dimanipulasi
Jika definisinya mengizinkan galat aproksimasi, maka data nyata bisa dikatakan berada di atas manifold. Lihat makalah rujukan: Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-Tuning(https://aclanthology.org/2021.acl-long.568.pdf)
Saya merasa deep learning pada tahap sekarang mirip alkimia
Seperti alkimia pada masa sebelum munculnya kimia yang punya dasar teori. Saya kadang berpikir suatu hari nanti umat manusia masa depan mungkin hanya akan mewarisi istilah ‘deep learning’ sebagai sisa bahasa dari masa lalu
Begitu melihat kalimat "pada titik ini kita telah mencapai AGI", tingkat kepercayaan saya langsung turun tajam
Secara umum ide tulisannya memang menarik, tetapi saya merasa sayang karena bagian yang mengaitkannya dengan reasoning dan kurangnya pembahasan teknis yang lebih mendalam membuatnya terasa agak fluffy. Sudah ada riset yang jauh lebih konkret dari ini (mis. https://arxiv.org/abs/1402.1869)
Jenis topology lain yang juga banyak dibahas dalam DNN adalah network topology. Yakni struktur tentang bagaimana node terhubung dan bagaimana data mengalir
Autoencoder, CNN, GAN, dan lain-lain semuanya mendapat inspirasi biologis
Kita masih banyak yang bisa dipelajari dari topology otak dan konektivitas fungsionalnya
Ke depan sangat mungkin muncul arsitektur yang benar-benar baru, baik dari sisi struktur koneksi/interaksi di dalam layer atau node individual, maupun antarjaringan yang terspesialisasi
Otak manusia sendiri sebenarnya bukan satu jaringan tunggal, melainkan beberapa jaringan seperti "Big 7" yang bekerja secara paralel dan saling berinteraksi. Ada berbagai jaringan seperti DMN(Default Mode Network), CEN(Central Executive Network), Limbic Network, dan lain-lain, dan sering kali satu neuron sekaligus menjadi bagian dari beberapa jaringan
Karena dalam AI kita masih belum sepenuhnya mereproduksi kompleksitas seperti ini, masih sangat banyak inspirasi yang bisa diambil dari network topologies
Saya setuju dengan kalimat "Topology is all you need"
Topology dalam arti matematika memang membahas objek geometris dan transformasinya, tetapi dalam komputer, konsep ‘topologi’ yang mendefinisikan relasi antarobjek abstrak juga penting
Misalnya dalam struktur data graf, kita menyimpan himpunan objek (vertex) dan himpunan relasi di antaranya (edge), dan dengan begitu graf itu sendiri menjadi sebuah struktur topology diskret
Struktur data jaringan juga mirip, tetapi setiap edge menyimpan nilai tambahan. Artinya, ada himpunan vertex (objek), relasi di antaranya (edge), dan juga nilai per edge (bobot). Pada akhirnya jaringan saraf tiruan juga bisa dipahami ke arah ini, sebagai struktur yang dibangun di atas topology diskret
Dalam diagram penulis, bagian yang menggambarkan AGI/ASI sebagai satu titik pada manifold yang sama dengan next token prediction, chat, dan model CoT terasa membingungkan. Tiga jenis terakhir jelas masih bisa dianggap berada dalam satu keluarga yang saling terhubung, tetapi saya ragu apakah ada dasar yang cukup untuk memasukkan AGI/ASI juga
Saya jadi penasaran: bagaimana jika model berbasis CoT, seberapa pun jauh topological manipulation yang dilakukannya, secara struktural tidak akan pernah bisa mencapai ‘kecerdasan’ yang dimiliki AGI?
Misalnya, jika kecerdasan manusia mensyaratkan fungsi sensorik/internal feedback yang canggih serta pemrosesan kontinu, sementara model autoregresif ala GPT pada dasarnya diskret
Dari sudut pandang orang nonahli, ada intuisi bahwa LLM lebih mirip spesies sistem yang sama sekali berbeda dari sistem yang melahirkan ‘intelligence’ atau 'consciousness'
Sebenarnya saya pribadi merasa kita sudah mencapai AGI, tetapi banyak orang tidak setuju
Ada komentar bahwa hakikat kecerdasan manusia terletak pada loop sensorik/umpan balik tingkat tinggi atau pemrosesan kontinu, dan dari cukup banyak pengalaman saya di penelitian connectomics, kemiripan antara sistem biologis dan jaringan saraf juga tidak bisa diabaikan
Misalnya, dalam sistem penciuman tikus, ketika kumpulan neuron tertentu aktif, aroma tertentu seperti 'cokelat' atau 'lemon' terdeteksi. Strukturnya cukup mirip dengan feature vector
Representasi neuron di otak juga punya kemiripan dengan embedding representation. Seolah-olah embedding space terbentuk berdasarkan neuron mana yang aktif.
Apa pun yang terjadi di atas embedding bukanlah "sesuatu yang lebih dari itu", melainkan seluruhnya hanyalah pemrosesan tambahan