- Mengeksplorasi cara merekayasa balik pola kompleks dari aturan lokal yang sederhana
- Pendekatan yang menggabungkan kemampuan belajar dari Neural Cellular Automata (NCA) dengan Differentiable Logic Gate Networks untuk memperoleh aturan lokal diskret melalui pembelajaran
- "Bisakah kita mempelajari aturan Conway's Game of Life?"
- "Bisakah kita mereproduksi pola kompleks seperti NCA, sekaligus mempelajari struktur rekursif ruang-waktu?"
Introduction
- Cellular Automata (CA) membentuk pola yang kompleks dan sulit diprediksi, dimulai dari aturan lokal yang sederhana
- Secara tradisional, aturan pada CA dirancang langsung oleh manusia, tetapi di sini diperkenalkan cara untuk secara terbalik "mempelajari" aturan lokal yang memenuhi pola atau perilaku target yang telah ditentukan sebelumnya
- Secara khusus, Neural Cellular Automata (NCA) telah dirancang dengan menggabungkan teknik deep learning ke dalam struktur CA agar bisa dipelajari di ruang kontinu
- Differentiable Logic Gate Networks adalah teknik yang mempelajari aproksimasi kontinu atas gerbang logika (AND, OR, XOR, dll.), lalu pada akhirnya mengubahnya kembali menjadi rangkaian logika diskret
- Dengan menggabungkan dua gagasan ini, diusulkan model CA yang sepenuhnya diskret dan dapat dipelajari bernama DiffLogic CA
- Ini dapat dipandang sebagai langkah kecil menuju Programmable Matter atau Computronium
- Artikel ini mengikuti alur berikut
- Ringkasan Neural Cellular Automata
- Ringkasan Differentiable Logic Gate Networks
- Struktur DiffLogic CA yang menggabungkan kedua metodologi
- Eksperimen pembelajaran aturan Conway’s Game of Life
- Eksperimen pembelajaran untuk menghasilkan pola kompleks (checkerboard, kadal, gambar berwarna, dll.)
Recap – Neural Cellular Automata(NCA)
- Konsep
- Sistem yang menggantikan aturan CA tradisional dengan bentuk yang bisa dipelajari oleh jaringan saraf
- Setiap sel memiliki beberapa kanal (state) dan membentuk pola kompleks melalui interaksi lokal
- Informasi sekitar diperoleh menggunakan filter seperti Sobel, lalu jaringan saraf menentukan perubahan state
- Karakteristik
- Seluruh proses komputasi dapat didiferensiasikan, sehingga bisa dilatih untuk membentuk pola yang diinginkan
- Mempertahankan inti CA seperti paralelisme, lokalitas, dan komputasi berbasis state, sambil menggabungkan teknik deep learning
Recap – Differentiable Logic Gate Networks(DLGNs)
- Gagasan inti
- Alih-alih NN tradisional, sistem ini mempelajari aproksimasi kontinu dari gerbang logika (AND, OR, XOR, dll.) sebagai soft gate
- Pada tahap pelatihan, gerbang bekerja secara kontinu, dan pada inferensi akhir menjalankan operasi biner yang sebenarnya
- Proses pembelajaran
- Mempelajari distribusi probabilitas atas 16 operasi logika yang mungkin dari gerbang, lalu akhirnya konvergen ke operasi tertentu
- Dibuat dapat didiferensiasikan melalui aproksimasi kontinu, lalu setelah pelatihan selesai diubah menjadi gerbang logika yang sepenuhnya diskret
- Kelebihan
- Rangkaian akhir sepenuhnya terdiri dari gerbang logika biner, sehingga sangat efisien secara hardware
- Karena berbasis logika diskret, sistem ini unggul dalam interpretabilitas dan efisiensi energi
Differentiable Logic Cellular Automata (DiffLogic CA)
- Struktur
- Pada grid 2D, setiap sel memiliki state n-bit, dan simulasi berjalan dalam tahap Perception → Update
- Tahap Perception
- Informasi tetangga (per kanal) diproses dengan kernel rangkaian logika
- Tahap Update
- State saat ini dan hasil Perception digabungkan oleh rangkaian logika lain untuk menentukan state pada langkah berikutnya
- Karakteristik
- Semua sel bekerja secara terdistribusi layaknya prosesor kecil yang independen
- Belajar dalam mode soft (aproksimasi kontinu) lalu inferensi dalam gerbang hard (biner), sehingga sangat efisien
- Memiliki filosofi yang mirip dengan arsitektur komputasi berbasis CA seperti CAM-8
Experiment 1: Learning Game of Life
- Tujuan
- Mempelajari aturan Conway's Game of Life dengan DiffLogic CA dan memverifikasi apakah aturan tersebut dapat direproduksi sepenuhnya
- Pengaturan
- Menggunakan state sel 1-bit
- 16 kernel pada Perception (masing-masing dengan struktur gerbang 8→4→2→1)
- 23 layer pada Update (16 layer awal 128 node, lalu [64, 32, 16, 8, 4, 2, 1])
- Melatih semua kemungkinan state (512) pada grid 3x3 agar dapat memprediksi state tepat pada langkah berikutnya
- Hasil
- Loss pelatihan mendekati 0 dan berhasil mempelajari aturan lokal Game of Life secara sempurna
- Pada grid yang lebih besar, semua pola seperti glider, block, dan lainnya direproduksi seperti Game of Life asli
- Pada rangkaian akhir, gerbang AND dan OR banyak digunakan
Experiment 2: Pattern Generation
- Contoh checkerboard
- Sel dengan state 8-bit membentuk checkerboard 16x16 selama 20 langkah
- 16 kernel pada Perception, 16 layer pada Update (maksimal 256 gerbang)
- Loss dihitung dengan membandingkan hanya kanal akhir dengan pola target
- Hasil
- Berhasil membentuk checkerboard secara tepat, dan aturannya diimplementasikan secara ringkas hanya dengan beberapa gerbang
- Pada grid 4 kali lebih besar, aturan yang sama tetap bisa diskalakan dan bekerja tanpa masalah
- Bahkan jika sebagian sel dinonaktifkan permanen, pola tidak terlalu rusak; dan saat sel yang dinonaktifkan dipulihkan, sistem otomatis melakukan self-healing
- Asynchronicity
- Pola checkerboard tetap dapat dipelajari dengan baik meskipun dilatih dengan update asinkron
- Aturan yang dilatih secara sinkron juga tetap bekerja baik saat digunakan untuk inferensi asinkron
- Aturan hasil pelatihan asinkron cenderung pulih lebih cepat dalam kondisi bising atau rusak
Experiment 3: Growing a Lizard
- Tujuan
- Melatih sistem agar membentuk siluet kadal 20x20 dalam 12 langkah, untuk memverifikasi kemungkinan menghasilkan bentuk yang kompleks
- Pengaturan
- State 128-bit
- Perception 4 kernel (masing-masing struktur gerbang [8, 4, 2, 1]), Update 10 layer (8 layer awal 512 gerbang, lalu [256, 128])
- Menempatkan satu sel aktif di tengah grid, dengan kondisi batas periodik
- Hasil
- Pada grid yang lebih besar (40x40), kadal tetap tumbuh dengan normal
- Banyak sekali gerbang yang digunakan, tetapi pembelajaran tetap memungkinkan dengan tuning hyperparameter yang diperlukan
Experiment 4: Learning the G with colors
- Tujuan
- Menghasilkan gambar berwarna 16x16 yang mencakup RGB 3-kanal selama 15 langkah, untuk memverifikasi pembentukan pola multikanal
- Pengaturan
- State 64-bit (3 kanal pertama digunakan sebagai RGB, tiap kanal bernilai 0 atau 1)
- Perception 4 kernel (masing-masing [8, 4, 2]), Update 11 layer (8 layer awal 512 gerbang, lalu [256, 128, 64])
- Gambar target adalah pola G 16x16 yang diisi dengan salah satu dari 8 warna
- Hasil
- Dipelajari hingga loss mendekati 0, dan setelah 15 langkah berhasil mereproduksi huruf G berwarna target secara tepat
- Pada rangkaian, gerbang TRUE dan FALSE banyak digunakan, dan gerbang OR tampak menonjol
Summary and Discussion
- Apa yang dilakukan
- Mengusulkan DiffLogic CA, yaitu model CA yang sepenuhnya diskret namun tetap dapat dipelajari
- Menunjukkan kemampuan untuk mereplikasi aturan klasik seperti Game of Life, serta menghasilkan pola seperti checkerboard, kadal, dan huruf G berwarna
- Karena dibangun dari rangkaian logika diskret, pendekatan ini diharapkan menawarkan interpretasi yang intuitif dan efisiensi hardware
- Makna
- Membuktikan bahwa pola self-organizing seperti yang terlihat pada NCA juga dapat dipelajari dengan basis gerbang logika diskret
- Jika mempertimbangkan sifat seperti pemulihan dari kerusakan dan update asinkron, pendekatan ini berpotensi besar untuk komputasi terdistribusi yang toleran terhadap gangguan (robust)
- Keterbatasan dan tugas ke depan
- Untuk pembelajaran gambar atau pola yang kompleks, tuning hyperparameter yang tepat tetap diperlukan
- Dengan mengeksplorasi gerbang bergaya LSTM atau struktur yang dapat melupakan state secara efisien, masih ada ruang untuk memungkinkan pembentukan pola yang lebih kaya
- Dapat diperluas lebih lanjut ke arah optimasi skala rangkaian, stabilisasi pembelajaran, dan perbaikan lainnya
- Kesimpulan
- DiffLogic CA adalah pendekatan menjanjikan yang dapat mengarah pada komputasi terdistribusi teoretis seperti Programmable Matter atau Computronium
- Karena sepenuhnya diskret namun tetap dapat dipelajari, pendekatan ini memiliki potensi menjadi fondasi bagi sistem terdistribusi masa depan
1 komentar
Komentar Hacker News