- Game puzzle Baba is You melatih fleksibilitas mental yang dibutuhkan untuk memahami kehidupan dan pikiran, serta mengaburkan batas antara data dan algoritme, sistem kognitif dan isinya
- Struktur di mana mengubah penempatan objek kata mengubah aturan dunia menggoyahkan pembedaan antara benda dan aturan, objek fisik dan pesan informasi
- Dalam biologi pun, informasi molekuler dan bioelektrik memengaruhi cara sel, organ, dan organisme menafsirkan informasi serta evolusi berikutnya, menciptakan dinamika referensial-diri yang berubah dari dalam
- Eksperimen kanibalisme planaria McConnell, jejak memori, active data, dan agential memories menunjukkan bahwa materi yang sama dapat menjadi objek sekaligus medium kognitif tergantung tingkat organisasinya
- Baba is You dapat digunakan sebagai prostesis mental realitas virtual untuk memasuki wilayah pertemuan biologi perkembangan, ilmu komputer, dan ilmu kognitif, serta masih terbuka untuk perluasan berbasis kerangka TAME dan kombinasi dengan AI
Cara berpikir yang dilatih Baba is You
- Baba is You adalah game puzzle yang menantang sekaligus alat yang membuat kita meruntuhkan kategori-kategori yang biasa dipakai saat membahas kehidupan dan pikiran
- Secara khusus, game ini membuat kita melihat pembedaan berikut bukan sebagai dikotomi tetap, melainkan sebagai relasi yang lebih kontinu dan cair
-
Data dan algoritme
-
Sistem kognitif dan isinya
- Benda dan pesan informasi
- Cocok sebagai alat pengantar untuk mempelajari fleksibilitas mental di bidang terkait, sampai layak dimasukkan ke daftar persiapan sebelum bergabung dengan laboratorium
- Karya klasik Hofstadter GEB juga disebut sebagai materi persiapan serupa
-
Struktur game yang meruntuhkan pembedaan antara benda dan aturan
- Di dunia Baba is You, selain sifat fisik seperti posisi atau tidak dapat ditembus, ada juga objek yang memiliki makna
- Sebagian makna secara langsung menentukan fisika dunia, dan ketika posisi relatif kata-kata diubah, perilaku objek serta tindakan yang bisa dilakukan pemain juga ikut berubah
- Tindakan menggerakkan objek untuk membentuk kalimat baru sekaligus menjadi manipulasi yang mengubah cara dunia bekerja
- Struktur ini mengarah pada pertanyaan seputar pesan, pengamat, interpretasi, dan aturan
- Bagaimana kita bisa membedakan apakah objek di dunia nyata hanyalah benda atau informasi
- Apakah ada pembedaan dikotomis di antara keduanya
- Bisakah bentuk dan pola itu sendiri menjadi agen
Cara mempertanyakan kembali hukum fisika dan hukum biologi
- Manipulasi aturan dalam game meluas menjadi pertanyaan tentang bagaimana memandang status hukum fisika di dunia fisik
- Jika hukum fisika berasal dari suatu aspek alam semesta, pada prinsipnya hukum itu seharusnya bisa berubah dari dalam alam semesta
- Sebaliknya, jika hukum fisika tidak berasal dari alam semesta, yang menjadi masalah adalah dari mana hukum itu berasal dalam konsep Universe dengan huruf U kapital
- Sebagian hukum biologi dapat berubah dari dalam
- Informasi molekuler dan informasi bioelektrik memengaruhi jalur molekuler, sel, organ, serta cara organisme menafsirkan informasi biologis
- Informasi semacam ini juga dapat memengaruhi bagaimana evolusi berikutnya berlangsung
- Proses ini pada dasarnya merupakan dinamika yang referensial-diri
Contoh biologis ketika objek sekaligus menjadi pesan
- Dalam studi klasik McConnell tentang kanibalisme planaria, planaria yang telah dilatih dimakan oleh inang yang belum berpengalaman, lalu informasi perilaku ditransfer
- Arsip makalah terkait tersedia sebagai Cannibalism and learning in planaria
- Dalam kasus ini, jejak memori kimiawi donor adalah makanan bagi inang, sekaligus memori yang ditafsirkan jaringan inang untuk mengarahkan perilaku
- Secara lebih luas, jejak memori yang tersusun dari mRNA, protein, dan substrat lain memiliki karakter berbeda tergantung tingkat organisasinya
- Pada tingkat molekuler, ia adalah objek fisik
- Pada tingkat organisme, ia adalah medium kognitif
Perangkat lunak, perangkat keras, dan data aktif
- Baba is You meruntuhkan kerangka dikotomis antara perangkat lunak dan mesin, data dan perangkat keras
- Perspektif ini terhubung dengan topik yang punya potensi besar untuk dikembangkan dalam bidang Diverse Intelligence
- active data seperti self-sorting arrays
- agential memories
- Mungkin ada sebuah kontinum antara pikiran sebagai pola informasi pasif dan makhluk berpikir sebagai agen kognitif aktif
- Bermain game ini dapat membantu memahami kerangka tersebut secara intuitif, yang sulit dipahami hanya dari makalah ilmiah
Token “YOU” dan meta-plastisitas
- Salah satu token yang dapat dimanipulasi pemain dalam game, YOU, menunjuk pada pemain itu sendiri
- Ketika pemain membuat kalimat baru yang menyertakan token ini, kemampuan pemain dan relasinya dengan dunia berubah, sehingga memungkinkan semacam meta-plastisitas
- Ini mengingatkan pada sistem di mana perilaku mengubah bentuk dan fungsi secara drastis dalam proses biologis seperti perkembangan dan metamorfosis
- Perubahan seperti ini juga terhubung dengan unsur-unsur berikut
- Ruang tempat bertindak
- Tujuan yang dikejar
- Preferensi yang dimiliki
- Ini juga dapat mengarah pada perluasan teori permainan di mana tindakan pemain mengubah jumlah pemain dan preferensi
- Dalam kasus ini, matriks imbalan berubah secara dinamis
Game sebagai prostesis mental realitas virtual
- Baba is You bukan sekadar game, melainkan lebih dekat ke prostesis mental realitas virtual
- Ia bekerja seperti kumpulan pompa intuisi imersif yang aktif dan dinamis, serta dapat membantu memasuki aspek-aspek penting dari bidang sains baru
- Bidang ini berada di persilangan berikut
- Biologi perkembangan
- Ilmu komputer
- Ilmu kognitif
Ide perluasan berbasis kerangka TAME
- Berdasarkan TAME framework, setidaknya ada tiga arah perluasan yang mungkin
-
Implementasi polycomputing
- polycomputing adalah kerangka di mana banyak pengamat menafsirkan dan meretas fitur fisik dunia dengan cara masing-masing
- Ini dapat diimplementasikan sebagai dinamika multipemain, atau sebagai NPC terinspirasi biologi yang membaca objek di lingkungan sesuai tujuannya sendiri
- Pemain menjadi terbiasa dengan sudut pandang yang berpusat pada pengamat dan perspektif, serta dapat mengganti kerangka makna sesuai kebutuhan
-
Penguatan agensi otonom
- Dapat diimplementasikan spektrum kecerdasan di mana pesan teks memiliki tujuan sendiri terkait penyampaian informasi, kemungkinan interpretasi, dan adopsi oleh sistem kognitif yang lebih besar
-
Implementasi dinamika multiskala
- Dapat memungkinkan agen bersarang di dalam agen, seperti agents within agents
- Dapat diimplementasikan struktur di mana objek dan pesan memvirtualisasikan serta menghasilkan objek dan pesan lain di sepanjang hierarki
AI dan materi terkait
- Ada banyak ruang untuk menggabungkan AI ke dunia virtual seperti ini
- Ada tiga tautan sebagai materi terkait
- evolutionary optimization of Baba Is You agents: makalah tentang optimisasi evolusioner agen Baba Is You
- Baba Is You is undecidable: makalah yang menunjukkan bahwa Baba Is You tidak dapat diputuskan
- baba-is-auto: simulator berbasis C++ dan kode Baba is You untuk reinforcement learning
1 komentar
Komentar Hacker News
Gim yang menjadi dasar tulisan ini adalah Baba Is You: https://store.steampowered.com/app/736260/Baba_Is_You/
Ini gim puzzle logika, dan tampaknya tujuannya adalah mengirim “you” ke “flag”, tetapi lebih tepatnya mencapai “win”. Biasanya aturan dasarnya adalah “flag is win”, dan dengan mengombinasikan berbagai objek dan kata, pemain mengubah aturan gim itu sendiri. Sangat direkomendasikan untuk selera HN
Bukan seperti Portal, di mana kita memecahkan puzzle di samping narasi yang menarik; di sini, latarnya dibalik di dalam bahasa puzzle itu sendiri, lalu dengan cara yang absurd tetapi menyenangkan, berbagai lapisan dijungkirbalikkan saat kita mendekati solusinya. Rasanya bagian otak yang mengurus matematika sedang tertawa selama bermain
Gim ini tidak memandu pemain dengan ramah, dan seingat saya butuh sekitar 10 jam untuk cukup menguasai bahasa puzzle-nya sampai benar-benar mulai terasa bagus. Di bagian-bagian dalam menjelang akhir, gim ini kadang menjadi begitu rinci sampai menjengkelkan, tetapi sekitar 30 jam di bagian tengahnya adalah pengalaman gameplay paling memuaskan yang pernah saya mainkan
Rasanya agak seperti anti-Witness. The Witness begitu cermat, adil, dan sangat presisi sehingga saat dikenang kembali memang mengagumkan, tetapi pengalaman bermainnya sendiri cukup formal dan tanpa humor. Baba is You bisa terasa sedikit kasar dan tidak adil, tetapi hangat, menyenangkan, dan lucu, sementara keterampilan perancangan puzzle-nya juga berada di kelas teratas dengan caranya sendiri
Namun hanya untuk Windows. Baru-baru ini juga ada demake untuk Pico-8 dengan jumlah level lebih sedikit, yang bisa dimainkan di browser: https://www.lexaloffle.com/bbs/?tid=142638
Kami baru bermain sekitar tiga jam, tetapi sangat menyenangkan. Seperti komentar di sebelah, puzzle-nya sering membuat kami bertiga tertawa, dan si bungsu pun bisa mengusulkan serta menemukan solusi. Ada juga level di mana anak 7 tahun menemukan solusinya lebih dulu daripada saya
Semalam gim ini benar-benar merusak rencana tidur saya, dan hanya dalam beberapa menit sudah mematahkan ekspektasi bahwa saya “menggerakkan karakter”
Sedikit mengingatkan pada gim kartu Fluxx, yang aturannya berubah setiap kali kartu dimainkan: https://www.looneylabs.com/games/fluxx
Saya sendiri sering mentok di banyak bagian, tetapi tetap bisa merekomendasikannya. Banyak momen aha
Ada beberapa tulisan lama tentang aspek kognitif yang disebutkan penulis:
https://blog.jtoy.net/examining-concepts-through-different-f...
https://blog.jtoy.net/on-the-wondrous-human-simulation-engin...
https://arxiv.org/abs/2210.12068
Di otak manusia ada setidaknya lebih dari 12 sistem koordinat yang berbeda, dan saya sering merujuk pada gambar ini: https://cln.sh/gpqhwrw2Hg92MQz62TY6
Manusia dapat melihat apa pun dari sudut pandang yang diinginkan, seperti sistem simulasi video game waktu nyata di dalam benak. Jaringan saraf buatan tampaknya tidak memiliki kemampuan inti untuk mengodekan dan mentransformasikan perspektif saat memproses data. Hal itu terlihat dari LLM dasar yang gagal pada reversal curse, dan sepertinya tidak akan bisa diperbaiki hanya dengan menambahkan GPU dan data pelatihan sebanyak apa pun: https://arxiv.org/abs/2309.12288
Di korteks entorhinal manusia ada neuron khusus yang disebut sel grid, dan bersama sel hipokampus mereka melakukan transformasi koordinat yang tergeneralisasi. Penemuan sel grid mendapat Hadiah Nobel Fisiologi atau Kedokteran: https://www.nobelprize.org/prizes/medicine/2014/advanced-inf...
Secara pribadi, saya melihatnya sebagai kandidat kuat untuk dimasukkan ke lapisan transformasi koordinat. Saya ingin membuat ANN yang mencakup “sistem transformasi koordinat” ini, tetapi saya masih belum tahu cara menuangkannya ke dalam kode, dan itu adalah proyek impian saya
Arahnya bukan lagi algoritme dan agen belajar terutama dari dataset gambar, video, dan teks yang dikurasi di internet, melainkan belajar sambil berinteraksi dengan lingkungan melalui persepsi egosentris yang mirip manusia
Menariknya, istilah ini tidak terlihat di makalah tersebut, tetapi kontras antara representasi egosentris dan alosentris dibahas, dan itu berada di inti persoalan
Tantangan besar AGI tampaknya adalah mengintegrasikan dua perspektif itu untuk mendapatkan kelebihan keduanya sekaligus mengurangi risiko ketidakseimbangan. Mirip dengan fisika yang menangani gravitasi dan mekanika kuantum
Untuk keputusan optimal global diperlukan perspektif alosentris, dan untuk memungkinkan otonomi yang tangguh di lingkungan lokal yang unik juga diperlukan penalaran egosentris
Pembelajaran representasi multimodal tampaknya pada dasarnya sudah mencapai sampai taraf tertentu operasi lintas-modal seperti sel grid. Namun dalam penelitian yang saya ketahui, lokasi fisik tidak masuk sebagai input. Ini berbeda dari encoding posisi
Makalah yang sangat baru tentang Clifford Group-Equivariant networks juga mungkin menarik. Itu berlaku bukan hanya untuk transformasi ruang-waktu Euklides, tetapi juga ruang-waktu Minkowski
instantngp, implementasi sintesis sudut pandang baru, atau model lain dalam keluarga NeRF juga layak diperhatikan. Secara pribadi, InstantNGP terasa sangat sederhana sampai tidak masuk akal dibandingkan kebanyakan arsitektur jaringan saraf terbaru
Untuk masalah reversal, saya penasaran seberapa kuat masalah itu masih berlaku, misalnya pada model encoder-decoder (T5 dan lainnya) atau model “autoregresif tanpa urutan” (seperti sigma-GPT pekan lalu)
Itu memungkinkan jenis transformasi koordinat yang sangat serupa
Game ini benar-benar membuat otak meledak
Aturannya sederhana dan jelas, tanpa trik khusus yang tersembunyi, tetapi hampir setiap teka-teki berubah dari “ini mustahil” menjadi “ah, kenapa tidak terpikirkan”. Game ini terus-menerus menghancurkan asumsi dasar
Mumpung sedang membahas game yang bisa mengubah cara berpikir atau membantu mempelajari keterampilan, ada rekomendasi?
Secara pribadi, yang membantu saya adalah catur, Vim Adventures, dan DuoLingo
Catur mengajari saya kecerdikan, kreativitas, perhitungan, berhenti sejenak sebelum bertindak, dan merasa nyaman dengan keadaan yang belum terselesaikan. Misalnya, meski memungkinkan menukar dua bidak atau lebih, jika penyederhanaan itu memperburuk posisi saya, saya harus menahan dorongan tersebut. Catur juga membuat saya sadar seberapa besar distraksi dan kurang tidur memengaruhi kognisi. Kalau saya sangat kurang tidur, Elo saya turun 100 poin, dan kalau bermain di tempat umum yang penuh distraksi, bisa turun sekitar 100 poin lagi
Vim Adventures sendiri tidak cukup menarik untuk direkomendasikan sebagai game, tetapi cukup bisa ditoleransi untuk mengulang-ulang penekanan tombol Vim 3–4 jam sehari selama beberapa hari, membentuk memori otot, dan membuat saya tidak terlalu canggung memakainya untuk sebagian besar pekerjaan coding
DuoLingo lebih mirip alat pendidikan daripada “game”, tetapi layak disebut karena membuat belajar bahasa asing jauh lebih mudah dibandingkan lewat buku atau audio
Game ini menanamkan pola pikir logistik, membuat saya berpikir dengan cara menyusun rantai pasok terlebih dahulu sebelum melakukan sesuatu. Ini menjadi keterampilan yang sangat abstrak dan mulai diterapkan di banyak bidang kehidupan
Kedua, saat saya membangun pabrik untuk membuat pabrik untuk membuat pabrik, cara berpikir saya naik ke tingkat abstraksi yang lebih tinggi
Ketiga, saya belajar pola pikir polimorfik tingkat tinggi. Produk menjadi benda yang sama sekali berbeda ketika melewati proses yang berbeda, dan sebagian di antaranya diumpankan kembali ke sistem
Waktu bermain saya hanya sekitar belasan jam rendah, tetapi game ini memperluas cara berpikir saya secara konkret. Saya sangat merekomendasikan Factorio
Catur juga membantu saya melihat lebih jauh ke masa depan yang dekat. Terutama ketika ada pesaing nyata, tetapi juga ketika tidak ada
Scrabble memberi saya pelajaran yang terasa seperti dilemparkan langsung ke wajah pada usia muda: trik cerdik dan pragmatisme lebih membantu untuk menang daripada sifat seperti “keanggunan”
Game ini berisi teka-teki yang harus dipikirkan dari sudut pandang aliran, secara tidak sengaja juga mengajarkan sedikit machine learning, dan mencakup hal-hal yang bisa ditransfer ke pekerjaan seperti desain jaringan komputer atau penskalaan aplikasi ketika bottleneck menjadi tantangannya
Polytopia terasa mirip dengan catur. Ada banyak situasi di mana kita harus bergerak dengan tepat agar serangan atau pertahanan berhasil. Jika catur sangat berfokus pada militer dan wilayah, Polytopia mengharuskan kita menyeimbangkan militer, wilayah, ekonomi, dan perkembangan teknologi
Game ini memunculkan banyak pertanyaan seperti “bagaimana cara berekspansi secara optimal dengan suku ini di jenis peta ini”, dan akhirnya membuat kita mencoba menjawabnya lewat proyek coding kecil
Game ini membantu refleks dan koordinasi tangan-mata, tetapi yang lebih penting adalah ia membangun pola pikir seperti Zen. Setiap kali kematian ke-1000 tidak bisa dihindari, alih-alih frustrasi, kita harus menyelesaikan masalah sambil menerima pukulan
Kecuali keterampilan yang memang dilatih di dalam game itu sendiri; bermain catur terutama meningkatkan Elo catur. Namun penelitian untuk memperluas ranah ini sedang berlangsung: https://link.springer.com/content/pdf/10.1007/s41465-022-002...
Hal yang jelas dibantu oleh game, serta aplikasi “edukatif” yang belakangan diiklankan di situs web dan kanal YouTube tertentu, adalah meningkatkan kesadaran dan motivasi terhadap bidang sains yang dibahasnya
Beberapa menit lalu, atau beberapa jam/hari lalu tergantung kapan Anda membaca ini, satu set level kustom berjudul The Legend of Zelbaba: Linkeke between words diumumkan di @party 2024: https://scenesat.com/video/atparty
Presentasi sebenarnya dimulai sekitar menit ke-17 di live stream. Paket levelnya ada di sini dan membutuhkan game dasarnya: https://gamebanana.com/mods/150971
Sedikit promosi proyek sampingan yang sudah saya kerjakan selama beberapa tahun: kalau Anda suka Baba is You, sepertinya Anda juga akan menikmati Pathology atau Sokopath
Bisa dimainkan di situs saya, Thinky.gg: https://thinky.gg
Di Thinky ada komunitas yang cukup aktif yang merilis level dorong balok setiap hari. Tingkat kesulitannya beragam, dari level taman kanak-kanak sampai super grandmaster. Ada juga editor level untuk memublikasikan level kustom ke seluruh dunia
Bagian “di atas segalanya, ia melebur batas antara data dan algoritma, antara sistem kognitif dan isinya, lalu membuat kita berpikir berbeda” mengingatkan saya pada pencerahan ketika Prolog akhirnya saya pahami sekitar 13 tahun lalu
Saat itu saya menuliskannya sebagai kalimat berima kecil:
Di antara data dan operasi
tak ada yang perlu dipisahkan
Lucunya, untuk menemukan kebenaran sederhana yang sama yang mendefinisikan tingkat komputasi paling rendah, kita harus naik sampai tingkat paling tinggi. Gamenya juga keren
—Jiddu Krishnamurti, kuliah umum di Roma, 28 Oktober 1973
https://www.krishnamurti.org/transcript/when-the-mind-realis...
Fakta menarik: pengembang game ini juga membuat game lain yang merupakan keajaiban teknis, yaitu Noita
Deskripsi yang paling pas adalah: sebuah game yang sebagian besar pemainnya tidak sadar bahwa mereka baru memainkan tutorialnya saja
Baba is You juga sama bagusnya sebagai pengantar untuk mempelajari pola pikir yang dibutuhkan dalam menulis exploit
Jane Street menguji seberapa baik kandidat bermain game yang aturannya berubah di tengah permainan
Jika “WALL” “IS” “STOP” diganti dengan ikon atau gambar, secara pribadi itu tidak lagi terasa semenarik itu
Setidaknya saya jadi teringat Captain Blood: https://www.abandonware-france.org/ltf_abandon/ltf_galeries....
Di sana juga ada rangkaian simbol dengan mekanisme yang terhubung. Jika urutan blok disusun berbeda, hasilnya juga berbeda
Mungkin hari ini saya sedang agak ketus, tetapi saya tidak begitu paham kenapa game ini disebut “mendalam”
Sebagai tambahan, fakta bahwa kita bisa menciptakan makna dari kumpulan simbol arbitrer dan menetapkan makna itu justru tampaknya menunjukkan bahwa bahasa sebenarnya benar-benar kosong dan kecerdasan berada di luar bahasa. Bahasa hanyalah alat
Saya tidak tahu bagaimana mekanisme yang persis sama bisa dipertahankan sambil mengganti kata dengan ikon, dan kalau mekanismenya sama, apa bedanya jika yang dipakai ikon alih-alih kata