- What if Eye...? adalah proyek yang menjalankan ulang evolusi di semesta seperti video game untuk mengeksplorasi secara komputasional prinsip-prinsip kecerdasan visual biologis dan bentuk baru kecerdasan buatan
- Agen dimulai dari satu sel pendeteksi cahaya dan otak kecil, lalu mengevolusikan kecerdasan visual di bawah fisika nyata, keterbatasan tubuh, dan tekanan bertahan hidup
- Dengan mengubah tujuan seperti navigasi dan deteksi, kita dapat membandingkan struktur mata dan perilaku seperti apa yang muncul secara alami
- Saat ukuran otak dan mata diperbesar bersama, terlihat penskalaan hukum pangkat, tetapi jika ketajaman visual menjadi bottleneck, memperbesar otak saja tidak lagi meningkatkan perilaku
- Ketika gen optik diaktifkan, optik berbentuk lensa muncul berulang kali dan bekerja sebagai cara untuk mengatasi trade-off mendasar antara pengumpulan cahaya dan presisi spasial
Lingkungan eksperimen untuk menjalankan ulang evolusi penglihatan
- What if Eye...? berangkat dari premis bahwa “evolusi pernah terjadi satu kali”, lalu merekonstruksi evolusi penglihatan secara komputasional di semesta seperti video game
- Tujuannya bukan kecerdasan visual yang dirancang dengan dataset tetap dan bias manusia, melainkan membuat hardware pendeteksian serta software persepsi, penalaran, dan tindakan muncul di dalam lingkungan
- Agen dimulai hanya dengan satu sel pendeteksi cahaya dan otak kecil
- Menghadapi kondisi fisika nyata
- Mengalami batasan karena memiliki tubuh
- Mengevolusikan kecerdasan visual di bawah tekanan bertahan hidup
- Setiap eksperimen disusun seperti sebuah hipotesis
- Menetapkan pertanyaan what-if atau kondisi kontrafaktual
- Mengevolusikan agen bertubuh di dalam mesin fisika seperti video game
- Mengamati mata dan perilaku apa yang muncul
Kondisi ketika mata dan otak berevolusi bersama
- Ketika tujuan penglihatan berubah, agen berevolusi di dunia yang hanya memiliki dua tugas
- NAVIGATION: tujuannya bergerak ke kiri secepat mungkin sambil menghindari dinding labirin sebagai rintangan
- DETECTION: tujuannya mendeteksi makanan dan menghindari racun
- Dalam kondisi ketika otak tetap kecil sepanjang evolusi, saat ukuran mata dan otak diperbesar secara sistematis bersama, muncul penskalaan hukum pangkat antara kapasitas neural dan kinerja tugas
- Hubungan ini hanya berlaku ketika resolusi visual juga ikut diperbesar
- Jika resolusi visual menjadi bottleneck, memperbesar otak saja tidak menghasilkan perilaku yang lebih baik
- Dalam kondisi ketika mata dapat membiaskan cahaya, gen optik diaktifkan
- Tanpa optik, strategi pinhole dapat membuat gambar menjadi tajam, tetapi harus mengorbankan cahaya sehingga akhirnya terbentur batas
- Dengan optik, lensa muncul sebagai cara untuk menyelesaikan trade-off antara pengumpulan cahaya dan presisi spasial
- Genotipe terpadu mencakup sekaligus sensor visual fisik sebagai hardware dan komponen pembelajaran sebagai software
- Gen morfologi menentukan karakteristik sampling spasial seperti posisi mata dan sudut pandang
- Gen optik menangani interaksi cahaya seperti jumlah fotoreseptor, elemen optik, dan ukuran pupil
- Gen neural menentukan kapasitas pembelajaran
- Dengan membagi tiga klaster gen agar dapat bermutasi secara independen, jalur evolusi yang realistis dapat dieksplorasi
Materi publik dan presentasi
- Proyek ini menyediakan makalah, roadmap, presentasi, alat open-source, dan pameran publik
- Publikasi utamanya adalah sebagai berikut
- Computationally Recreating Vision Evolution: makalah peer-reviewed di Science Advances yang memuat keseluruhan pengaturan eksperimen, hasil, dan analisis evolusi
- A Roadmap for Generative Design of Visual Intelligence: tulisan MIT Press yang merangkum alasan, aplikasi, dan pendekatan mengapa kecerdasan visual perlu dihasilkan, bukan dirancang secara manual
- Designing Imaging Systems with Reinforcement Learning: makalah ICCV yang mengusulkan cara merancang bersama sistem pencitraan dan model persepsi khusus tugas berdasarkan feedback lingkungan
- Emergence of foveal image sampling from learning to attend in visual scene: makalah NeurIPS tentang munculnya sampling gambar foveal ketika belajar memberi perhatian pada adegan visual
- Designing neural network architectures using reinforcement learning: makalah ICLR yang merancang arsitektur jaringan neural dengan reinforcement learning untuk meningkatkan kinerja tugas visual
- The First Signs of Vision: tesis MIT oleh Cathy Chang tentang simulasi interaktif evolusi penglihatan hewan dari Ledakan Kambrium hingga hari ini
- Presentasi publik mencakup hal-hal berikut
- "The Emergence of Convergence in Different Levels of Biology and AI" oleh Brian Cheung, presentasi di Symposium on the Platonic Space
- "Embodied Eyes For Scientific Discovery: Generation and Verification Loops to ask the "why" questions in vision" oleh Kushagra Tiwary, presentasi di UC Berkeley's Redwood Center
- "What-If Machines for Vision: Evolving Eyes and Brains with AI" oleh Kushagra Tiwary, presentasi di Imagination in Action
- Presentasi Tedx yang mengeksplorasi implikasi lebih luas dari pekerjaan mengevolusikan kecerdasan visual dengan agen buatan
- Kode dan item pameran juga disediakan
- Simulator: alat open-source untuk menjalankan simulator evolusi, mendefinisikan tugas baru, dan mengevolusikan sendiri agen bertubuh
- Colab Notebook: notebook interaktif untuk bereksperimen dengan Cambrian agents di browser, dan saat ini masih direncanakan untuk dirilis
- Video Exhibition: pameran partisipatif publik yang memungkinkan pengunjung mengalami langsung penglihatan yang berevolusi
- Kolaborasi ini didukung oleh MIT GenAI Impacts of Generative AI Grant
1 komentar
Opini Hacker News
Seorang guru ilmu komputer di SMA pernah mengajari kami tentang mata kepiting tapal kuda.
Katanya, mata kepiting tapal kuda tidak bisa melihat sesuatu yang lebih besar daripada bidang pandangnya, sehingga mereka memakan makhluk kecil dan mengabaikan makhluk besar; untuk itu ia menggunakan model jaringan saraf di Excel.
Guru itu luar biasa; ia mengajarkan cara memiliki rasa ingin tahu dan wawasan dalam ilmu komputer, dan juga memperkenalkan Donald Knuth, TeX, dan lain-lain.
Mungkin mirip dengan manusia yang, jika ada objek cukup besar dan bercahaya seragam tepat di depan mata, sulit dikatakan bahwa kita benar-benar “melihatnya”.
Dawkins juga menjelaskan evolusi mata secara ringkas di sini: https://www.youtube.com/watch?v=2X1iwLqM2t0
Kondisi ini begitu mendasar sehingga lompatan dari nol ke “selembar sel peka cahaya” tampak hampir bukan apa-apa, tetapi sebenarnya tidak demikian.
Sebelumnya masih diperlukan protein fotoreseptor, sistem saraf atau jalur pemrosesan sinyal yang berfungsi, perangkat untuk mengubah penyerapan cahaya menjadi sinyal listrik, sistem untuk mengoordinasikan sinyal itu dengan bagian lain dari organisme, dan sebagainya.
Ini mungkin lebih dekat ke pertanyaan fisika/ilmu komputer daripada biologi, tetapi saya penasaran berapa lama lagi sampai ada simulator fisika yang cukup bagus untuk menjalankan eksperimen MIT pada mata terhadap seluruh organisme.
Jika suatu hari itu memungkinkan, lalu kita memasukkan fisika Bumi dan simulator menghasilkan makhluk yang kira-kira mirip organisme Bumi, rasanya kita juga bisa memasukkan fisika planet asing untuk mengetahui seperti apa makhluk hidupnya.
Menurut saya masih cukup jauh untuk memodelkan kompleksitas seluruh organisme. Namun jika tujuannya menjawab pertanyaan riset, versi yang lebih sederhana pun sudah bisa dimodelkan sekarang. Seperti tim riset ini yang membahas bagaimana penglihatan berevolusi.
Baru-baru ini, C. elegans dimodelkan dalam 3D hingga mencakup semua neuron dan neurotransmiternya, dan bereaksi terhadap rangsangan virtual seperti cacing sungguhan (https://www.nature.com/articles/s43588-024-00738-w)
Satu organisme tunggal sudah memungkinkan, tetapi membuat makhluk-makhluk seperti ini berevolusi dalam 3D tampaknya masih butuh waktu lebih lama. Sebagai catatan, saya bukan lulusan ilmu komputer, hanya penggemar.
Ini tergantung seberapa akurat model yang ingin dibuat, dan jika membayangkannya pada tingkat impian, menurut saya simulasi seperti ini membutuhkan komputasi kuantum agar bermakna.
Gagasan tentang hukum yang berlaku seperti dalam matematika mungkin tidak cocok untuk organisme, karena organisme dijelaskan lewat teleologi. Jantung tidak secara kebetulan mengedarkan darah; jantung berdetak untuk mengedarkan darah agar memasok oksigen ke tubuh.
Selain itu, meskipun makhluk yang hidup di iklim dingin umumnya berbulu tebal, bulu tebal tidak serta-merta berarti iklim dingin. Sebagian mamalia mengisi relung ekologis yang di ekosistem lain ditempati burung, sementara di tempat lain ikan menjalankan peran itu. Di Selandia Baru, burung bahkan mengisi relung yang di ekosistem lain akan diisi mamalia.
Saya tidak yakin biologi bisa menjadi ilmu yang sepenuhnya induktif.
Video YouTube terkait juga termasuk cukup menarik: https://www.google.com/search?q=simulating+evolution+muscles
Biasanya dua dimensi atau disederhanakan besar-besaran. Jika mencoba mengevolusikan organisme “sungguhan”, bahkan dengan mengabaikan “otak”, kompleksitasnya tampaknya akan meledak sangat cepat.
Saya teringat “Autoverse” dalam Permutation City (1994) karya Greg Egan. Jika Anda menyukai tulisan ini, sangat direkomendasikan.
Fakta menarik terkait evolusi mata: titik hitam yang terlihat pada mata capung bukan pupil yang mengikuti Anda, dan bukan pula perubahan pada mata itu sendiri.
Sebenarnya Anda sedang melihat tepat dari depan ke dalam struktur kolom mata capung. Struktur itu menangkap cahaya dengan sangat efisien sehingga tampak hitam, dan efisiensinya sangat dekat dengan batas fisika.
Dari pengalaman membuat simulator kehidupan buatan pada era 90-an, terlalu banyak bagian model yang bergantung pada parameter yang dimasukkan oleh pembuat simulasi.
Jika Anda mulai dari sel peka cahaya dan membuat algoritma genetika yang memberi imbalan pada agen yang berhasil melewati labirin, pada akhirnya akan “berevolusi” agen yang menggunakan beberapa sel fotosensitif seperti mata.
Pertanyaannya, apakah itu benar-benar memberi tahu kita sesuatu tentang evolusi atau kehidupan, atau hanya tentang simulasi yang kita tetapkan?
Ini lebih dekat ke model daripada simulasi, yaitu model yang berusaha menjelaskan fenomena nyata tertentu sepadat dan sesederhana mungkin.
Hal yang bisa dipetik di sini adalah bahwa dua jenis mata, mata majemuk dan mata tipe kamera, dapat dimodelkan dengan sekumpulan 3 tugas spesifik beserta elemen pengaturan anatomi yang minimal.
Dengan begitu, kita bisa membandingkan dan mengontraskan bukti jelas yang keluar dari model, lalu melihat bagaimana penjelasan seperti ini bersinggungan dengan penjelasan yang kurang pasti dari metode biologi evolusioner. Itu bisa benar-benar berguna.
Analogi yang bagus adalah melihat apakah “kemunculan” mikroarsitektur superskalar modern dapat dijelaskan hanya dengan gate, latch, dan clock. Artinya, kita tidak perlu memodelkan kekacauan analog yang muncul saat frekuensi tinggi dipaksa masuk ke rangkaian fisik.
Pertanyaan yang tepat sepertinya adalah apakah pengetahuan itu sama sekali tidak berguna, atau bisa membantu sesuatu di kemudian hari.
Dengan judul “dari awal”, saya mengira akan ditunjukkan bagaimana satu fotoreseptor tunggal juga berevolusi dari sesuatu yang lain.
Untuk sementara saya mencerminkan situs webnya sambil mereka menyelesaikan masalah di sana: https://cambrian.pages.dev/
Sepertinya situs webnya rusak (repositori dihapus?), jadi saya harus pergi ke sini sebagai gantinya: https://eyes.mit.edu/ACI/
Dan makalah yang dibahas situs web itu ada di sini: https://arxiv.org/pdf/2501.15001
Saya penulisnya. Kalau ada yang ingin ditanyakan, saya akan menjawab.