Video AI yang berevolusi untuk mengaktifkan area otak target secara maksimal

• NEvo menggunakan digital twin otak yang memprediksi respons area visual sebagai model imbalan, lalu mengembangkan video di lingkungan in silico untuk memaksimalkan aktivasi terprediksi pada area tertentu
• Subjek, pencahayaan, gerakan, dan suasana direpresentasikan seperti gen, lalu pembuatan, evaluasi, seleksi, persilangan, dan mutasi video kandidat diulang selama beberapa generasi
• Untuk mengurangi biaya komputasi, sistem ini memakai pendekatan dua tahap: pertama mencari gambar diam terkuat, lalu menelusuri gerakan secara terpisah untuk membuat video 2 detik
• Video sintetis selaras dengan selektivitas per area yang sudah dikenal, seperti wajah untuk FFA, tempat untuk PPA, dan gerakan untuk MT, serta mencatat aktivasi lebih tinggi daripada video localizer buatan tangan dan video alami terbaik
• Sepanjang jalur visual lateral dari V1 ke aSTS, stimulus yang disukai bergeser dari pola dan gerakan sederhana ke manusia, wajah, dan interaksi sosial, dengan fitur sosial dan dinamis yang makin kuat

---

Evolusi video dengan digital twin sebagai imbalan

• Dengan melatih digital twin yang merupakan model encoding otak, sistem memprediksi respons tiap area visual terhadap video arbitrer, lalu memakai respons terprediksi dari area yang dipilih sebagai imbalan bagi NEvo
• Setiap video dideskripsikan dengan sejumlah kecil gen seperti subjek, pencahayaan, gerakan, dan suasana
  • Setelah membuat batch video kandidat, skor dihitung menggunakan digital twin
  • Kandidat dengan skor tinggi dipertahankan lalu disilangkan dan dimutasi
  • Proses ini diulang selama beberapa generasi untuk meningkatkan aktivasi terprediksi
• Untuk menghindari biaya pencarian gambar dan video secara bersamaan, dilakukan pencarian dua tahap
  • Pertama, dicari satu gambar diam terkuat
  • Berikutnya, gerakan dieksplorasi untuk menganimasikan gambar tersebut menjadi video 2 detik
• Stimulus disintesis untuk region of interest (ROI) standar di permukaan korteks dan untuk tiap area searchlight yang rapat
  • Contoh PPA memiliki skor 0.767, setara dengan persentil 100.0 dibandingkan gambar alami
  • Contoh searchlight rh_5 memiliki skor 1.124, setara dengan persentil 100.0 dibandingkan gambar alami

Selektivitas per area dan perubahan pada jalur visual lateral

• Video 2 detik yang disintesis untuk tiap area sesuai dengan stimulus yang diketahui disukai area tersebut
  • FFA merespons wajah, PPA tempat, dan EBA tubuh
  • MT lebih menyukai gerakan, sementara V1·V3A menyukai pola
  • pSTS·aSTS merespons adegan sosial yang hidup
• Video NEvo memicu aktivasi lebih tinggi di seluruh area dibandingkan video localizer buatan tangan dan video alami terkuat
• Di semua area, video bergerak menunjukkan respons lebih tinggi daripada frame pertama yang diam dari video yang sama, mengonfirmasi preferensi terhadap stimulus dinamis
• Ketika searchlight digeser dari V1 ke arah aSTS, stimulus sintetis dan word cloud yang dibuat otomatis berubah dari pola dan gerakan sederhana menjadi manusia, wajah, dan interaksi sosial
  • Di sepanjang jalur visual lateral, terlihat gradien peningkatan fitur sosial dan dinamis
• Dalam eksperimen yang dimulai dari cakram bertumpuk abstrak, fitur preferensi tiap area juga terpisah
  • Optimisasi pSTS menghasilkan karakter yang tampak seperti wajah dan saling berinteraksi
  • Optimisasi MT menghasilkan gerakan murni

[GN⁺]

Pendapat Hacker News

• Tahap berikutnya media sosial pasti akan mengerikan. Sekarang pun, dari jutaan video nyata, platform memilih video pendek yang paling adiktif untuk tiap pengguna, tetapi itu belum sempurna karena pada dasarnya hanya seperti melempar dart secara acak ke ruang kemungkinan yang bisa memikat pengguna.
  Kini, dengan AI, mereka bisa membuat video adiktif yang dipersonalisasi yang menekan setiap tombol di otak penonton secara presisi, membuat mereka terpaku seperti zombi selama berhari-hari. Saya berharap regulasi menekan jejaring sosial dengan keras agar mereka bahkan tidak berani menerapkan teknologi semacam ini.
  • Ancaman yang lebih besar daripada media sosial adalah Anthropic·OpenAI·Google, tempat orang menyerahkan bahkan pikiran paling pribadi mereka. Manipulasi psikologis personal berskala besar yang dapat diberikan produk AI cloud belum benar-benar muncul, dan jika diberi cukup waktu, orang-orang seperti Dario Amodei atau Sam Altman pada akhirnya akan menunjukkannya.
    Kecenderungan GPT-4o untuk menjilat dan krisis psikosis AI mungkin saja merupakan cuplikannya, tetapi itu pun hanya optimasi engagement yang sederhana.
  • Apa yang mereka lakukan pada otak kita dan anak-anak kita untuk memeras sen terakhir sampai Bumi terbakar tidak berbeda dari apa yang mereka lakukan pada babi di dalam diri kita.
  • Mungkin lebih baik berharap orang-orang sadar dan tidak lagi membuka situs-situs itu, sama seperti berharap pada regulasi.
  • Saya heran Infinite Jest karya David Foster Wallace belum muncul dalam diskusi ini. Saya sendiri sudah mulai membacanya beberapa tahun lalu, tetapi belum juga selesai.
• Terlepas dari implikasi sosial dan moralnya, saya penasaran dengan pembuktian empiris di makalah ini. Mereka melatih digital twin, yaitu model pengodean yang memprediksi bagaimana tiap area visual akan merespons video sembarang, lalu NEvo menggunakan nilai prediksi itu sebagai reward untuk menelusuri secara otomatis video yang akan mengaktifkan area terpilih paling kuat.
  Namun saya tidak menemukan apakah mereka memverifikasi bahwa video yang dihasilkan menciptakan pola aktivitas otak yang sama dengan digital twin ketika diukur pada manusia sungguhan dengan MRI. Saya skeptis apakah model yang dapat memprediksi aktivasi otak dari video secara stabil memang memungkinkan.
  • Mengumpulkan data validasi kecil pada manusia hampir sepele mudahnya, jadi mencurigakan kalau itu tidak dilakukan. Di institusi kami, biaya pemindaian sekitar 800 dolar per jam, dan 30 menit kemungkinan besar cukup untuk memperoleh data guna memvalidasi model.
    Secara metodologis, mereka menyesuaikan V-JEPA2 ke data fMRI dengan ridge regression per voxel, yang mengasumsikan respons visual bekerja secara independen pada tiap voxel. Model per voxel bagus untuk inferensi statistik, tetapi lemah untuk prediksi dan pemodelan karena otak tidak bekerja seperti kumpulan wilayah independen. Sinyal BOLD adalah data yang luar biasa berantakan, dan desainnya tampak terlalu sederhana untuk mencerminkan kenyataan.
  • Sinyal yang terlewat oleh fMRI tidak tercermin dalam digital twin meskipun terlihat mirip di layar, sehingga bias eksperimenter masuk ke dalam mesin, dan saya juga ragu apakah metode ini masih bisa difalsifikasi.
    Input sensorik nyata, teringat, virtual, dan terbayang diproses sangat berbeda oleh otak dan pascapemrosesan sensorik. Digital twin hanya memiliki sebagian data, sehingga kemungkinan besar hanya mereproduksi pola permukaan; dan jika paparan diulang cukup sering, sirkuit yang semula aktif bersama bisa saja tersambung ulang dengan cara yang sulit disadari. Namun menariknya, makalah itu sendiri hampir mengakui keterbatasan ini dengan bahasa ilmiah.
  • A. Jika Anda tidak menganggap ilmu otak itu sendiri sebagai ilmu yang tidak bermoral, maka tidak ada masalah inheren dalam penelitian seperti ini. Sebagai neurosaintis, saya sangat menentang insinuasi kemerosotan moral tanpa dasar.
    B. Digital twin adalah bidang pemodelan otak yang sedang berkembang dan dapat mengaproksimasi pola aktivitas otak skala besar, tetapi belum sampai pada tingkat mensimulasikan otak nyata apa adanya. Biasanya bidang ini memakai model neuron aproksimatif seperti integrate-and-fire serta keseimbangan populasi eksitatorik dan inhibitorik, lalu meningkatkan akurasi dengan memperkirakan koneksi akson materi putih subjek melalui pencitraan difusi. Ini juga makin banyak digunakan untuk memodelkan dampak operasi terhadap penyebaran kejang epilepsi sebelum operasi sungguhan. Terkait hal ini, episode The Virtual Brain dari podcast Theoretical Neuroscience bagus untuk didengarkan.
    C. Validasi hanya dilakukan sebagian. NEVO mengoptimalkan respons neural hanya di dalam model pengodean digital twin, dan digital twin tersebut disebut menunjukkan validitas prediktif yang cukup besar, tetapi ini berbeda dari model Virtual Brain yang disebut sebelumnya. Keluarannya masuk akal secara neurobiologis, tetapi tidak ada model independen atau hasil fMRI baru yang menunjukkan bahwa stimulus yang dioptimalkan benar-benar mengaktifkan area target. Karena ini adalah studi yang dilakukan dengan data fMRI yang sudah ada, validasi penuh adalah langkah berikutnya yang wajar, dan makalah ini dapat membantu memperoleh pendanaan riset yang diperlukan.
    D. Stimulus statis yang rata-rata mengaktifkan area otak tertentu di atas baseline sudah bisa dibuat sejak lama. Perbedaan individual bervariasi tergantung pasangan stimulus-area; fusiform face area (FFA) berukuran kecil, sehingga sebaiknya ditemukan dengan stimulus wajah individual daripada pendekatan region of interest sederhana, tetapi lokasinya umumnya bisa diidentifikasi secara stabil. Pengukuran aktivitas otak sangat kasar, seperti voxel fMRI sekitar 3×3×3mm dan respons hemodinamik dengan autokorelasi spasial besar, atau receptive field EEG sekitar 400mm². Digital twin memodelkan dinamika pada resolusi ini dengan cukup baik, dan karena pada tingkat ini jumlah informasinya tidak besar, mengotomatisasikannya dengan video juga bukan lompatan yang terlalu jauh.
• Ini sangat mirip dengan diskusi minggu lalu tentang startup pembaca otak, jadi kita perlu membaca makalahnya sebelum bereaksi. Alat ini bertujuan mengurangi bias eksperimenter yang muncul ketika peneliti menetapkan, “area ini mungkin punya fungsi seperti ini, jadi mari tampilkan video X,” dan untuk mengungkap fungsi tiap bagian otak.
  Setelah subjek menonton berbagai video selama beberapa jam di dalam pemindai, model membuat representasi datanya sendiri dan mencari input yang membuat bagian tertentu merespons paling kuat. Dengan kata lain, ini menggeneralisasi riset otak yang sudah lama dilakukan: menyajikan stimulus, merekam respons otak, lalu memahami apa itu manusia dan kognisi.
  • ‘Tujuan’ penelitian bukankah hanya apa yang orang-orang harapkan sebagai penggunaan tunggalnya? Saya ragu seberapa besar mereka bisa menentukan untuk apa penelitian itu benar-benar akan digunakan.
  • Saya perlu tautan atau informasi tambahan untuk mengetahui apa yang dimaksud dengan startup pembaca otak di sini.
  • Penelitian seperti ini juga membantu Moonbug Entertainment (Candle Media) membuat Distractatron yang lebih baik. Caranya adalah memutar berulang adegan biasa berdurasi 20 detik di TV kecil beberapa meter dari layar besar—misalnya menuangkan kopi atau memotong rambut—lalu mencatat setiap kali anak mengalihkan pandangan dari program Moonbug.

Distractatron sendiri tidak terlalu menarik, tetapi bisa dipakai untuk menyempurnakan konten dengan menemukan momen persis ketika konsentrasi terpecah. Dibahas lebih rinci dalam artikel New York Times dan artikel New Yorker

• Meski penelitian ini dan niat para penelitinya sendiri tidak amoral, hal ini bisa berujung pada konsekuensi yang mengerikan. Teknologi nuklir juga awalnya dikembangkan dengan niat baik dan memberi banyak manfaat bagi umat manusia, tetapi pada akhirnya aktor-aktor paling berbahaya memiliki banyak senjata nuklir
• Ada contoh pribadi bahwa memakai sebagian otak secara berlebihan bisa berbahaya. Paman saya, yang merawat bibi saya yang menderita demensia, sepanjang hidupnya adalah orang yang cakap, stabil, dan dapat dipercaya, tetapi akhirnya secara mental runtuh dan mengalami mania
  Karena khawatir bibi saya melakukan tindakan berbahaya seperti menyalakan kompor gas, ia harus terus berjaga 7 hari seminggu selama lebih dari setahun, dan sistem kewaspadaan terhadap bahaya di otaknya terus-menerus dipaksa bekerja berlebihan. Saya mengakui penelitian ini ilmiah, tetapi jika tidak dikontrol dengan ketat, pasti akan ada perusahaan yang mencoba serangan ala Rowhammer pada otak manusia
  • Kemungkinan besar penyebabnya bukan kerja berlebihan, melainkan stres. Stres dapat memicu episode mania pada orang yang punya predisposisi biologis, dan beban ketika pasangan mengalami demensia lalu tiba-tiba harus menjadi perawat penuh waktu sangatlah besar
    Jika menengok ke masa lalu, mungkin pernah ada episode hipomania seperti berkurangnya tidur, paranoia ringan, atau produktivitas berlebih yang muncul sesekali. Jika ini terjadi baru-baru ini, semoga ia pulih dengan baik; generasi terbaru obat pencegahan dan pengobatan mania sudah jauh lebih baik dibandingkan dulu
  • Penelitian ini membantu memahami otak dan memodelkan dengan lebih baik area kandidat untuk operasi epilepsi, tetapi tidak menjadi dasar untuk membaca pikiran. Jika perusahaan sampai pada tahap membuat kita hidup di dalam MRI untuk secara stabil mengaktifkan area otak tertentu dengan stimulus tertentu, berarti sudah ada masalah yang lebih besar
    Namun, dalam 20 tahun, augmentasi otak yang melampaui elektroda kulit kepala EEG dan menggabungkan chip implan dengan elektroda saraf serta komputasi AI jaringan mungkin saja memungkinkan. Pada awalnya otak akan memakai antarmuka itu untuk augmentasi kecerdasan, tetapi jika arah kontrol dibalik melalui manipulasi jarak jauh, manipulasi otak yang dikhawatirkan bisa menjadi nyata. Meski begitu, penelitian ini masih berjarak tahun cahaya dari skenario tersebut, sehingga sulit mengaitkannya kecuali jika Anda menentang semua teknologi
  • Yang terus aktif pada paman Anda kemungkinan besar bukan kerja berlebihan, melainkan respons fight-or-flight dalam situasi perawatan yang tidak dapat diprediksi
• Pencarian otomatis terhadap stimulus supernormal visual kemungkinan besar akan berujung buruk
  Ini mengingatkan pada stimulus supernormal dan cerpen BLIT. Salah satu animasi V3A samar-samar mirip dengan sesuatu yang saya lihat pada malam hari sesaat sebelum tertidur ketika masih kecil, tetapi saat itu bentuknya lebih mendekati lingkaran
  • Dalam istilah ala SCP, ini bisa disebut cognitohazard. Teori matematika tentang mengapa orang berhalusinasi juga terkait
    Di tempat perawatan penyandang disabilitas intelektual, setahu saya cahaya terang dan stimulus lain digunakan untuk menenangkan dan mengendalikan, dan orang autistik sangat terstimulasi oleh warna-warna mencolok. Tidak bisa dipastikan bahwa orang lain pun tidak rentan terhadap stimulus yang bersifat mengendalikan seperti ini
  • Seperti peringatan di Harry Potter bahwa menikmati keberuntungan secara berlebihan pun berbahaya, ini serupa dalam arti stimulus visual positif yang berlebihan juga bisa berbahaya
• Banyak orang yang melihat sekilas gambar brutal di internet lalu ingin melupakannya seumur hidup. Gambar yang bisa dibuat teknologi ini benar-benar bisa mengerikan, dan tingkat yang tak mampu ditanggung otak mungkin jauh lebih parah daripada apa yang sudah kita lihat sekarang
  • Kita bisa membayangkan masa depan pada 9 Juni 2032, ketika startup bioteknologi ReMind meraih IPO yang memecahkan rekor setelah demo mengejutkan dan uji coba skala kecil. Mereka akan mempromosikan bahwa kamera di layar mengidentifikasi orang yang mendekat, lalu dengan data masa lalu menghasilkan gambar yang memberi dampak paling kuat pada otaknya, sehingga menanamkan ingatan dengan akurasi rata-rata 83% dalam sekali lihat
    Mereka bisa meluncurkan ReMind Long-term, yang memberi kesan seperti “trauma” demi menciptakan memori jangka panjang untuk iklan, dan ReMind Short-term, yang untuk promosi terbatas bekerja seperti versi visual dari lagu yang terus terngiang. Masa depan cerah: perusahaan iklan memesan puluhan ribu, lalu segera menempatkannya di supermarket, lift, pom bensin, hiburan dalam pesawat, dan papan iklan publik
  • Ini makin mendekati Langford's Basilisk
• Di antara ide riset rahasia saya, ini termasuk yang paling berbahaya dan paling salah secara moral. Jika generasi mendatang bertanya mengapa tinjauan IRB menjadi wajib dalam riset ilmu komputer, penelitian seperti inilah jawabannya
  Ada peneliti yang tidak menyadari bahwa pada suatu titik dirinya sedang menjadi Fritz Haber
  • Secara umum, teknologi selalu mengurangi kebebasan kita
• Apakah mereka benar-benar ingin membuat Snow Crash? Penjelasan terkait
• Algoritma feed media sosial sudah melakukan hal ini dalam skala besar, jadi bahkan konten generatif pun tidak diperlukan. Di lautan konten buatan pengguna, sudah ada cukup banyak materi yang mencapai tingkat aktivasi maksimum
  • Rencananya adalah mengeluarkan pembuat konten dari proses agar pembagian pendapatan berkurang dan laba meningkat
  • Mengoptimalkan engagement dan mengoptimalkan aktivasi area otak tertentu pada orang tertentu adalah tujuan yang kategorinya saja berbeda
• Proses mencari cara untuk menarik perhatian orang itu sendiri bukan hal baru. Kartun tahun 1950-an pun memakai hewan lucu, pergantian adegan yang singkat dan cepat, serta musik yang mudah menempel di telinga untuk membuat otak “duduk diam dan menonton”
  Focus group iklan berkembang menjadi A/B test untuk menemukan preferensi yang terungkap, dan riset tentang lemak, garam, dan gula melahirkan makanan cepat saji yang nyaris adiktif. Teknologi ini hanyalah tahap logis berikutnya
  • Buku juga dirancang agar pembaca tenggelam di dalamnya, dan dulu orang melontarkan kritik yang sama terhadap buku seperti yang sekarang mereka lontarkan terhadap layar. Saya rasa lebih penting memahami kepanikan emosional yang orang-orang masuki sendiri daripada teknologinya