Pengodean simultan dua aliran suara di otak yang dikonfirmasi dengan EEG

• Analisis EEG dari 24 orang dewasa dengan pendengaran normal menunjukkan bahwa saat perhatian dialihkan, pelacakan saraf terhadap pembicara baru mulai sebelum terlepas dari pembicara lama, sehingga kedua suara untuk sementara terwakili secara bersamaan
• Selubung suara kedua pembicara serta informasi awal kata dan prediksi dimodelkan dengan fungsi respons waktu (TRF), dan bahkan dalam jendela decoding 1 detik pembicara yang diperhatikan dapat diidentifikasi secara signifikan lebih akurat daripada tingkat kebetulan
• Keterlibatan terhadap pembicara baru dimulai dan berakhir secara signifikan lebih awal daripada pelepasan dari pembicara lama, dan asimetri keterlibatan-pelepasan ini tetap terlihat pada jendela geser 1·2·4·8·16 detik
• Setelah peralihan perhatian, daya pita alfa EEG menurun, dan titik terendahnya muncul lebih lambat daripada titik peralihan pengodean suara, menunjukkan hubungan temporal antara pelacakan pembicara baru dan upaya mendengarkan
• Saat membandingkan empat strategi konteks leksikal dengan Mistral-7B-v0.1, entropi dari model Reset yang membuang konteks sebelumnya paling baik memprediksi EEG, tetapi ini tidak berarti manusia pasti juga mengatur ulang konteks

---

Pertanyaan penelitian dan desain eksperimen

• Di lingkungan dengan banyak orang berbicara, kita harus mempertahankan perhatian pada satu pembicara sambil cepat beralih ke pembicara lain, tetapi sebagian besar studi neurofisiologi sebelumnya berfokus pada perhatian berkelanjutan
• Peralihan perhatian dibagi menjadi pelepasan (disengagement), yaitu berkurangnya pelacakan saraf terhadap pembicara lama, dan keterlibatan (engagement), yaitu meningkatnya pelacakan terhadap pembicara baru, untuk menyelidiki hubungan temporal kedua proses ini
• Sebanyak 24 penutur asli bahasa Inggris berusia 18~39 tahun dengan pendengaran normal berpartisipasi, tanpa riwayat gangguan neurologis atau psikiatris, serta memiliki penglihatan normal atau telah dikoreksi
• Enam speaker ditempatkan dalam susunan melingkar dengan jari-jari 1,5 m
  • Dari depan kiri dan kanan pada ±30°, dua suara TED Talk yang berbeda diputar masing-masing pada 60dB SPL
  • Dari empat speaker belakang, kebisingan babble 16 pembicara hasil gabungan masing-masing 4 orang diputar pada 54dB SPL, sehingga SNR latar depan terhadap latar belakang diatur ke 3dB
• Peserta menjalani 20 percobaan berdurasi 180 detik dan mengalihkan perhatian enam kali per percobaan antara pembicara kiri dan kanan sesuai panah di layar
  • Interval perhatian berkelanjutan disusun secara semiacak
  • Untuk stimulus latar depan digunakan 40 TED Talk dari 20 pria dan 20 wanita
  • Setelah tiap percobaan, peserta menjawab tentang pemahaman isi, pembicara yang disukai, dan tingkat kesulitan beralih

Hasil perilaku dan decoding perhatian

• Karena masalah teknis, data perilaku satu orang hilang, sehingga rata-rata akurasi pertanyaan isi yang dihitung dari 23 orang adalah 86,3%
• Rasio preferensi suara kiri rata-rata 49,79% sehingga seimbang, dan tingkat kesulitan beralih rata-rata 3,1 poin dari skala 1~5
• EEG 64 kanal direkam pada 512Hz, lalu setelah prapemrosesan di-downsample menjadi 64Hz, dan hubungan linear tertunda antara suara dan EEG dimodelkan dengan fungsi respons waktu (TRF)
• Dengan TRF arah balik, selubung suara target perhatian direkonstruksi dari EEG lalu korelasinya dibandingkan dengan suara kiri dan kanan
  • Digunakan jendela decoding 1·2·4·8·16·32 detik
  • Semakin panjang jendela, semakin tinggi performa klasifikasi, tetapi semua kondisi termasuk jendela 1 detik secara signifikan lebih tinggi daripada persentil ke-95 distribusi kebetulan dari 100 pengacakan label
• Bahkan dalam situasi peralihan yang dinamis, rekonstruksi selubung suara dari EEG dapat melacak pembicara yang menjadi target perhatian secara stabil

Keterlibatan pembicara baru lebih cepat daripada pelepasan pembicara lama

• TRF multivariat arah maju mencakup selubung suara, awal kata, dan kejutan kata, lalu korelasi antara EEG nyata dan EEG prediksi dihitung dengan jendela geser
• Sebelum peralihan, suara pembicara lama dilacak lebih kuat, dan setelah peralihan pelacakan pembicara baru menjadi lebih kuat, sesuai dengan instruksi perhatian visual
• Sebanyak 21 orang yang menunjukkan bias perhatian andal di atas 50% sebelum dan sesudah peralihan digunakan untuk analisis waktu
  • Peserta yang dikeluarkan tidak memungkinkan estimasi titik mulai dan berakhirnya pelepasan serta keterlibatan
  • Dalam analisis lanjutan yang juga memasukkan 3 peserta yang dikeluarkan, pola kualitatif keterlibatan yang lebih awal tetap terlihat, tetapi signifikansi statistik menghilang
• Regresi linear per segmen diterapkan pada korelasi prediksi EEG tiap peserta untuk memperkirakan titik mulai dan akhir pelepasan serta keterlibatan
  • Pada jendela 4 detik, keterlibatan pembicara baru dimulai secara signifikan lebih awal daripada pelepasan pembicara lama
  • Akhir keterlibatan juga secara signifikan lebih cepat daripada akhir pelepasan
• Bahkan saat jendela 1·2·4·8·16 detik dianalisis bersama, asimetri keterlibatan-pelepasan tetap bertahan
  • Semakin panjang jendela, semakin panjang pula waktu peralihan yang diperkirakan
  • Penghalusan temporal dari jendela geser dapat memperpanjang peralihan, tetapi tidak menciptakan asimetri kedua proses itu sendiri
• Dalam interval singkat ketika pelacakan pembicara baru muncul sebelum penurunan pelacakan pembicara lama, kedua aliran suara terwakili secara saraf secara bersamaan

Pita alfa dan upaya mendengarkan

• Perubahan spektral terkait peristiwa (ERSP) pita alfa 8~12Hz di sekitar peralihan perhatian digunakan sebagai indikator upaya mendengarkan
• Selama peralihan, daya alfa menurun secara signifikan di wilayah oksipital-parietal, dan penurunan besar terukur sekitar 4,5 detik setelah sinyal peralihan
• Pada jendela 4 detik, titik terendah ERSP alfa secara signifikan lebih lambat daripada titik peralihan pengodean saat korelasi prediksi EEG kedua pembicara saling berpotongan
  • Urutan yang sama dipertahankan pada berbagai panjang jendela
  • Titik terendah alfa kira-kira sesuai dengan saat keterlibatan pembicara baru selesai, dan muncul lebih awal daripada selesainya pelepasan pembicara lama
• Hubungan temporal ini membuka kemungkinan bahwa daya alfa terkait dengan upaya memfokuskan ulang pada pembicara baru, penekanan aktif terhadap pembicara pengganggu baru, atau kombinasi keduanya
• Setelah konteks akustik dan linguistik dari aliran baru cukup terakumulasi, pelacakan bisa menjadi lebih mudah sehingga sumber daya kognitif dilepaskan, tetapi verifikasi tambahan berdasarkan tingkat kesulitan peralihan masih diperlukan

Empat model konteks leksikal

• Karena saat target perhatian berubah, konteks semantik yang digunakan untuk prediksi leksikal juga berubah, kejutan kata dan entropi dihitung dengan Mistral-7B-v0.1
  • Kejutan menunjukkan seberapa tak terduganya kata saat ini dari konteks sebelumnya
  • Entropi menunjukkan ketidakpastian prediksi kata berikutnya
• Empat strategi akumulasi konteks dibandingkan
  • Oracle: menggunakan semua ujaran sebelumnya dari pembicara saat ini tanpa memedulikan apakah diperhatikan atau tidak, dan tidak mengenali peralihan
  • Speaker-Specific: hanya menggunakan segmen perhatian sebelumnya dari pembicara yang sama
  • Attention: menggunakan semua segmen yang sebelumnya diperhatikan tanpa memedulikan pembicara
  • Reset: membuang semua konteks sebelum peralihan dan hanya mengakumulasi konteks baru dalam segmen perhatian saat ini
• Tepat setelah peralihan, entropi model Reset melonjak paling besar lalu menurun seiring kata-kata berlanjut
  • Attention dan Speaker-Specific saling mirip dan lebih stabil
  • Oracle yang tidak mengenali peralihan hampir tidak menunjukkan perubahan sebelum dan sesudah peralihan
  • Dalam rata-rata keseluruhan, entropi Reset berada di tingkat menengah: lebih tinggi daripada Oracle dan lebih rendah daripada Attention serta Speaker-Specific

Hasil prediksi EEG dari model Reset

• Dibandingkan TRF dasar yang hanya menggunakan karakteristik akustik, model Speaker-Specific, Attention, dan Reset yang menambahkan entropi menunjukkan peningkatan prediksi yang signifikan, tetapi Oracle tidak meningkat
• Saat menggunakan kejutan, pengodean informasi semantik juga terkonfirmasi pada tiga model selain Oracle
• Di luar dugaan, model Reset berbasis entropi menunjukkan korelasi prediksi EEG yang secara signifikan lebih tinggi daripada Oracle, Speaker-Specific, dan Attention
  • Amplitudo TRF-N400 pada 350~550ms lebih rendah pada Reset dibanding tiga model lainnya
• Dalam analisis berbasis kejutan, Reset lebih tinggi daripada Oracle, tetapi perbandingan antara model lainnya tidak signifikan, dan juga tidak ada perbedaan signifikan pada amplitudo TRF-N400
• Perbedaan antara entropi yang mencerminkan ketidakpastian kata yang akan datang dan kejutan yang merespons kata yang sudah muncul mungkin memengaruhi hasil
  • Peserta menerima sinyal peralihan dan mengantisipasi akan datangnya suara lain, tetapi LLM tidak menerima sinyal tersebut, sehingga kejutan manusia dan model mungkin tidak selaras
  • Mistral dioptimalkan untuk prediksi kata berikutnya, bukan untuk validitas neurofisiologis
• Hasil ini selaras dengan kemungkinan bahwa manusia mengatur ulang konteks leksikal saat beralih, tetapi juga menyisakan kemungkinan bahwa manusia dan LLM memproses diskontinuitas suara dengan cara yang sepenuhnya berbeda

Keterbatasan dan potensi pemanfaatan

• Karena waktu keterlibatan dan pelepasan yang dihitung dengan jendela geser bergantung pada panjang jendela, hasilnya harus ditafsirkan sebagai waktu relatif antarproses, bukan waktu pemrosesan saraf absolut
• Tugas peralihan yang diarahkan kurang alami dibanding percakapan nyata, dan karena mendorong pemantauan suara pengganggu, dapat menghasilkan strategi yang berbeda dari tugas perhatian berkelanjutan
• Asimetri dapat berubah tergantung beban kognitif, usia, kemampuan kognitif, masalah pendengaran, minat terhadap isi suara, frekuensi peralihan, dan karakteristik tugas
• Alih-alih sepenuhnya membuang konteks sebelumnya, ada kemungkinan konteks dipertahankan dalam bentuk ringkasan abstrak seperti inti cerita
  • Model seperti Large Concept Model yang dioptimalkan untuk prediksi kalimat, atau model yang menggabungkan konteks token pendek dengan ringkasan masa lalu, dapat dibandingkan
• Metode untuk memisahkan perubahan pengodean per suara lebih rinci daripada klasifikasi perhatian sederhana, dan dapat dimanfaatkan dalam riset alat bantu dengar berbasis kontrol kognitif serta perbandingan kelompok usia dan pendengaran
• EEG prapemrosesan, berkas analisis, kode, dan stimulus suara tersedia secara publik di Zenodo

[GN⁺]

Opini Hacker News

• Teringat kisah Richard Feynman yang bereksperimen tentang apa yang bisa ia lakukan sambil menghitung 60 detik di dalam kepala. Feynman bisa membaca sambil menghitung, tetapi tidak bisa berbicara; John Tukey sebaliknya, bisa berbicara tetapi tidak bisa membaca.
  Itu karena Tukey memvisualisasikan pita sambil menghitung angka, sedangkan Feynman berbicara dalam hati. Kesimpulannya: bahkan untuk menghitung angka yang sama, proses di dalam kepala tiap orang berbeda, dan hal itu bisa diverifikasi secara objektif dengan mengamati apa yang bisa dan tidak bisa dilakukan saat menghitung.
  Feynman juga pernah memikirkan kemungkinan bahwa dirinya, yang melihat huruf-huruf dalam persamaan sebagai warna, dan para mahasiswanya mungkin memahami fungsi Bessel dengan cara yang sama sekali berbeda.
  https://calteches.library.caltech.edu/3591/1/Feynman.pdf

  • Saat menidurkan putri saya, saya sering menggendongnya sambil bernyanyi dan menghitung 300 langkah. Dengan memvisualisasikan angka alih-alih memakai monolog batin, saya bisa bernyanyi dan menghitung sekaligus. Namun itu butuh konsentrasi lebih, dan sekarang ketika melihat putri saya sudah bisa tidur sendiri, kadang saya merindukan masa itu.
  • Selama tidak sedang membaca teks, saya bisa mengikuti isi audiobook tanpa perlu terlalu berkonsentrasi. Sepertinya saya tidak bisa mendengarkan audiobook dan membaca sekaligus karena saat membaca saya melakukan subvokalisasi; saya juga lebih suka membaca sambil merasakan kata demi kata daripada membaca cepat.
  • Ini tampaknya terkait dengan fakta bahwa belahan otak kiri dan kanan menangani fungsi kognitif yang berbeda serta gerakan tubuh sisi berlawanan, dan berkomunikasi melalui korpus kalosum. Pada pasien split-brain yang korpus kalosumnya dipotong, kedua belahan kadang bertindak secara independen; hal ini terlihat dalam eksperimen Michael Gazzaniga dan Roger Sperry.
    Eksperimen Feynman menunjukkan bahwa cara pemrosesan internal yang dikembangkan masing-masing orang bisa diverifikasi dari luar. Perasaan melihat warna pada simbol matematika juga mungkin merupakan hasil otak kanan memberi pengenal unik pada persoalan logis otak kiri.
  • Saya penasaran apakah alasan saya tidak bisa bekerja, membaca, dan berkonsentrasi saat mendengarkan musik juga sama, atau karena musik mengambil seluruh perhatian.
  • Membaca sambil menyanyikan lagu pengantar tidur untuk anak sangat mudah, tetapi ketika mencoba berbicara sambil menghitung angka di dalam kepala, rasanya benar-benar mustahil, seperti menabrak tembok.

• Saya bisa membaca buku dongeng keras-keras sambil terus memikirkan hal yang sama sekali berbeda. Namun kadang ada kesalahan yang bocor ke pembacaan, misalnya saya membaca dengan mengganti kata menjadi kata dari pikiran lain itu.

  • Ayah saya seorang fisikawan; ketika ia mulai tertidur saat membacakan buku, dongengnya tiba-tiba menjadi tidak masuk akal dan penuh istilah fisika yang sulit, jadi kami langsung tahu.
  • Setiap malam saya membacakan buku untuk anak dan bisa memikirkan masalah lain selama sekitar 15 menit, tetapi dalam keadaan itu saya tidak bisa mengikuti alurnya. Begitu anak saya bertanya, “Ayah, kenapa dia mencuri sepeda?”, seluruh penyamaran langsung runtuh.
  • Saya telah membacakan puluhan buku untuk anak-anak, termasuk buku Enid Blyton, sambil memikirkan pekerjaan atau urusan rumah. Kadang saya sama sekali tidak mengikuti isi yang sudah saya baca selama beberapa menit dan harus mulai lagi; sepertinya jalur mata dan mulut sebagai phonological loop bekerja secara independen dari jalur kognitif memori, pemrosesan, dan eksekusi.
  • Saat di sekolah kami bergiliran membaca buku pelajaran, saya hanya berfokus pada suara dan intonasi yang sesuai dengan tanda baca. Setelah selesai satu paragraf, saya harus membacanya lagi diam-diam untuk memahami isinya. Bahkan sekarang, untuk membaca keras sambil memahami tulisan yang kompleks, saya harus memakai kedua alur pemrosesan itu.
  • Ketika lebih banyak sumber daya kognitif dipakai untuk pikiran lain, saya kadang sadar bahwa saya masih terus membaca keras-keras meski rasanya tidak mengerahkan usaha sama sekali untuk membaca.

• Sebagai pilot sekaligus petugas komunikasi radio, hasil ini tidak mengejutkan karena saya selalu bisa memproses dua aliran suara secara bersamaan.

  • Pengendali di pusat kontrol dan TRACON harus memantau beberapa frekuensi di kedua telinga, dan tetap memprosesnya meski pilot menimpa komunikasi di frekuensi lain. Saat proses serah-terima mereka juga harus berkomunikasi internal, dan isi komunikasinya bukan obrolan barbeku akhir pekan, melainkan sangat padat informasi, setingkat METAR.
  • Sebagai guru, ada kalanya saya berbicara dengan beberapa anak sekaligus. Itu mungkin jika tidak perlu fokus mendalam, tetapi melelahkan sehingga sebisa mungkin saya hindari.
  • Saya penasaran apakah beberapa suara di headset terdengar bertumpuk di tengah atau mono, atau dipisahkan ke telinga kiri dan telinga kanan.

• Berbagai praktik mindfulness tampaknya menempatkan perhatian pada dua tempat sekaligus untuk meredam suara batin. Dalam The Fourth Way karya George Gurdjieff dan catatan P. D. Ouspensky, disebutkan bahwa ketika aliran perhatian dijenuhkan dengan memusatkan perhatian pada dua objek, terjadi perubahan kesadaran yang mirip meditasi.
  https://en.wikipedia.org/wiki/In_Search_of_the_Miraculous

  • Mungkin itu sebabnya mendengarkan fuga terasa begitu menyenangkan.

• Saat kuliah, di pesta saya sering ikut beberapa percakapan sekaligus sambil berpindah-pindah antar kelompok. Bukan karena kemampuan saya hebat, melainkan karena saya bisa mendengar semua percakapan di sekitar; ketika beberapa kelompok membahas hal menarik, saya tidak ingin melewatkan salah satunya, jadi terus bolak-balik di antara percakapan.

• Jika kita tidak bisa memproses beberapa aliran sensorik, kita tidak akan bisa memantau bahaya di latar belakang atau melakukan context switching. Pengalaman sadar berbeda dari pemrosesan yang terjadi di latar belakang.

  • Memproses beberapa aliran berbeda dari memprosesnya secara kontinu sekaligus. Seperti CPU single-core yang menangani beberapa thread, yang pertama bisa terjadi hanya dengan time-slicing, berpindah sangat cepat antara A dan B.
    Bukti bahwa otak benar-benar terus memproses dan mengodekan beberapa aliran secara bersamaan membantu kita memahami mekanisme multitasking secara tepat, jadi meski hasilnya tampak jelas, ini tetap layak diteliti.
  • Yang dibahas di sini bukan pemrosesan multisensorik umum, melainkan pemrosesan beberapa aliran suara.
  • Memahami makna tulisan dan membedakan bahaya dari sinyal juga berbeda dalam tingkat kualitas pemrosesannya.

• Saya kira ini sudah fakta yang dikenal luas. Masalah saya adalah tidak bisa mengabaikan ucapan orang lain; bahkan saat sedang berbicara dengan seseorang, saya tetap mendengar percakapan di sekitar kata demi kata.

• Tim kendali misi Apollo terkenal dilatih untuk memproses beberapa aliran percakapan sekaligus, tetapi mereka tidak bisa mematikannya sehingga pesta koktail menjadi mimpi buruk.

  • Pengendali bandara serta profesi serupa di kereta api dan kereta bawah tanah kemungkinan besar mengalami kesulitan yang sama.
  • Saat makan bersama kerabat, semua orang berbicara bersamaan dan kebanyakan ikut dalam dua percakapan. Adik perempuan saya yang meninggalkan rumah untuk kuliah butuh beberapa minggu untuk menghilangkan lagi kebiasaan ini, sehingga saat berkunjung ia sama sekali tidak berbicara di meja makan.
  • Saya penasaran apakah ada tautan untuk memeriksa sumber anekdot ini.

• Salah satu kekuatan super legendaris Pythagoras adalah bilocation, yaitu muncul dan mengajar di dua kota sekaligus. Setiap kali ikut beberapa percakapan sekaligus dalam acara sosial, saya teringat Pythagoras.

• Ketika animasi dan suara pertama kali digabungkan, jika suara “tok” diputar tepat saat bandul mencapai ujung ayunannya, orang merasa suaranya terlambat. Katanya, itu karena dibutuhkan sekitar 1/16 detik untuk mengalihkan perhatian dari satu rangsangan ke rangsangan lain.
  Pengamatan lain tentang persepsi waktu bisa dilihat di https://en.wikipedia.org/wiki/Time_perception

  • Kecepatan rambat suara itu sendiri juga lambat.
  • Bunyi tik-tok pada jam sungguhan memang terjadi sebelum bandul mencapai ujung ayunannya.