- Tim peneliti University of Washington mengembangkan sistem Target Speech Hearing yang mendaftarkan pembicara hanya dengan membuat pemakainya menatap orang yang berbicara selama 3–5 detik, lalu memperdengarkan suara orang tersebut secara real-time bahkan di lingkungan yang bising
- Mikrofon di kedua sisi headphone siap pakai bekerja bersama komputer embedded onboard; saat pengguna menekan tombol dan menghadap ke arah pembicara, perangkat lunak machine learning mempelajari pola suaranya
- Setelah terdaftar, sistem terus melacak suara tersebut meski pendengar atau pembicara bergerak; semakin banyak pembicara berbicara, data pelatihan bertambah sehingga performa untuk berfokus pada pembicara target makin baik
- Dalam pengujian terhadap 21 orang, peserta menilai kejernihan suara pembicara terdaftar rata-rata hampir dua kali lebih tinggi dibanding audio yang tidak difilter
- Saat ini sistem hanya dapat mendaftarkan satu orang dalam satu waktu, dan pendaftaran sulit dilakukan jika ada suara keras lain yang bercampur dari arah yang sama, sehingga ekspansi ke earbud dan alat bantu dengar masih menjadi tugas berikutnya
Cara Kerja Target Speech Hearing
- Target Speech Hearing dari University of Washington adalah sistem AI yang memungkinkan pengguna memilih dan mendengar hanya suara orang tertentu pada headphone peredam bising
- Pengguna memakai headphone siap pakai yang dilengkapi mikrofon, memutar kepala ke arah orang yang sedang berbicara, lalu menekan tombol
- Gelombang suara pembicara target harus tiba secara bersamaan di mikrofon pada kedua sisi headset
- Toleransinya adalah 16 derajat
- Headphone mengirim sinyal yang dikumpulkan ke komputer embedded onboard, dan perangkat lunak machine learning mempelajari pola suara pembicara yang diinginkan
- Setelah pendaftaran selesai, sistem mengurangi suara lain di sekitar dan memutar hanya suara pembicara terdaftar secara real-time
- Sistem terus mengikuti suara terdaftar meski pendengar dan pembicara bergerak
- Jika pembicara terus berbicara, data pelatihan bertambah sehingga sistem dapat lebih baik berfokus pada pembicara target
- Tim peneliti mempresentasikan hasilnya pada 14 Mei di ACM CHI Conference on Human Factors in Computing Systems
- Kode untuk perangkat proof-of-concept tersedia di LookOnceToHear
- Sistem ini belum menjadi produk komersial
Hasil Eksperimen dan Keterbatasan Saat Ini
- Dalam pengujian terhadap 21 orang, peserta menilai kejernihan pembicara terdaftar rata-rata hampir dua kali lebih tinggi dibanding audio yang tidak difilter
- Riset ini dibangun di atas penelitian semantic hearing sebelumnya, yang menghapus suara lingkungan lain setelah pengguna memilih kategori suara yang ingin didengar
- Sistem sebelumnya memilih kelas suara tertentu seperti burung atau suara manusia
- TSH berfokus bukan pada kategori suara, melainkan pada satu pembicara terdaftar
- Saat ini TSH hanya dapat mendaftarkan satu pembicara dalam satu waktu
- Jika ada suara keras lain dari arah yang sama dengan pembicara target, pembicara tidak dapat didaftarkan
- Jika pengguna tidak puas dengan kualitas suara, proses pendaftaran untuk pembicara yang sama dapat dijalankan ulang untuk meningkatkan kejernihan
- Tim peneliti berencana memperluas sistem ini ke earbud dan alat bantu dengar
1 komentar
Opini Hacker News
Kalau ukurannya bisa diperkecil hingga seukuran earplug kecil, saya juga ingin memakainya meski tidak memiliki gangguan pendengaran
Setidaknya secara diagnosis saya dibilang tidak mengalami gangguan pendengaran, tetapi sekarang saya jadi bingung apakah metode tesnya yang kurang bagus, atau saya sebenarnya normal dan orang lain hanya lebih pandai berpura-pura bisa mendengar dengan baik
Saat bersama teman atau dalam pertemuan, biasanya ujung-ujungnya pergi ke restoran atau bar yang bising, dan rasanya selalu frustrasi ketika saya tidak mendengar lalu meminta orang mengulang, tetapi mereka mengulang dengan suara rendah yang sama sehingga saya tetap tidak mendengar
Lebih menyakitkan lagi ketika melewatkan lelucon atau komentar sambil lalu, lalu situasinya menjadi seperti, “Kalian tertawa karena apa, aku tidak dengar, bisa ulangi sekitar tiga kali?”
Namun setiap audiolog yang saya datangi mengatakan pendengaran saya normal, sampai akhirnya saya mencari spesialis yang disebut terbaik di wilayah kota besar, dan setelah menunggu 1 tahun akhirnya mendapat jadwal
Setelah menjalani tes sepanjang hari, spesialis itu berkata ada “kabar baik, kabar buruk, dan kabar yang baik sekaligus buruk”; kabar baiknya adalah pendengaran saya sangat bagus, setara anak usia 5 tahun, sedangkan kabar buruknya adalah saya justru mendengar terlalu baik sehingga tidak bisa membedakan suara
Bukan pendengaran saya yang memburuk, melainkan kemampuan otak untuk memisahkan suara yang menurun, dan kabar yang baik sekaligus buruknya adalah pada akhirnya pendengaran saya akan menurun seperti semua orang, jadi selama beberapa tahun saya mungkin bisa mendengar lebih baik di tempat umum
Menurut saya, salah satu alasan masalah ini makin parah adalah karena perancang restoran dan ruang publik tidak lagi memperhatikan lingkungan suara
Kebanyakan bar yang dibuka dalam 15 tahun terakhir memakai lantai semen, hampir tanpa peredam suara, dan tampaknya dirancang dengan asumsi bahwa kalau telinga belum berdenging, itu belum bisa disebut bersenang-senang
Karena secara harfiah saya tidak bisa mempertahankan percakapan, saya tidak lagi pergi ke tempat-tempat seperti itu
Daripada menyelesaikannya dengan perangkat, saya lebih menyarankan melihat masalahnya apa adanya dan menyelesaikannya dengan cara tradisional seperti, “Aku sama sekali tidak dengar, dan kalian mungkin juga begitu. Ini bodoh, ayo keluar”
Tempat-tempat seperti ini sering dirancang agar orang menderita kecuali terus berteriak atau mati rasa terhadap sekitar
Saya tidak mengerti mengapa orang pergi ke sana dan bahkan membayar untuk itu, dan saya rasa saya tidak akan pergi meski dibayar
Saya tidak ingin mengganti sikap saling menghormati batasan masing-masing dengan perangkat AI
Telinga bisa tetap terbuka sambil mendengar suara headset, dan ketika perlu mendengar lebih jelas, seperti saat menelepon di tempat ramai, cukup tutup telinga dengan jari
Dengan begitu, di dalam telinga muncul efek seperti kabinet speaker, kualitas suara konduksi tulang menjadi lebih penuh, dan kebisingan luar juga terblokir
Kalau membutuhkan kualitas headphone penuh, cukup pakai earplug; ukurannya juga kecil dan tidak terlalu mencolok
Memang tidak sempurna, tetapi saya suka karena hanya dengan jari atau earplug bisa beralih mulus dari “mendengar headset sambil membiarkan telinga terbuka” ke “memblokir suara dan mendengar headset dengan sangat jelas”
Kalau dipasangi shotgun mic di sampingnya, sepertinya akan sangat keren. Kalau memang benar mikrofon dengan sudut tangkap sempit disebut begitu
https://www.flareaudio.com/pages/earhd
Kalau bibir orangnya terlihat, itu sangat membantu saya menafsirkan ucapan dengan jauh lebih akurat, meski saya tidak bisa membaca gerak bibir
Setiap kali saya mencari tahu soal ini, ujungnya selalu mengarah ke kaitannya dengan autisme atau ADHD, dan pada 2008 saya agak mengabaikan pikiran itu karena saat itu belum didiagnosis
Sekarang saya sudah didiagnosis AuDHD
Hal yang perlu diketahui pembaca HN adalah betapa mahal dan buruknya alat bantu dengar
Kalau mencari harganya, bahkan alat bantu dengar tingkat dasar yang sekadar “membuat suara lebih keras” pun luar biasa mahal
Yang lebih buruk, karena alat itu mengintervensi telinga, Anda mudah kehilangan kemampuan untuk “mengarahkan” pendengaran
Artinya, menjadi sulit menyaring percakapan lain, kebisingan, dan sebagainya
Salah satu hasil sampingan yang baik dari proses Facebook menggelontorkan miliaran dolar untuk sesuatu yang mungkin nyaris sia-sia demi mencari AR yang praktis dan populer adalah https://www.projectaria.com/glasses/
Itu platform yang relatif murah untuk bereksperimen dengan perilaku ala AR, dan karena punya pelacakan pandangan, array mikrofon, serta kamera depan, cukup mudah dimodifikasi menjadi mikrofon yang bisa diarahkan
Alat bantu dengar Phonak saya sampai batas tertentu berpindah program secara otomatis, dan bisa disetel lebih rinci lewat aplikasi pendamping
Di lingkungan bising pun masih berfungsi sampai tingkat tertentu dan memungkinkan percakapan, sesuatu yang mustahil dengan alat bantu dengar sekitar 10 tahun lalu, jadi saya sangat bersyukur
Sepasang harganya kira-kira 2000 dolar, dan untungnya ditanggung oleh sistem layanan kesehatan nasional, jadi saya hanya membayar 50 dolar kira-kira setiap 5 tahun sekali. Tentu saja itu juga dibayar lewat pajak
Saya berharap kemajuan “AI” bisa melampaui amplifikasi dan penyaringan sederhana, hingga mampu memisahkan, memperkuat, atau merekonstruksi suara di lingkungan bising
Di sisi lain, saya berharap tren memutar musik makin keras di kafe, restoran, dan bar menghilang. Itu mimpi buruk aksesibilitas, terutama bagi orang dengan gangguan pendengaran, dan juga bagi orang lain
0: https://www.socialstyrelsen.se/en/about-us/healthcare-for-vi...
1: https://www.vox.com/2018/4/18/17168504/restaurants-noise-lev...
Sebuah kartel kecil menguasai pasokan, sehingga insentifnya adalah memaksimalkan laba, bukan bersaing dengan teknologi yang lebih baik
(0) https://www.thebignewsletter.com/p/silencing-the-competition...
Dengan begitu Anda bisa mendapatkan alat bantu dengar yang cocok, paling murah, dan andal
Jika tidak, hilangnya kemampuan indra akan mulai menimbulkan masalah penyaringan perhatian seperti yang disebutkan tadi
Semakin lama Anda menghindari koreksi pendengaran setelah pendengaran mulai memburuk, semakin kompleks dan mahal alat bantu dengar yang dibutuhkan untuk mengompensasinya kembali
Karena alat bantu dengar mahal itu hanya meniru secara kurang sempurna pekerjaan yang sebelumnya dilakukan otak dan korteks auditorik sebelum hilangnya kemampuan indra
Sebentar, saya harus pergi membuat janji tes pendengaran
Saat beliau masih hidup, ketika mencoba berbicara dengannya di acara keluarga atau tempat umum, saya pernah berpikir untuk membuat sesuatu yang mirip
Alasan mahalnya mungkin karena hubungan dengan perusahaan medis/layanan kesehatan dan biaya yang naik akibat kepatuhan regulasi
Misalnya, layar yang sama bisa menjadi beberapa kali lebih mahal jika memiliki sertifikasi untuk digunakan di fasilitas medis
Alat bantu dengar Widex saya luar biasa. Dalam situasi umum, kualitas suaranya fantastis
Satu-satunya keluhan nyata saya adalah perangkat itu tidak sepenuhnya tahan air, jadi saya harus sedikit merencanakan sebelumnya saat keluar rumah pada hari hujan
Sebagai orang dengan gangguan pendengaran, fitur seperti ini benar-benar terasa seperti anugerah dari langit
Fitur seperti ini harus diintegrasikan ke alat bantu dengar secepat mungkin. Diamlah, eh sebenarnya teruslah bicara, saya akan membayar
Jika suara tiap orang bisa dipilah, itu juga bisa diteruskan ke pengenalan suara untuk memberi subtitle pada percakapan nyata. Berguna saat pendengaran semakin buruk atau hilang sama sekali
Namun latensi pulang-pergi ke cloud bisa sangat mengurangi kegunaan atau membuatnya tidak berguna, jadi kita benar-benar membutuhkan perangkat mobile yang bisa memprosesnya secara lokal
Sudah dihentikan produksinya, tetapi produk rekondisi masih bisa didapat
Kacamata wearable cukup menjanjikan untuk kasus penggunaan yang disebutkan, karena dapat menghindari kesan besar dan terlihat tidak sopan saat memakai headphone ketika berbicara dengan seseorang
Bentuk yang lebih maju dari ini sepertinya juga akan sangat membantu tinnitus saya
Saat satu orang berbicara, saya bisa mendengar dengan baik meski suaranya pelan atau posisinya jauh, tetapi kalau ada beberapa orang berbicara atau ada musik, saya tidak bisa mendengar apa pun
Saat duduk di bar yang bising, hampir mustahil mendengar apa yang dikatakan selain oleh dua orang terdekat
Percakapan di lingkungan biasa umumnya tidak masalah
Jadi fitur yang memperkuat suara orang yang sedang saya lihat akan sangat keren
Apple AirPods sudah memiliki penyesuaian suara yang merespons lingkungan dan mode, dan jika ponsel diletakkan di depan orang yang berbicara, perangkat itu juga mendukung penguatan suara tertentu
Jika penguatan suara terarah seperti dalam riset ini didukung langsung di dalam AirPods, itu akan sangat membantu interaksi sosial di tempat bising
Kode: https://github.com/vb000/LookOnceToHear
Kemungkinan lebih besar sukses secara komersial untuk penggunaan kebalikannya
Bayangkan kalau bisa membisukan satu orang itu saja yang berbicara terlalu keras dengan suara menyebalkan di pesta
Di konser, orang sering memakai penyumbat telinga agar pendengaran tidak rusak; bayangkan menggantinya dengan headphone in-ear yang hanya menyisakan konser dan suara keluarga/teman, lalu memfilter sisanya
Volumenya juga bisa diatur, jadi ketika pasangan berbicara, hanya suaranya yang dibuat lebih keras di atas suara lain, sementara kebisingan kerumunan tetap dibiarkan untuk suasana, tetapi percakapan umum orang-orang sekitar dihilangkan
Saya bukan ahli machine learning atau AI, tetapi sepengetahuan saya ini bukan hal yang mustahil dengan teknologi saat ini
Pasti ada batasan baterai dan daya, tetapi untuk konser, headphone dengan band yang melintang di belakang kepala agar tetap terpasang dan tidak hilang kalau terjatuh juga masuk akal
Mungkin perlu mempelajari “suaramu”, tetapi kalau Alexa bisa melakukannya dalam 10 detik, aplikasi ponsel juga mestinya bisa
Kalau ada versi untuk bioskop di bawah 200 euro, saya akan langsung membelinya sekarang, dan mungkin akan kembali pergi ke bioskop
Orang-orang memakai headphone di pesta?
Kalau ada cara untuk menyaring orang seperti itu, saya pasti akan berterima kasih
Saya dulu bekerja di Sonos, jauh sebelum bencana besar pembaruan aplikasi dan peluncuran headphone sekarang
Saat upaya pengembangan produk headphone pertama yang dibatalkan, kami meninjau fitur konsep yang mirip: meloloskan suara orang tertentu secara selektif melalui chipset active noise cancellation
Saya tidak ingat persis pendekatan apa yang dipakai orang-orang DSP. Saya lebih dekat ke hardware active noise cancellation
Namun yang secara praktis bisa mereka pisahkan hanyalah suara si pemakai sendiri, karena sinyal itu lebih kuat daripada semua suara lain
Ini benar-benar keren. Saya penasaran hal menarik apa lagi yang bisa dilakukan dengan headphone
Chipset active noise cancellation sangat kuat, dan menurut saya kemampuannya masih jauh dari dimanfaatkan sepenuhnya
Saya masih belum menemukan produk yang tepat
Pengurangan bising di sisi pendengar tampaknya sudah teratasi dengan isolasi suara dan active noise cancellation, tetapi akan sangat bagus kalau ada kombinasi hardware–software yang memisahkan hanya suara saya untuk penerima dan memblokir kebisingan, sehingga benar-benar memungkinkan kerja jarak jauh
Produk Sonos secara umum punya masalah pada fungsi dasar; misalnya ketika Wi-Fi terputus lalu kembali, perangkat tidak bisa tersambung ulang, terutama kalau kanal Wi-Fi berubah selama itu
Solusi “teknisnya” adalah mencabut colokan untuk reboot, tetapi itu pun tidak bisa dilakukan dari jarak jauh
Bahkan saat terhubung ke Wi-Fi dan Sonos Spotify Connect sangat penuh bug sampai-sampai ingin reboot, itu pun tidak mungkin
Dengan esp atau modul TI serupa saja koneksi Wi-Fi bisa dipertahankan dan dibuat selalu tersambung ulang; apakah memang sesulit itu bagi developer firmware Sonos untuk melakukan hal dasar seperti itu?
Masih bergantung pada syarat bahwa tidak boleh ada suara atau suara pembicara pesaing di lokasi yang sama dengan pembicara target
Kode open source ada di https://github.com/vb000/LookOnceToHear, dan makalahnya ada di https://arxiv.org/abs/2405.06289
Jadi mungkin ini tidak sepenuhnya jauh dari kenyataan seperti banyak artikel sains populer
Kalau ada yang bisa menjalankannya secara independen, saya ingin mendengar hasilnya
Saya kesulitan mendengar seseorang berbicara di ruangan yang ramai, sepertinya karena pikiran saya mencoba menangkap semua suara, jadi ini bisa sangat membantu saya. Mungkin karena ADHD
Kalau ada cara untuk sangat mengurangi suara selain suara lawan bicara, itu akan luar biasa
Semoga hanya soal waktu sampai AirPods sendiri suatu hari bisa melakukan ini
Fitur seperti ini akan menjadi berkah bagi saya
Dalam tes pendengaran untuk mendengar bunyi bip kecil, hasil saya baik-baik saja, tetapi terutama di lingkungan ramai, saya sangat kesulitan memproses apa yang dikatakan orang
Ayah saya juga punya masalah yang sama
Ini fitur potensial yang tidak saya sadari saya butuhkan
Di rumah saya selalu memakai headphone active noise cancellation, dan akan sangat berguna kalau suara pasangan bisa otomatis diteruskan
Mungkin bukan pasangan, tapi mungkin saja…
Kalau suara pasangan terdengar lemah dan tidak sampai jelas ke telinga, itu mungkin karena isolasi pasif headphone
Atau bisa juga sekadar musik yang sedang didengarkan menutupi suara tersebut
Active noise cancellation hanya akan memblokir suara pasangan jika suara itu bercampur dengan kebisingan latar pada tinggi nada dan volume yang mirip hingga menjadi seperti white noise atau colored noise, dan active noise cancellation bisa meredam keseluruhannya