Touchpad berbasis mulut, MouthPad membantu pasien lumpuh menggunakan komputer

 (news.mit.edu)
2 poin oleh GN⁺ 2024-06-15 | 1 komentar | Bagikan ke WhatsApp
  • Bagi orang yang sulit menggunakan tangan, perangkat bantu berbasis suara yang ada tidak selalu cocok, dan MouthPad dari Augmental mengubah gerakan di dalam mulut menjadi input untuk ponsel pintar, komputer, dan tablet
  • Touchpad pendeteksi tekanan yang menyentuh langit-langit mulut dan dua sensor gerak menghubungkan gestur lidah dan kepala ke pergerakan kursor, scroll, dan klik melalui Bluetooth
  • Pengguna dengan cedera tulang belakang sudah memakai MouthPad setiap hari, dan seorang mahasiswa dengan quadriplegia memakainya dalam situasi ketika suara sulit digunakan, seperti belajar di perpustakaan dan menulis rumus
  • Produk ini dirancang khusus berdasarkan model 3D dari pemindaian rongga mulut pengguna, dengan cara mencetak 3D retainer dari bahan dental lalu menambahkan komponen elektronik
  • Augmental berencana memperoleh persetujuan FDA dalam waktu satu tahun ke depan untuk memperluas penggunaan ke kontrol kursi roda, lengan robot, serta penggantian biaya oleh asuransi, dan juga sedang mengembangkan versi berikutnya yang dapat mengenali gerakan organ bicara yang lebih halus

Perangkat input bagi orang yang sulit menggunakan tangan

  • Augmental adalah startup yang membantu orang dengan gangguan gerak berinteraksi lebih alami dengan perangkat komputasi pribadi
  • Produk pertamanya, MouthPad, memungkinkan pengguna mengendalikan komputer, ponsel pintar, dan tablet dengan gerakan lidah dan kepala
  • Tujuannya adalah agar orang dengan gangguan fungsi tangan yang parah tetap bisa menggunakan ponsel atau tablet dengan terampil seperti orang yang menggunakan tangan

Cara mengubah gerakan di dalam mulut menjadi kursor dan klik

  • Touchpad pendeteksi tekanan pada MouthPad ditempatkan pada posisi yang menyentuh langit-langit mulut
  • Touchpad dan dua sensor gerak mengubah gestur lidah dan kepala menjadi sinyal input real-time melalui Bluetooth
    • Menggeser lidah memungkinkan scroll ke atas, bawah, kiri, dan kanan
    • Gestur mengisap memungkinkan klik kanan
    • Menekan langit-langit mulut memungkinkan klik kiri
  • Pengguna yang sulit mengendalikan lidah dapat menggunakan air liur, menggigit, atau gestur lain
  • Pengguna yang memiliki kontrol leher lebih baik dapat menggerakkan kursor di layar dengan head tracking
  • Augmental ingin membuat antarmuka multimodal yang sesuai dengan kondisi fisik tiap pengguna

Alasan memilih lidah sebagai media input

  • Kontrol posisi lidah melibatkan area otak yang besar
  • Lidah tersusun dari 8 otot, dan sebagian besar serat ototnya adalah serat otot lambat yang tidak mudah lelah
  • Vega melihat bahwa karakteristik ini bisa dimanfaatkan untuk interaksi komputer dan bereksperimen menggunakan mulut sebagai media input
  • Pada semester terakhirnya di MIT, ia mengonfirmasi potensinya lewat prototipe berbentuk “permen lolipop” yang dipasangi berbagai sensor

Pengguna nyata dan contoh pemakaian

  • Orang dengan cedera tulang belakang menggunakan MouthPad setiap hari untuk berinteraksi secara mandiri dengan perangkat pilihan mereka
  • Seorang pengguna dengan quadriplegia yang belajar matematika dan ilmu komputer di universitas menulis rumus dan belajar di perpustakaan dengan MouthPad
    • Dalam situasi tersebut, perangkat bantu berbasis suara tidak cocok
    • Ia juga menjadi bisa memakainya untuk mencatat saat kuliah dan bermain gim bersama teman
  • Saat ini, banyak pengguna adalah penyandang cedera tulang belakang; sebagian tidak dapat menggerakkan tangan dan sebagian tidak dapat menggerakkan kepala
  • Gamer dan programmer juga menggunakan MouthPad
  • Pengguna yang paling sering memakainya berinteraksi dengan MouthPad hingga 9 jam per hari

Cara produksi khusus dan awal mula di MIT

  • Augmental membuat model 3D berdasarkan pemindaian rongga mulut pengguna, lalu menghasilkan desain MouthPad dari model tersebut
  • Tim mencetak 3D retainer dari bahan dental lalu menambahkan komponen elektronik
  • Vega bertemu salah satu pendiri Corten Singer saat kuliah di UC Berkeley, lalu bergabung dengan kelompok riset Fluid Interfaces di MIT Media Lab
  • Di MIT, ia mengikuti kelas microfabrication, pemrosesan sinyal, dan elektronika, serta mengembangkan perangkat wearable yang membantu akses informasi daring, peningkatan tidur, dan pengaturan emosi
  • Dalam proses pengembangan awal, mereka memanfaatkan sumber daya MIT seperti Venture Mentoring Service, MIT I-Corps program, dan E14 Fund
  • Augmental resmi diluncurkan saat Vega lulus dari MIT pada akhir 2019

Pendekatan yang dipilih alih-alih antarmuka otak-mesin

  • Vega sempat tertarik pada antarmuka otak-mesin, tetapi setelah magang di Neuralink ia mulai mencari solusi lain
  • Implan otak memiliki potensi besar untuk membantu orang di masa depan, tetapi memiliki keterbatasan berupa waktu pengembangan yang panjang
  • Vega bertemu banyak orang yang sudah membutuhkan solusi segera, dan di MIT ia ingin membuat pendekatan yang memiliki potensi implan otak namun menghindari keterbatasannya

Persetujuan FDA dan versi berikutnya

  • Augmental ingin memperoleh persetujuan FDA di AS dalam satu tahun ke depan untuk mendukung penggunaan seperti kontrol kursi roda dan lengan robot
  • Persetujuan FDA dapat memungkinkan penggantian biaya oleh asuransi sehingga akses terhadap produk menjadi lebih baik
  • Perusahaan sedang mengembangkan versi berikutnya yang merespons bisikan dan gerakan organ bicara internal yang lebih halus
  • Fitur ini penting bagi kelompok pelanggan awal yang telah kehilangan atau mengalami gangguan fungsi paru-paru
  • Vega juga memandang positif perkembangan agen AI dan hardware terkait, serta berharap Augmental menjadi antarmuka kecerdasan yang selalu tersedia, tangguh, dan privat

Bacaan terkait

1 komentar

 
GN⁺ 2024-06-15
Komentar Hacker News

  • Kenapa 10~15 tahun lalu belum ada hal seperti ini? Rasanya teknologi bantu tidak cukup banyak dibuat atau diperhatikan sampai dampaknya mengenai diri sendiri secara langsung

    • Saya sedang membuat perangkat kontrol musik bantu untuk musisi penyandang disabilitas di sebuah lab universitas. Dari yang saya lihat sekilas, cukup banyak proyek seperti ini tidak berhasil berlanjut dari ranah riset menjadi bisnis yang benar-benar berkelanjutan
      Karakteristik fisik dan neurologis sangat beragam, jadi perangkat bantu sering memerlukan kustomisasi, penyetelan, dan dukungan untuk pengguna tertentu, sehingga harganya juga cenderung mahal
    • Sepertinya ada beberapa alasan. Pertama adalah kesenjangan teknologi: orang yang mulai membutuhkan teknologi bantu mungkin tidak tahu bagaimana cara mulai membuatnya sendiri. Kedua adalah perbedaan sudut pandang: sebagai teknolog nondisabilitas, sulit memahami masalahnya dengan tepat sehingga sulit membuat produk yang benar-benar cocok
      Ketiga adalah komunikasi: orang yang membutuhkannya harus bisa menjelaskan kebutuhannya sendiri, dan itu bisa memerlukan refleksi serta tingkat keterampilan tertentu. Terakhir adalah uang: berapa banyak orang yang bisa mencurahkan waktu berbulan-bulan atau bertahun-tahun pada proyek yang kemungkinan besar tidak menghasilkan uang?
    • Mengetik dengan gerakan mata: https://www.optikey.org/
      Mengetik dengan penunjuk kepala: https://www.alimed.com/adjustable-head-pointer.html
      Mengetik dengan satu tangan: ada beberapa layout keyboard https://en.wikipedia.org/wiki/Dvorak_keyboard_layout#Variant...
      Ada juga pengenalan suara, text-to-speech, dan fitur aksesibilitas Windows. Produk-produk ini memang sudah dikembangkan dan dirilis, tetapi masih banyak pekerjaan yang perlu dilakukan, dan produk ini juga merupakan pilihan tambahan yang disambut baik
    • Saya pernah mencoba sekitar 9 tahun lalu, dan solusinya juga saya rilis sebagai open source. Saat itu saya merasa pasarnya tidak cukup besar, jadi saya memutuskan membukanya agar siapa pun bisa membuatnya berdasarkan hasil riset itu
      http://pallette.io/instructions.html
    • Betul. Memang menyedihkan dunia berjalan seperti ini, tetapi saya berharap MouthPad^ bisa mengubah pola lama itu
      Desain universal bermanfaat bukan hanya bagi orang dalam kondisi ekstrem, tetapi bagi semua orang, jadi semua orang seharusnya peduli. Contoh kecilnya bisa dilihat dari sejarah trotoar dengan curb cut

  • Sepertinya ini akan membantu siapa pun yang pernah mengalami cedera akibat penggunaan berlebihan karena memakai komputer. Saya pernah mengalami tendinitis parah sehingga memakai mouse atau trackpad sangat menyakitkan, dan akan sangat bagus kalau perangkat seperti ini tersedia sebagai opsi lain

    • Saya heran kenapa belum ada yang menjual mouse yang dioperasikan dengan kaki. Untuk pengguna biasa yang mengetik dengan dua tangan pun rasanya cukup praktis

  • Vision Pro yang baru dirilis dan pelacakan mata juga menawarkan metode input yang relatif niche tetapi mudah diakses. Ini sudah dipakai dalam konteks seperti ini

    “I was having trouble getting around that day,” he said, so he took the day off and did work for his consulting agency, Equal Accessibility, from bed, wearing the Vision Pro, surrounded by screens he controlled with his eyes and a series of custom mouth-sounds that triggered selections. “As I get older, and this happens more often for me,” he said, “I envision myself working virtually with the AVP even more.”
    https://nymag.com/intelligencer/article/apple-vision-pro-dis...

  • Saya ingin memakainya di game sebagai opsi kontrol tambahan. Rasanya saya bisa jadi jago membidik dengan lidah. Karena jarak dari otak ke lidah lebih pendek daripada dari otak ke tangan, apakah waktu reaksinya juga akan lebih cepat? Mungkin kontrol lidah akan mendominasi e-sports ;) Sepertinya mouthguard RGB akan segera muncul

    • Ada streamer bernama RockyNoHands. Dia memainkan Warzone sepenuhnya dengan mulut
      Pada kontrolernya ada tabung yang ditiup atau diisap untuk mengendalikan karakter. Sangat mengesankan melihatnya memainkan game kompetitif secara live
      [0] https://en.wikipedia.org/wiki/RockyNoHands
    • Seperti apa rata-rata daya tahan lidah atau kelincahan lidah gamer? Berapa banyak latihan yang dibutuhkan agar benar-benar berguna?
      Rasanya ini akan cukup sulit untuk dikuasai dengan baik
    • Foto mouse lidah di artikel mungkin saja render, tetapi kelihatannya sekitar 16dpi, jadi tampaknya cocok sebagai mouse bantu untuk memutar pandangan dunia. Kalau untuk mengeklik piksel yang sangat kecil, sepertinya saya akan menginginkan perangkat yang punya pengaturan seperti zoom

  • Meskipun teknologi bantu untuk penyandang disabilitas mungkin merupakan penggunaan yang lebih penting untuk input mulut, akan menarik juga jika ada mouthguard Bluetooth sederhana untuk olahraga aksi yang bisa dipakai untuk kontrol pemutaran media seperti putar, jeda, berikutnya/sebelumnya

    • Yang langsung terbayang seperti ini: ketuk langit-langit mulut sekali untuk putar/jeda, ketuk sisi dalam gigi kiri/kanan bagian atas untuk sebelumnya/berikutnya, geser lidah sepanjang sisi dalam gigi untuk memindahkan posisi pemutaran, geser lidah maju-mundur di langit-langit mulut untuk mengatur volume
      Terasa cukup intuitif, dan sepertinya akan jauh lebih presisi daripada gesture jari yang kupakai sekarang. Kekhawatiranku paling soal kenyamanan saat dipakai, input yang salah, dan pengaruhnya pada bicara. Meski begitu, ada juga orang yang memakai perhiasan gigi, jadi sepertinya tidak terlalu buruk
    • Bisa kasih beberapa contoh penggunaan untuk tujuan seperti ini?

  • Andai brolylegs masih hidup sampai bisa melihat ini :( dia memakai kontroler biasa
    Tambahan, Microsoft juga punya beberapa hal bagus untuk gamer penyandang disabilitas. Ada Adaptive Controller, dan mereka juga bekerja sama dengan Byowave untuk Proteus Controller yang akan segera hadir
    https://www.xbox.com/en-US/accessories/controllers/xbox-adap...
    https://www.byowave.com/product/proteus-controller-early-bir...

  • Sedikit menyimpang, tapi aku tidak paham kenapa layer keyboard/mouse tidak lebih luas diadopsi. Sejak mendukung UHK[1] di Kickstarter beberapa tahun lalu, aku sama sekali tidak lagi memakai mouse
    Memang butuh sedikit waktu untuk terbiasa, tetapi mengendalikan mouse dengan keyboard itu benar-benar luar biasa
    [1] Ultimate Hacking Keyboard

  • Perlu juga dibahas bahwa namanya benar-benar sempurna. MouthPad terdengar seperti orang yang memakai MouthPad di mulut sedang mencoba mengucapkan mouse pad. Indah

  • Sudah lama sekali aku pernah membaca tentang teknologi serupa. Mungkin ini yang dimaksud
    https://www.researchgate.net/publication/224648269_Tongue_dr...