Stack aksesibilitas saya dan masa depan di Wayland
(nocoffei.com)- Transisi ke Wayland memutus alat aksesibilitas input berbasis X11, sehingga sebagian pengguna kehilangan sarana untuk mengakses komputer dan bahkan kehidupan profesional mereka
- Talon Voice memungkinkan perpindahan aplikasi, dikte, pengoperasian browser, dan scrolling tanpa tangan melalui pengenalan suara, scripting, dan Python
- gaze_ocr dan Cursorless menggabungkan OCR, pelacakan tatapan, dan referensi pohon sintaks untuk memperluas kontrol layar dan jangkauan coding tanpa kerja sama aplikasi
- Wayland tidak memiliki API standar umum untuk manajemen jendela, otomasi input, penentuan posisi mouse, clipboard, dan pembacaan layar yang dibutuhkan Talon
- Pengembang utama Talon mengumumkan akan menghapus dukungan Linux dari rilis publik, dan implementasi API di GNOME, KDE, serta wlroots tetap menjadi tugas komunitas
Masalah transisi ke Wayland yang memutus aksesibilitas input
- KDE Plasma telah mengumumkan penghapusan dukungan X11 pada awal 2027, dan pengguna alat aksesibilitas yang bergantung pada X11 kemungkinan akan kesulitan terus memakai lingkungan desktop mereka saat ini sekitar 9 bulan lagi
- Diskusi aksesibilitas sering cenderung berfokus pada aksesibilitas output untuk pengguna dengan keterbatasan penglihatan atau kebutaan, tetapi aksesibilitas input untuk menyampaikan perintah ke komputer sama pentingnya
- Setelah didiagnosis Ehlers-Danlos Syndrome, otot-otot kecil di pergelangan tangan dan jari mengalami kerusakan sehingga penggunaan keyboard dan mouse menjadi sulit; fisioterapi profesional memang memulihkan sebagian penggunaan tangan, tetapi tidak cukup untuk bertahan sepanjang hari kerja penuh
- Jika desktop Linux beralih menjadi khusus Wayland, alat-alat saat ini yang memungkinkan pengoperasian komputer hampir tanpa tangan tidak akan mendapatkan tingkat integrasi sistem yang dibutuhkan
- Transisi ke Wayland bukan sekadar pergantian display server, tetapi perubahan yang bagi sebagian pengguna berarti kehilangan sarana untuk mengakses komputer dan kehidupan profesional mereka
Lingkungan input tanpa tangan yang disediakan Talon Voice
- Talon Voice menggabungkan model ML suara-ke-teks yang cepat dan akurat, bahasa scripting khusus, dan Python agar pengguna bisa langsung memperluas cara mereka mengendalikan aplikasi
- Talon memungkinkan aplikasi dikendalikan secara tidak langsung bahkan ketika aplikasi itu sendiri tidak menyediakan integrasi aksesibilitas, dan pendekatan ini disebut adversarial accessibility
- Kumpulan skrip talonhub/community adalah komponen inti yang biasanya dipasang lebih dulu agar Talon praktis digunakan, dan terdiri dari puluhan ribu baris kode yang ditulis tangan untuk menyesuaikan kebutuhan pengguna
- Hal-hal yang bisa dilakukan dengan Talon:
- Mengalihkan fokus aplikasi lewat suara alih-alih memilihnya dengan mouse di taskbar
- Menulis teks dengan Dictation Mode, dan sebagian besar tulisan asli juga dibuat dengan Talon
- Mengoperasikan browser sepenuhnya tanpa tangan menggunakan Rango extension
- Saat menulis prosa panjang, memakai skrip buatan sendiri yang memanggil program suara-ke-teks eksternal dsnote melalui D-Bus
- Karena scrolling tetap terasa menyakitkan apa pun perangkat input yang dipakai, melakukan scroll dengan suara desis
- Ke depannya juga mempertimbangkan integrasi pedal kaki ke Talon
gaze_ocr dan kontrol layar secara langsung
- gaze_ocr adalah ekstensi Talon yang membaca isi layar dengan OCR dan memungkinkan klik langsung pada objek di layar
- Di Linux, backend OCR tidak disediakan secara bawaan, tetapi bisa dipakai dengan menghubungkan RapidOCR
- Jika digunakan bersama pelacak tatapan, teks di layar bisa dibedakan berdasarkan lokasi yang benar-benar sedang dilihat pengguna
- Video perkenalan 60 detik bisa dilihat di https://youtu.be/qkFy66WF3bU
- gaze_ocr dapat berinteraksi bahkan tanpa integrasi apa pun dari sisi aplikasi, sehingga menjadi contoh representatif aksesibilitas yang tetap bekerja di lingkungan aplikasi yang tidak kooperatif
Cursorless dan coding berbasis suara
- Cursorless adalah ekstensi Visual Studio Code yang mengenali pohon sintaks kode sumber dan memakai ekspresi yang merujuk ke token lewat hat di atas tiap token agar token bisa disebut dengan suara
- Demo teksnya bisa dilihat di penjelasan Cursorless oleh Xe Iaso
- Jika digabungkan dengan dukungan penulisan suara untuk berbagai bahasa pemrograman di talonhub/community, kode bisa ditulis sepenuhnya tanpa menggunakan tangan
- Misalnya untuk berpindah ke awal kalimat, pengguna melihat warna hat dan posisi huruf di atas “Cursorless”, lalu mengucapkan sesuatu seperti “pre pink cap” untuk merujuk ke karakter tersebut
- Pendekatan ini memakai sistem ejaan suara milik Talon
- Cursorless menawarkan cara menulis yang lebih kuat daripada editor berbasis keyboard tradisional maupun editor berbasis suara, dan menjadi alat inti sampai-sampai implementasi terpisah ditulis khusus untuk perangkat lunak yang dipakai dalam pekerjaan
- Nilai keseluruhan Talon melampaui sekadar mengompensasi disabilitas, karena ia menawarkan cara baru yang lebih kuat untuk berinteraksi dengan komputer
Mengapa Talon rusak di Wayland
- Desktop Linux sedang berpindah dari X11 yang sudah berusia lebih dari 40 tahun ke Wayland, dan komunitas desktop FOSS telah memilih Wayland sebagai masa depan
- Talon perlu terintegrasi sangat dalam dengan window manager dan compositor untuk menjalankan tugas-tugas dasar, tetapi Wayland tidak menyediakan cara standar untuk melakukan hal-hal tersebut
- Bahkan otomasi input teks yang paling dasar pun tampaknya tidak mungkin dilakukan dengan “cara Wayland yang sesungguhnya”; maintainer xdotool, alat otomasi input standar de facto di X11, telah menyelidikinya tetapi sampai pada kesimpulan yang membingungkan
- Cakupan kebutuhan Talon melampaui input teks hingga ke manajemen jendela, penentuan posisi mouse, manajemen clipboard, dan pembacaan layar
- Jawaban seperti bisa di GNOME tetapi tidak di KDE, atau sudah ada implementasinya di wlroots, tidaklah cukup
- Tidak realistis bagi pengembang lintas platform untuk menulis implementasi terpisah yang menargetkan banyak compositor seperti GNOME, KDE, wlroots, dan Niri berbasis Smithay
- Batasan utamanya adalah tidak ada compositor yang mengimplementasikan seluruh permukaan API yang dibutuhkan Talon
Arah penghapusan dukungan Linux di Talon
- Aegis, pengembang utama Talon, menyatakan bahwa karena X11 sedang menghilang dan pengguna berpindah ke lingkungan yang tidak berfungsi, semua dukungan Linux akan segera dihapus dari rilis publik
- Talon terbagi menjadi tier gratis dan berbayar, dan tier berbayar akan tetap mempertahankan dukungan X11 untuk sementara
- Keputusan menghapus dukungan Linux dari rilis publik terkait dengan upaya mengurangi beban karena pengguna gratis terkejut setelah instalasi mengetahui bahwa Talon tidak berfungsi di lingkungan Wayland
- Keputusan ini bukan didorong niat buruk, melainkan penilaian praktis bahwa pada 2027 tidak ada cara untuk mendukung desktop Linux
- Jika tidak ada cara untuk mendukung desktop Linux, maka jawaban yang mungkin adalah menghapus dukungan desktop Linux itu sendiri
Tugas yang harus diambil komunitas
- Syarat yang diajukan Aegis kepada pengguna yang ingin menjaga Talon tetap hidup di Linux:
- Tidak membahas dukungan Wayland dengan Aegis dengan alasan apa pun
- Komunitas berkumpul dan berhasil mengimplementasikan seluruh permukaan API yang dibutuhkan Talon di GNOME, KDE, dan wlroots
- Setelah itu, backend Wayland baru untuk Talon bisa dipertimbangkan
- Tugas ini tetap menjadi masalah yang sulit dijangkau komunitas, dan ekosistem Wayland digambarkan tidak ramah terhadap masalah yang dialami pengguna
- Protokol xdg-session-management memerlukan waktu 6 tahun dari pull request pertama hingga selesai
- Protokol ext-zones yang baru-baru ini digabung membutuhkan lebih dari 2 tahun sampai merge, dan itu belum termasuk beberapa tahun riset dan pengembangan untuk membentuk konsep awalnya
- Awalnya ada dugaan bahwa solusi tertunda karena maintainer tidak mengetahui kebutuhan aksesibilitas input, tetapi setelah membaca arsip mailing list dan catatan diskusi lama, keadaan “tidak ada yang membicarakannya” justru terlihat seperti hasil yang memvalidasi dirinya sendiri
Sulitnya berpartisipasi dalam ekosistem Wayland
- Dua respons dari diskusi sebelumnya terasa sangat bermasalah:
- Respons Nate Graham membahas kenyataan bahwa pengembang aplikasi harus ikut berkontribusi ke upstream Wayland
- Dalam thread aksesibilitas Fedora DEI yang tidak menyebut Talon secara nama, respons dari maintainer GTK menolak ikut berdiskusi, menyebut pengguna sebagai “accessibility maximalists”, dan merujuk ke materi yang tidak berkaitan langsung dengan aksesibilitas input
- Respons-respons ini dan keadaan wayland-protocols sangat melemahkan harapan bahwa persoalan ini bisa diselesaikan hanya dengan komunikasi tambahan
- Ekosistem Wayland tampak menuntut partisipasi, tetapi pada saat yang sama mengabaikan kebutuhan aksesibilitas atau menuntut kerja penuh waktu selama bertahun-tahun hanya untuk kemajuan kecil
- Kesimpulannya mendekati bahwa alasan masalah aksesibilitas input tidak cukup dibahas secara terbuka adalah karena upaya untuk membahasnya sendiri terlihat tidak ada gunanya
- Dalam konteks inilah bisa dipahami mengapa pengembang Talon memandang desktop Linux sebagai target yang tidak menjanjikan dan menyerahkan peluang penyelamatannya kepada komunitas
Mengapa tidak ingin meninggalkan desktop Linux
- Desktop Linux tetap merupakan lingkungan yang ingin terus digunakan karena menyediakan desktop Plasma, dukungan game yang diinginkan, alat pengembangan yang dibutuhkan, dan alat terbaru untuk blok hardware baru
- Pengalaman yang bersih tanpa iklan, redesign UI yang buruk, dan AI yang disuntikkan ke mana-mana juga menjadi alasan ingin tetap memakai desktop Linux
- Seperti tulisan Fireborn tahun lalu, Wayland telah berkembang dan sekarang kita tidak punya pilihan selain mencoba berkontribusi
- Yang dibutuhkan adalah menjelaskan dengan jelas kebutuhan aksesibilitas, bagaimana Talon memenuhi kebutuhan itu, dan mengapa masa depan khusus Wayland gagal memenuhinya
- Jika ada yang tahu cara untuk maju, situasinya masih memungkinkan untuk membantu pengguna aksesibilitas input
Kemungkinan dan batasan perangkat input manusia
- Selama 6 bulan menggunakan Talon dan teknologi terkait, kehidupan dan pekerjaan tetap bisa dijalani meski tidak dapat memakai keyboard dan mouse tradisional
- Begitu lepas dari cara berpikir yang berpusat pada keyboard dan mouse, terlihat bahwa kemungkinan perangkat input manusia jauh lebih luas
- Komputer modern memungkinkan metode input yang mampu memindai semua karakter di layar dengan model ML, melacak karakter mana yang sedang dilihat pengguna, lalu langsung mengklik teks itu dalam waktu kurang dari satu detik
- Keyboard khusus Svalboard juga akan segera dibahas dalam tulisan terpisah, dan perangkat ini bahkan belum ada 3 tahun lalu
- Talon terus membaik dan sudah menyediakan sangat banyak perintah, serta ada cara untuk menulis perintah sendiri ketika yang tersedia belum cukup
- Jika ingin mencoba langsung cara input baru ini, untuk saat ini Wayland tidak boleh digunakan
1 komentar
Komentar di Lobste.rs
Tulisan yang panjang dan bertele-tele ini bukan dimaksudkan untuk menyerang orang yang lemah, melainkan benar-benar untuk mencari orang yang tepat untuk membicarakan cara menyelesaikan masalah besar dan sulit ini
Jika Anda mungkin orang seperti itu atau mengenal orang seperti itu, saya akan sangat menghargai jika Anda menghubungi
Ada juga tulisan sebelumnya yang pernah diposting di lobste.rs: https://lobste.rs/s/o0x7rb/your_mouse_free_setups
Berkat saran saat itu, saya pertama kali mengenal Talon dan Svalboard, dan saya sangat berterima kasih
Saya memang tidak bekerja pada stack ini, tetapi saya sungguh minta maaf, dan akan berusaha semaksimal mungkin agar masalah ini lebih dikenal di ruang-ruang KDE. Seseorang dengan pengetahuan yang tepat mungkin bisa memperbaiki keadaan
Sekali lagi, saya tidak bisa menjanjikan apa pun, tetapi saya ingin memberi tahu bahwa kami mendengar dan jelas ingin membantu
Siapa pun yang tertarik bisa masuk ke kanal Matrix:
#kde-accessibility:kde.org,#kwin:kde.orgSelain itu, seseorang pernah menanyakan ke pihak pengembang Talos bagaimana cara membuatnya berjalan di Wayland, tetapi pengembang Talos menjawab, “Wayland is not supported.”
Saya penasaran apakah tulisan ini bisa sampai ke pengambil keputusan dalam pengadaan perangkat lunak pemerintah
Jika orang yang tepat mengirim email seperti, “pengguna input bantu akan segera kehilangan jalur aksesibilitas yang didukung, sehingga desktop Linux berbasis Wayland seperti Ubuntu atau Red Hat tidak dapat disertifikasi menurut standar EN 301 549/Section 508,” itu mungkin akan cukup membantu untuk memecah kebuntuan saat ini
Saat ini, menurut saya cara yang sangat tidak langsung untuk meningkatkan aksesibilitas Linux adalah jika ada organisasi yang mencoba menghasilkan uang dengan menjual desktop Linux ke pemerintah. Untuk melakukan itu, kemungkinan besar mereka harus menyelesaikan masalah aksesibilitas
Dengan situasi dunia sekarang, saya kira akan ada pihak yang mencoba menghasilkan uang dari upaya membuat pemerintah tidak terlalu bergantung pada Apple dan Microsoft
Setahu saya, banyak kemajuan aksesibilitas terkait UNIX juga muncul pada masa Sun menjual desktop ke pemerintah
Saya juga didiagnosis EDS seperti penulis asli, tetapi saat berusia 12 tahun. Tidak ada yang pernah memberi tahu saya bahwa penyakit ini akan memburuk, malah saya diberi tahu bahwa “seiring waktu nanti akan hilang sendiri”
Seiring waktu, dalam setahun terakhir kekuatan tangan saya menurun, sampai beberapa kali disalahartikan sebagai masalah neurologis
Saya tahu waktu saya untuk menyiapkan sistem agar bisa digunakan tanpa tangan semakin sedikit. Saat melihat compositor Wayland menjadi standar dan X tersingkir, semangat saya untuk mempelajari Talon, yang direkomendasikan teman lain yang juga punya EDS, jadi runtuh
Saya ingin membantu membuat dukungan selagi saya masih bisa, tetapi saya tidak tahu harus mulai dari mana, dan rasanya hampir tidak ada yang peduli. Situasi ini benar-benar menyiksa
Kembali ke arsitektur yang “kuno” agar bisa memakai sistem aksesibilitas yang sungguh berfungsi adalah kemajuan besar, dan saya menyesal tidak melakukannya lebih cepat. Apa pun masa depan aksesibilitas desktop Linux, sebaiknya coba Talon sekarang juga
Soal kekuatan otot, sekarang mungkin terdengar mustahil, tetapi pemulihan itu mungkin, dan semakin cepat dimulai semakin baik. Seperti yang saya sebutkan sebelumnya, setelah beberapa bulan fisioterapi intensif saya bisa kembali memakai tangan saya sebagian
Pemulihan saya lacak dalam hitungan bulan, dan saya melihat kemajuan seperti merebut kembali, satu per satu secara terbalik, titik-titik yang hilang pada tahun sebelumnya
Jadi makin cepat terapi dimulai, makin cepat pula Anda bisa pulih. Apa pun nanti arti akhirnya. Saya sendiri masih berada di perjalanan itu, dan mungkin akan terus begitu
Jika Anda berada di AS, Anda bisa melihat situs ini untuk mencari fisioterapis yang dapat membantu: https://www.ehlers-danlos.com/eds-echo-healthcare-professionals/
Jangan pergi ke sembarang fisioterapis. Mereka mungkin tidak siap menangani pasien EDS, sehingga masalahnya bisa memburuk alih-alih membaik
Saya bisa berbagi lebih banyak tentang proses pribadi saya untuk mendapatkan diagnosis dan perawatan lewat DM atau platform lain. Silakan hubungi jika mau
Terima kasih sudah mengangkat masalah yang memengaruhi banyak orang
Hanya saja saya berharap satu kalimat ini tidak ada: “Yang penting adalah tidak ada lagi yang mau menyentuh codebase seperti tempat sampah itu, dan Wayland adalah masa depan yang dipilih komunitas desktop FOSS”
freedesktop, Red Hat, GNOME, Anda maupun saya tidak bisa berbicara mewakili seluruh komunitas desktop FOSS. Komunitas ini bukan satu kesatuan, dan tentu ada banyak ruang gema
Saya tidak melihat sentimen dan persetujuannya sebulat dan sebulat suara seperti yang coba diyakinkan sebagian orang. Beberapa proyek utama tampaknya juga belum memutuskan, dan belum berjanji akan sepenuhnya pindah ke Wayland serta membuang X. Menganggapnya sudah selesai diputuskan bukanlah fakta yang tertulis di batu
Meski begitu, akan disayangkan jika harus meninggalkan Linux dan beralih ke BSD
Ini adalah kelemahan konkret dari do-ocracy dalam FOSS. Jika tidak cukup banyak orang yang ingin melakukan sesuatu, atau tidak cukup banyak orang yang mampu dan bersedia menanggung biayanya, maka hal itu tidak akan terjadi
Memang benar siapa pun bisa memelihara dan mendistribusikan fork Xorg untuk menjaga apinya tetap hidup, tetapi fakta bahwa itu belum terjadi justru dengan sendirinya “berbicara mewakili seluruh komunitas desktop FOSS”
BSD juga sedang menambahkan dukungan Wayland, dan setahu saya tidak ada proyek BSD yang mengumumkan fork terpelihara. Dan saya tidak menganggap XLibre sebagai fork yang layak dijalankan
Saya mengakui bahwa saya punya privilese karena belum mengalami disabilitas fisik besar, dan saya bersimpati pada situasi penulis asli. Tingkat akses yang dibutuhkan Talon tampaknya mungkin lebih baik diimplementasikan sebagai plugin KWin
Tetapi karena Talon bersifat closed source, sulit untuk dievaluasi, dan pemeliharaannya juga tampaknya akan cukup rumit
Saya memang sudah mengetahui sampai taraf tertentu keterbatasan Wayland, tetapi sebagai pengguna ringan saya hanya mengalami beberapa keanehan kecil dan belum pernah berurusan langsung dengan masalah seperti ini
Saya berharap tulisan ini bisa membantu meningkatkan kesadaran di antara orang-orang yang benar-benar bisa membawa perubahan
Saya juga penasaran apakah tidak masalah jika tulisan ini dipublikasikan ulang di tempat lain di internet agar jangkauannya lebih luas. Saya akan memastikan penjelasan awal bahwa sama sekali tidak ada niat menyerang pihak yang rentan tetap dicantumkan dengan jelas, dan akan meminta orang-orang untuk menahan respons marah mereka
Talon sangat mengesankan. Saya sama sekali tidak tahu hal seperti ini memungkinkan
Bahasa-bahasa logografis juga tampaknya berada dalam situasi yang mirip. Pada akhirnya, adopsi Wayland akan mentok di beberapa wilayah, atau masalah ini memang harus diperbaiki
Saya penasaran apakah masalah ini bisa dibahas dalam konteks European Accessibility Act
Saya tidak terlalu akrab dengan bunyi teks hukumnya, tetapi saya tahu aksesibilitas sistem operasi adalah bagian yang penting. Jika Linux ingin patuh, ini tampaknya masalah yang perlu diselesaikan, jadi mungkin layak dibicarakan dengan para pengembang dan lembaga pendanaan Eropa seperti Sovereign Tech Agency dan NLNet
Saya belum pernah memakai Talon, tetapi saya cukup mudah pernah mengubah perangkat MIDI seperti pedal sustain piano menjadi input lain lewat program perantara kecil
Perangkat kerasnya juga cukup murah dan pilihannya banyak, jadi dengan sedikit kode penghubung, ini bisa dipakai ulang secara kreatif. Layak dipertimbangkan
Trackball ploopy juga sepertinya bisa dibuat varian yang dioperasikan dengan kaki. Perlu bola yang lebih besar dan penyesuaian sensitivitas, dan tombol-tombolnya perlu didesain ulang, tetapi paling sederhananya, seperti keyboard terpisah, tombolnya juga bisa dibuat sebagai pad tombol terpisah yang ditekan dengan kaki yang lain
Soal bagian “tahun lalu pemelihara xdotool, alat otomasi input standar de facto untuk X11, mencoba menyelidiki cara melakukannya lalu pergi dalam keadaan bingung”, tahun ini dia mencoba lagi dan berhasil membuat cukup banyak kemajuan
Misalnya ada https://hachyderm.io/@whack/116554328265192238. Sekarang tampaknya dia sedang mengerjakan pekerjaan tambahan terkait untuk melakukan pengujian otomatis di berbagai lingkungan desktop
Saya penasaran apakah Wayback bisa menjadi solusi sementara jangka pendek atau menengah
Ini dipimpin oleh orang-orang Alpine, karena mereka ingin menghentikan pemaketan Xorg tanpa harus membuang window manager yang belum beralih ke Wayland
Yang dibicarakan tulisan aslinya adalah masalah Plasma dan Gnome yang menghapus dukungan sesi X11 masing-masing