- Project Gameface open source yang diumumkan di Google I/O 2023
- Sebuah 'mouse' gaming hands-free yang memungkinkan kontrol kursor komputer menggunakan gerakan kepala dan gestur wajah
- Orang dapat mengangkat alis untuk klik dan drag, atau membuka mulut agar kursor bergerak, sehingga meningkatkan aksesibilitas game
- Proyek ini dimulai dengan inspirasi dari kisah Lance Carr, seorang streamer video game yang mengalami quadriplegia akibat penyakit otot
- Bekerja sama dengan Lance untuk mewujudkan Project Gameface
Pemanfaatan proyek
- Kini lebih banyak kode dibuka sebagai open source untuk membantu pengembang membuat aplikasi yang menjadikan semua perangkat Android lebih mudah diakses
- Melacak ekspresi wajah dan gerakan kepala melalui kamera perangkat secara mulus, lalu mengubahnya menjadi kontrol yang intuitif dan dipersonalisasi
- Pengembang kini dapat membangun aplikasi yang memungkinkan pengguna mengatur pengalaman mereka dengan menyesuaikan ekspresi wajah, ukuran gestur, kecepatan kursor, dan lainnya
Tiga prinsip inti saat membangun Project Gameface untuk Android
- Menyediakan sarana tambahan baru bagi penyandang disabilitas untuk mengoperasikan perangkat Android
- Membangun solusi yang hemat biaya dan dapat diskalakan
- Mengembangkan produk yang ramah pengguna dan dapat disesuaikan dengan memanfaatkan pelajaran serta panduan dari peluncuran Gameface pertama
Implementasi kursor di perangkat Android
- Meluncurkan cara baru untuk mengoperasikan perangkat Android
- Berdasarkan umpan balik positif terhadap Project Gameface, diketahui bahwa pengembang dan pengguna sangat menghargai gagasan menggerakkan kursor dengan gerakan kepala dan menjalankan tindakan melalui ekspresi wajah
- Menyalin gagasan yang sama untuk menghadirkan kursor virtual baru ke perangkat Android
- Menggunakan Android Accessibility Service untuk membuat kursor baru dan memanfaatkan Face Landmarks Detection API dari MediaPipe agar kursor bergerak mengikuti gerakan kepala pengguna
- Di dalam API terdapat 52 nilai facial blendshape yang merepresentasikan ekspresivitas 52 gestur wajah, seperti mengangkat alis kiri atau membuka mulut
- Beberapa nilai ini digunakan untuk memetakan dan mengontrol beragam fungsi secara efektif, sehingga memberi kemungkinan yang lebih luas untuk kustomisasi dan pengoperasian
- Selain itu, dengan memanfaatkan koefisien blendshape, pengembang diberi kemampuan untuk menetapkan ambang yang berbeda untuk tiap ekspresi tertentu, sehingga pengalaman dapat disesuaikan
Visualisasi Project Gameface
- Menghadirkan fitur terbaik dari Android Accessibility Service ke Project Gameface
- Aksi mobile
- Pada Project Gameface versi Windows, pengguna dapat mereplikasi aksi klik umum
- Namun, di Android fungsi yang perlu dilakukan pengguna jauh lebih beragam
- Ada event sentuh yang masuk ke OS dan event aksi global seperti "Kembali", "Beralih multitasking", dan "Beranda"
- Menggunakan Android Accessibility API untuk menentukan aksi yang dapat disediakan kepada pengguna
- Saat ini Project Gameface untuk Android mendukung GLOBAL_ACTION_HOME, GLOBAL_ACTION_BACK, GLOBAL_ACTION_NOTIFICATIONS, GLOBAL_ACTION_ACCESSIBILITY_ALL_APPS
- Feed kamera
- Feed kamera sangat meningkatkan pengalaman pengguna dengan memungkinkan pengaturan ambang yang akurat dan pemahaman yang lebih mendalam terhadap gestur
- Ini juga memberi tahu pengguna dengan jelas bahwa kamera sedang aktif digunakan untuk memahami gerakan kepala dan gestur mereka
- Jika feed kamera hanya dibuat sebagai overlay, beberapa bagian penting seperti Android Settings menjadi tidak dapat diakses
- Dengan menggunakan Android Accessibility Service bersama Project Gameface, kamera tetap dapat melayang bahkan di Android Settings dan bagian penting lainnya
- Dapat melakukan 'fungsi drag'
- Android Accessibility Service saat ini tidak memiliki cara sederhana bagi pengguna untuk melakukan drag layar yang dapat diinteraksikan secara real-time
- Namun, produk ditingkatkan untuk menyertakan fungsi drag sehingga pengguna dapat menentukan titik awal dan akhir
- Hasilnya, operasi drag dapat dijalankan dengan mulus mengikuti jalur yang ditentukan
- Ekspektasi dan keterbukaan
- Menantikan potensi Project Gameface dan berharap pengembang serta perusahaan akan memanfaatkannya untuk membangun pengalaman baru
- Kode Gameface kini tersedia sebagai open source di Github
Belum ada komentar.