HN Show: Stylus digital open-source yang mendukung 6DoF

D-POINT: pena digital dengan pelacakan optik-inersial

• D-POINT adalah stylus digital open-source yang mewujudkan input 6DoF (6 derajat kebebasan) dengan menggunakan pelacakan kamera dan pengukuran inersial.
• Menawarkan latensi rendah, deteksi tekanan, dan akurasi submilimeter, dapat digunakan di semua permukaan datar, serta kompatibel dengan webcam konsumen.
• Proyek ini merupakan bagian dari skripsi sarjana teknik elektro, dan kode serta file desainnya dirilis sebagai open source dengan harapan dapat bermanfaat bagi orang lain.

Desain

• Komponen utama stylus dibuat dengan pencetakan 3D, dan mencakup sensor gaya, baterai lithium-ion yang diisi melalui USB-C, serta papan pengembangan berbasis Arduino untuk Bluetooth dan logika.
• Untuk estimasi pose visual, 8 penanda ArUco yang dicetak dipasang di bagian belakang stylus.

Estimasi pose visual (VPE)

• Proses VPE berlangsung dalam 4 tahap utama:
  1. Deteksi penanda: Menggunakan OpenCV untuk mendeteksi sudut tiap penanda ArUco pada stylus.
  2. Koreksi rolling shutter: Menggunakan model gerak 2D sederhana untuk memperkirakan dan mengoreksi dampak rolling shutter pada posisi sudut yang teramati.
  3. Perspective-n-Point (PnP): Dari posisi sudut ini, algoritma PnP digunakan untuk memperkirakan pose stylus relatif terhadap kamera.
  4. Transformasi koordinat: Dengan menggunakan pose stylus yang telah dikalibrasi terhadap kamera dan permukaan gambar, posisi dan orientasi ujung stylus relatif terhadap permukaan gambar dihitung.

Fusi inersial

• Menggunakan Extended Kalman Filter (EKF) untuk menggabungkan estimasi VPE dengan data inersial dari akselerometer dan giroskop, lalu menggunakan algoritma Rauch-Tung-Striebel (RTS) untuk menyempurnakan estimasi secara real time.
• Menggunakan algoritma negative-time measurement update untuk memperhitungkan jeda waktu pada frame kamera.
• EKF diimplementasikan dengan NumPy dan Numba, dan dengan memanfaatkan pengukuran inersial, latensi berkurang secara signifikan dibandingkan saat hanya menggunakan kamera, sekaligus meningkatkan akurasi untuk gerakan cepat dan laju pelaporan.

Opini GN⁺

• D-POINT menunjukkan kemungkinan baru bagi stylus digital melalui teknologi tingkat tinggi dan desain yang inovatif.
• Karena tersedia sebagai open source, proyek ini memberi kesempatan bagi orang-orang yang tertarik pada teknologi untuk bebas menggunakan dan meningkatkannya.
• Teknologi ini kompatibel dengan webcam konsumen dan dapat digunakan di semua permukaan datar, sehingga dapat berperan penting dalam meningkatkan pengalaman pengguna.

[GN⁺]

Opini Hacker News

• Kekaguman terhadap proyek

  "Ini proyek yang benar-benar keren. Mereka mewujudkan sesuatu yang selama ini hanya saya bayangkan. Saat bermain Elite: Dangerous, saya memakai HOTAS (throttle dan joystick yang dioperasikan dengan tangan) serta pedal, dan rasanya kapal luar angkasa bisa dikendalikan dengan cara yang lebih baik. Yang saya inginkan adalah menggerakkan model kapal luar angkasa yang saya pegang di tangan agar kapal di dalam game bergerak dengan cara yang sama. Proyek ini tampaknya bisa membuat hal itu menjadi mungkin. Dorongan mungkin bisa dikendalikan dengan tangan lainnya dengan cara serupa. Model input baru atau aneh seperti ini benar-benar menakjubkan, dan dengan kemampuan seperti ini imajinasi bisa berkembang sebebas-bebasnya."

• Nilai akademis proyek

  "Proyek ini merupakan bagian dari skripsi kelulusan sarjana teknik elektro. Mahasiswa S1, lho! Kalau proyek ini tidak mendapat nilai tertinggi, berarti tidak ada keadilan."

• Renungan menarik tentang masa depan webcam

  "Penggunaan webcam di sini menarik. Saya penasaran apakah akan datang masa ketika webcam tunggal dengan FOV ~78° yang sekarang umum akan digantikan oleh webcam fisheye ganda (stereo). Webcam seperti itu akan memungkinkan interaksi UX baru (gesture termasuk pelacakan mata), memungkinkan interaksi periferal baru (seperti stylus ini, setir untuk game balap, dan sebagainya), serta memungkinkan perekaman 3D 180° untuk rapat via webcam yang jauh lebih fleksibel, termasuk kehadiran VR. Gagasan untuk menggunakan seluruh ruang 3D di depan layar komputer sebagai metode input terasa semakin dekat, dan cara penggunaan webcam seperti ini terasa seperti satu langkah ke arah itu."

• Apresiasi terhadap teknik kompensasi rolling shutter

  "Kompensasi rolling shutter ini cukup keren, dan saya penasaran apakah mereka sudah tahu sejak awal bahwa ini akan menjadi masalah, atau baru menyadarinya setelah sistemnya dibangun."

• Pendekatan kreatif terhadap perangkat input

  "Yang paling mengesankan terutama adalah perpaduan teknologinya. Saat mengeksplorasi 'keyboard laptop... bentuk tangan, stylus 3D, sentuhan', ada beberapa pemikiran yang muncul. Dengan menambahkan tombol, ini bisa menjadi mouse 3D, meski cakupan kamera bisa menjadi masalah. Bodi laptop sebagian besar kosong (bahkan baterai pun bisa dibuat tipis), dan mungkin saja mengetik sambil memegang stylus bermarker. Ujung yang besar bisa meluncur dengan mulus di atas keyboard ThinkPad, sekaligus menyediakan ruang untuk sensor gaya yang tidak terlalu rapat dan marker tambahan pada ujungnya. Kabel pita silikon tipis bisa sangat fleksibel, dan saya mungkin hanya perlu menyambungkan stylus ke Arduino. Saya juga penasaran bagaimana sensor inersia akan mengenali sesuatu seperti metal clicker."

• Antusiasme terhadap kontroler 6DOF(6 derajat kebebasan) dan pujian untuk sisi perangkat lunak proyek

  "Saya sangat antusias dengan 6DOF! Ini pekerjaan yang hebat pada sisi perangkat keras dan computer vision untuk pose, tetapi menggambar permukaan perangkat lunak yang bisa diputar hampir lebih mengesankan lagi. Ini bisa digunakan bersama suatu bentuk kontrol antarmuka pengguna fisik, dan bisa juga berupa sesuatu seperti finger slider untuk efek yang sama. Ini terlihat seperti proyek yang bagus untuk keterampilan pemecahan masalah. Kerja bagus, bravo!"

• Kekaguman terhadap proyek dan contoh nyata penggunaan Kalman filter

  "Proyek yang sangat keren. Dokumentasinya membantu. Ini contoh penggunaan Kalman filter yang bagus di dunia nyata!"

• Kekaguman terhadap proyek dan keinginan untuk membangunnya sendiri

  "Proyek yang benar-benar mengesankan! Saya sangat suka, dan ingin sekali mencoba membuatnya sendiri."

• Potensi penerapan pada robotika/VR dan pertanyaan teknis

  "Benar-benar keren! Ini juga bisa berguna untuk robotika/VR. Bagaimana dengan pelacakan satu tangan menggunakan webcam? Pertanyaan: bisakah tekanan dilacak menggunakan giroskop + akselerometer? Setidaknya untuk 'tap'? Pertanyaan lain: berapa biayanya? Terutama biaya sensor tekan?"

• Rasa ingin tahu tentang pelacakan eksternal dengan kamera dan penyesalan terhadap teknologi yang belum tersedia luas

  "Pelacakan eksternal dengan kamera adalah ide keren yang tidak pernah terpikir oleh saya. Sedih rasanya karena belum ada hasil kerja bagus yang berhasil mereplikasi dengan murah teknologi lighthouse seperti yang dipakai Valve/HTC."