Rilis HN: D-POINT - Stylus digital open-source yang mendukung 6 derajat kebebasan

 (github.com/Jcparkyn)
1 poin oleh GN⁺ 2023-11-13 | 1 komentar | Bagikan ke WhatsApp
  • D-POINT adalah stylus digital open-source yang menggunakan pelacakan kamera dan pengukuran inersia untuk menyediakan input 6DoF, latensi rendah, deteksi tekanan, dan akurasi submilimeter
  • Dapat digunakan di permukaan datar mana pun, dan bekerja bersama webcam konsumen
  • Perangkat kerasnya terdiri dari bodi dengan dua komponen cetak 3D, serta memuat sensor gaya, baterai Li-ion yang diisi melalui USB-C, dan papan pengembangan berbasis Arduino untuk logika dan Bluetooth
  • Alur estimasi pose visualnya mendeteksi 8 marker ArUco yang dicetak dan ditempel di bagian belakang stylus menggunakan OpenCV, lalu menghitung pose relatif terhadap kamera serta posisi dan arah ujung pena relatif terhadap permukaan gambar melalui koreksi rolling shutter, estimasi pose PnP, dan transformasi koordinat
  • Fusi inersia menggabungkan data akselerometer dan giroskop dengan estimasi VPE menggunakan Extended Kalman Filter, lalu mengoreksi estimasi real-time dengan algoritme Rauch-Tung-Striebel
  • Untuk menangani jeda waktu pada frame kamera, digunakan algoritme pembaruan pengukuran waktu negatif, dan implementasi EKF menggunakan NumPy serta Numba
  • Pengukuran inersia dirancang untuk secara signifikan mengurangi latensi dibanding implementasi yang hanya menggunakan kamera, serta meningkatkan akurasi dan laju pelaporan pada gerakan cepat
  • Dibuat sebagai bagian dari proyek skripsi sarjana teknik elektro; kode dan berkas desainnya dipublikasikan, tetapi tidak dimaksudkan sebagai proyek DIY yang “plug and play”

Bacaan terkait

1 komentar

 
GN⁺ 2023-11-13
Opini Hacker News

  • Sangat keren. Mereka benar-benar mewujudkan sesuatu yang selama ini hanya saya bayangkan, dan membuatnya berfungsi
    Saat bermain Elite: Dangerous, saya memakai HOTAS dan pedal, dan terus berpikir apakah ada cara yang lebih baik untuk mengendalikan pesawat luar angkasa. Karena pesawat luar angkasa tidak hanya harus menangani pitch, yaw, dan roll, tetapi juga dorongan ke 6 arah
    Saya menginginkan perangkat yang membuat pesawat luar angkasa di Elite bergerak persis sama ketika saya menggerakkan model pesawat luar angkasa yang saya pegang di tangan, dan proyek yang ditautkan ini tampaknya bisa melakukan hal itu. Dorongan sepertinya bisa dikendalikan dengan cara serupa menggunakan tangan satunya
    Metode input baru yang asing seperti ini benar-benar menakjubkan, dan ketika kemampuan seperti ini muncul, imajinasi jadi jauh lebih luas

    • Saya punya salah satu kenangan indah sekitar usia 16 tahun. Saya membeli mouse 3D yang dioperasikan dengan digenggam dan digoyangkan, menempelkannya dengan selotip ke topi bertuliskan Marines, lalu langsung masuk ke CS: Source, siap menghancurkan semua orang
      Kemampuan saya sebenarnya sepertinya kurang lebih sama, tetapi akan lebih lucu kalau saya benar-benar dibantai
      Teorinya adalah kepala jauh lebih presisi daripada tangan, jadi menggabungkan keduanya akan meningkatkan bidikan. Kelihatannya seperti harus melihat ke kiri sambil melirik layar dari sudut mata, tetapi dalam praktiknya sistem dua mouse cukup masuk akal. Saya sempat ingin mencobanya lagi dengan cara modern, tetapi itu membuat saya terlihat seperti geek luar biasa dengan batang aneh menempel di kepala. Meski begitu, saya suka gaya seperti itu
      Idemu juga benar-benar keren, jadi semoga kamu membuatnya
    • Saya masih punya SpaceOrb369 untuk game seperti ini. Ada juga orang yang membuat konverter agar bisa dipakai lewat USB
      https://en.m.wikipedia.org/wiki/SpaceOrb_360
      https://www.tindie.com/products/vputz/orbotron-9001-version-...
    • Kalau bicara “cara yang lebih baik untuk mengendalikan pesawat luar angkasa”, bukankah cukup dengan dua stik?
      https://old.reddit.com/r/EliteDangerous/comments/16xi20a/dua...
      https://youtu.be/T2-IHgNYaKA
    • Dalam serial SF The Expanse, Rocinante sebagian dikendalikan dengan 3DConnexion SpaceMouse, yang umum dipakai untuk CAD dan pemodelan 3D
    • Joystick 6 derajat kebebasan seperti ini sudah ada sejak puluhan tahun lalu: https://3dconnexion.com/nl/spacemouse/

  • Ini proyek skripsi sarjana! Kalau tidak mendapat nilai tertinggi untuk ini, berarti tidak ada keadilan di dunia

    • Saya penasaran kenapa kamu berpikir begitu
      Saat saya kuliah S1, yang ditekankan adalah karya ilmiah. Jadi kebaruan atau kemungkinan penerapan tidak penting untuk nilai; yang penting adalah seberapa ilmiah isi itu dikomunikasikan dalam tulisan. Karena saya belum melihat tulisan proyek ini, sulit menilainya dari sudut pandang nilai
    • Saya melihat foto-fotonya lalu menggulir ke bawah, dan begitu melihat mejanya langsung terpikir, “ah, ini kamar asrama”
    • Nilai universitas != kualitas :-) Tapi saya setuju

  • Sangat keren. Melihat mereka memakai webcam, saya jadi bertanya-tanya apakah suatu saat webcam umum saat ini yang tunggal dengan sudut pandang sekitar 78 derajat akan digantikan oleh webcam fisheye stereo
    Dengan webcam seperti itu, mungkin akan ada pengalaman pengguna baru seperti gestur dengan pelacakan mata, interaksi periferal seperti stylus ini atau setir untuk game balap, serta konferensi webcam 3D 180 derajat yang jauh lebih fleksibel, termasuk keberadaan VR
    Rasanya era ketika seluruh ruang 3D di depan layar komputer dipakai sebagai metode input sedang datang, dan pemanfaatan webcam dalam artikel asli terlihat seperti langkah kecil ke arah itu

    • Beberapa tahun lalu, ketika Intel dan para mitranya memasukkan modul RealSense ke laptop, saya pikir ini akan segera datang, tetapi sekarang tampaknya perusahaan-perusahaan terkait sudah mengalihkan fokus ke pasar enterprise dan industri
    • Sayangnya saya pesimistis soal hal seperti ini. Touch panel di Mac menunjukkan bahwa bahkan input yang sadar konteks, responsif, dan sepenuhnya terintegrasi pun sulit mengubah alur yang didapat dari keyboard+mouse
      Sampai sekarang pun ada orang yang ragu terhadap benda bernama mouse yang baru keluar
    • TrackIR bisa melakukan pelacakan kepala dengan reflektor yang dipasang di kepala. Namun tanpa memasang apa pun di kepala, Tobii eye tracker bisa melakukan pelacakan kepala dan mata sepenuhnya secara pasif
      Menambahkan kontrol gestur tangan/jari, serta periferal seperti stylus atau mouse, tampak seperti langkah berikutnya yang jelas, tetapi mereka atau siapa pun tampaknya tidak melakukannya
    • Saya memakai webcam Anker PowerConf 300, dan di Mac maupun Windows, dengan perangkat lunak AnkerWork bisa sampai 115 derajat

  • Bagus. Terutama bagian fusion-nya
    Ini beberapa pemikiran yang muncul saat mengeksplorasi “keyboard laptop… postur tangan, stylus 3D, sentuh”. Menambahkan tombol akan membuatnya menjadi mouse 3D, tetapi cakupan kamera bisa menjadi masalah. Bodinya sebagian besar kosong, dan baterainya juga bisa dibuat lebih tipis. Saya masih bisa mengetik sampai batas tertentu sambil memegang stylus tipis seperti sumpit/sikat gigi. Bahkan dengan marker dan ujung yang anehnya besar pun masih bisa
    Ujung besar yang dipotong dari hiasan Natal bola pingpong meluncur cukup mulus di atas keyboard ThinkPad, dan juga memberi ruang untuk sensor gaya yang tidak terlalu kecil serta marker ujung tambahan. Kabel pita silikon serabut tipis bisa sefleksibel tali, jadi saat mulai, saya mengikat stylus ke Arduino
    Saya penasaran bagaimana sensor inersia akan menafsirkan sesuatu seperti clicker logam cekung sebagai satu atau tiga tombol

  • Koreksi rolling shutter-nya cukup keren, dan rasanya bukan sesuatu yang akan terpikir oleh saya. Saya penasaran apakah sejak awal sudah tahu itu akan menjadi masalah, atau baru menyadarinya setelah sistem lainnya dibuat

    • Saya memang tahu itu akan berdampak. Sebagian besar literatur untuk proyek serupa memakai kamera global shutter karena alasan itu. Hanya saja saya tidak yakin seberapa besar dampaknya
      Biasanya dampaknya sangat kecil sampai hampir tidak terlihat, tetapi dalam situasi tertentu benar-benar tampak. Misalnya saat memutar pena sementara ujung pena tetap berada di satu tempat
      Hal yang paling mengejutkan adalah seberapa baik solusi saya bekerja, padahal itu hanya pendekatan yang cukup kasar terhadap realitas. Ada banyak teknik pemrosesan yang jauh lebih canggih, tetapi pada akhirnya tidak diperlukan
      Salah satu hal yang ingin saya coba adalah PnP sadar rolling shutter[1]. Secara teori, distorsi rolling shutter bisa dimanfaatkan untuk memperkirakan pose dan kecepatan sekaligus dari satu gambar
      [1] https://www-sop.inria.fr/members/Philippe.Martinet/publis/20...

  • Saya suka semua hal terkait 6 derajat kebebasan. Perangkat keras dan estimasi pose dengan computer vision-nya memang bagus, tetapi justru permukaan perangkat lunak yang bisa digambar dan diputar itu lebih mengesankan
    Menarik karena ini bisa dipakai untuk kontrol antarmuka pengguna fisik apa pun seperti slider jari yang menghasilkan efek serupa. Ini proyek yang bagus untuk menunjukkan kemampuan memecahkan masalah, dan sepertinya dikerjakan dengan benar
    Sebagai catatan, pengontrol 6 derajat kebebasan pertama yang saya pakai, selain kontroler WiiMote[1] yang dimodifikasi menjadi penerima Bluetooth LED IR, adalah Logitech MX Air[2] yang mendahului zamannya
    [1] https://web.cs.ucdavis.edu/~okreylos/ResDev/Wiimote/MainPage...
    [2] https://www.cnet.com/reviews/logitech-mx-air-review/

  • Proyek yang sangat keren, dokumentasinya juga membantu, dan ini contoh nyata yang bagus untuk penggunaan Kalman filter

  • Benar-benar keren, dan persis seperti yang saya impikan
    Setelah perusahaan beralih ke kerja sepenuhnya jarak jauh, saya terus merindukan sesi whiteboard. Solusi terbaik yang bisa saya pikirkan adalah membuka aplikasi web whiteboard bersama di iPad lama dan browser desktop, lalu berbagi layar dari desktop dan menggambar di iPad dengan stylus murah
    Cukup lumayan, tetapi iPad saya terlalu tua dan lambat. Menggantinya juga terasa berat. Jika bisa memakai webcam biasa dan stylus dengan teknologi yang relatif sederhana, itu akan jauh lebih baik, bahkan bisa sepenuhnya menghilangkan kebutuhan perangkat eksternal

  • Luar biasa. Saya suka karena tidak terikat pada merek tertentu, seperti saat membeli keyboard mekanis

  • Sangat keren
    Ini mungkin juga berguna untuk robotika atau VR. Bukankah pelacakan tangan juga bisa dilakukan dengan satu kamera?
    Pertanyaan: apakah tekanan juga bisa dilacak dengan giroskop + akselerometer? Setidaknya untuk semacam “ketukan”?
    Pertanyaan lain: berapa biayanya, terutama untuk sensor tekanan?

    • Deteksi ketukan bisa dilakukan dengan giroskop/akselerometer, tetapi untuk sensitivitas tekanan yang benar, yaitu menangani perubahan tekanan di tengah goresan, hampir tidak ada pilihan selain sensor tekanan
      Secara teori, itu bisa dilakukan dengan estimasi pose yang cukup akurat dan ujung pena yang elastis, tetapi pada tingkat akurasi yang saya dapatkan, itu tidak realistis
      Saya membeli sensor tekanan sekitar 20 dolar Australia, tetapi di AS bisa didapat jauh lebih murah, sekitar 5 dolar (https://www.arrow.com/en/products/hsfpar003a/alps-electric). Namun ini komponen yang cukup khusus, jadi tidak banyak tempat yang menjualnya. PCB kustom menambah 10 dolar Australia, dan Arduino sekitar 20 dolar. Daftar komponen lengkap ada di https://github.com/Jcparkyn/dpoint/blob/main/setup-guide.md