Memperkenalkan MyMallow, aplikasi iOS yang memungkinkan pengguna mempersonifikasikan emosi mereka sebagai karakter 3D dan menghiasnya sendiri. Ini adalah proyek yang dikerjakan selama 2 bulan, dikembangkan dengan fokus pada 'produksi konten 3D partisipatif oleh pengguna', melampaui sekadar menulis buku harian.
Fitur utama
- Tekstur kustom: Gambar yang digambar pengguna di kanvas dianalisis dengan framework Vision lalu dipetakan secara real-time ke material model 3D.
- Motion capture versimu sendiri: Selain 195 motion bawaan, gerakan pengguna juga dapat direkam langsung menggunakan Body Position Tracking dari ARKit dan diterapkan ke karakter.
- NPC dengan perilaku otonom: Dengan menggabungkan state machine dari GameplayKit dan pathfinding, karakter dapat bertindak secara otonom sesuai lingkungan, misalnya menari di dekat api unggun.
Poin implementasi teknologi inti
- RealityKit & pipeline 3D: Model yang dibuat di Blender dikonversi ke
.usdzuntuk digunakan, lalu tekstur dan struktur rigging model dikendalikan secara dinamis saat runtime. - Optimisasi motion: Untuk mengurangi noise pada data yang ditangkap, diterapkan low-pass filter dan Slerp (interpolasi linear sferis) guna menghasilkan animasi yang halus.
- Fisika dan audio spasial: Ruang 3D yang imersif dibangun melalui simulasi fisika berbasis Collision Detection dan sistem partikel yang mendukung Spatial Audio.
- Integrasi struktur bone: Untuk mengatasi perbedaan struktur bone antara Mixamo (65) dan Apple ARBody (91), digunakan pendekatan mengganti model yang sudah di-rig sesuai situasi.
Ini adalah proyek yang mengeksplorasi berbagai kemungkinan RealityKit, melampaui fungsi sebagai alat pencatatan sederhana.
1 komentar
Mengesankan. Saya sebelumnya tidak terlalu memperhatikan library tersebut, tetapi berkat tulisan yang merapikannya dengan baik ini, saya jadi mendapat kesempatan untuk memperluas sudut pandang saya.