A$AP Rocky merilis video musik ‘Helicopter’ yang memanfaatkan Gaussian Splatting

• Video musik lagu baru A$AP Rocky, ‘Helicopter’, adalah karya yang mewujudkan hampir seluruh akting para tokohnya dengan volumetric capture dan Gaussian Splatting
• Proses syuting menggunakan array 56 kamera RGB-D milik Evercoast untuk merekam performa nyata dalam 3D, lalu pada tahap pascaproduksi dirender dengan Houdini·OctaneRender
• Melalui GSOPs dari CG Nomads dan tooling internal WildCapture, proyek ini menangani sequencing data splat, penyesuaian ulang pencahayaan, dan interaksi fisik
• Meski visual videonya terasa surealis, semua adegan dibuat berdasarkan performa fisik aktor sungguhan
• Proyek ini merupakan contoh penggunaan nyata dynamic Gaussian Splatting dalam video musik pop, sekaligus menunjukkan kemungkinan produksi video 3D real-time di masa depan

---

Gambaran umum produksi video musik Helicopter

• ‘Helicopter’ dari A$AP Rocky adalah video musik yang memanfaatkan teknologi Radiance Fields, dengan hampir seluruh akting para tokoh ditangkap secara volumetrik
  • Videonya menampilkan gerakan kacau dan energi khas gaya awal MTV
  • Para tokoh dirender dalam bentuk Dynamic Splat untuk menghadirkan kesan ruang tiga dimensi
• Proyek ini melibatkan Evercoast, Grin Machine, WildCapture, Fitsū.ai, dan lainnya
  • Evercoast menangani performance capture, sementara Chris Rutledge dari Grin Machine berpartisipasi sebagai supervisor CG
  • Wilfred Driscoll dari WildCapture memberikan dukungan teknis untuk konsistensi temporal dan transisi gerak

Pengambilan gambar volumetrik dan susunan teknis

• Syuting dilakukan pada Agustus 2025 di Los Angeles, dengan sinkronisasi menggunakan 56 kamera RGB-D Evercoast dan dua workstation Dell
  • Para aktor bergantung pada kawat atau palang langit-langit sambil melakukan stunt fisik
  • Baling-baling helikopter maupun properti digantikan dengan struktur kayu nyata agar pengambilan gambar berlangsung dalam set yang realistis
• Total 10TB data mentah dikumpulkan dan dirender menjadi sekitar 30 menit footage splat
  • Hasil akhir diekspor dengan skala sekitar 1TB sequence PLY

Pipeline pascaproduksi

• Pekerjaan pascaproduksi dilakukan di Houdini, dengan manipulasi dan sequencing data splat melalui GSOPs dari CG Nomads
  • OctaneRender dari OTOY digunakan untuk rendering final serta memungkinkan relighting
  • Integrasi Octane dengan Houdini telah cukup matang sehingga memungkinkan ekspresi bayangan dan kedalaman ruang
• Blender digunakan pada tahap layout dan previs
  • Sequence splat diubah menjadi proxy cache ringan untuk dipakai dalam perencanaan adegan
  • Dengan tool internal WildCapture, dibuat skeleton estimasi pose untuk mendukung simulasi tumbukan dan fisika

Pratinjau real-time dan efisiensi produksi

• Sistem Evercoast menyediakan umpan balik spasial real-time langsung di lokasi syuting
  • Sutradara dapat memeriksa preview berbasis mesh segera setelah syuting, lalu meninjau rendering splat penuh melalui web player
  • Sebelum mengunduh data berukuran besar, hanya adegan yang diperlukan yang dipilih untuk diproses lebih lanjut
• Workflow ini lebih dekat ke simulasi dibanding produksi video tradisional, sehingga memungkinkan kreasi yang cepat dan efisien dari sisi biaya

Performa nyata dan ilusi visual

• Sebagian penonton mengira video ini adalah hasil generasi AI, tetapi semua adegannya didasarkan pada performa fisik aktor sungguhan
  • Seluruh gerakan seperti stunt, lompatan, dan jatuh dilakukan di ruang nyata
  • Berkat volumetric capture, penataan ulang sudut kamera dan perusakan kontinuitas ruang bisa dilakukan dengan bebas, sehingga memunculkan kesan artifisial
• Teknologi Radiance Field tidak menggantikan realitas, melainkan berperan untuk mempertahankan gerakan dan ruang dari dunia nyata

Kolaborasi A$AP Rocky dan Radiance Fields sebelumnya

• A$AP Rocky sebelumnya juga menggunakan NeRF dan Instant-NGP GUI dalam video musik ‘Shittin’ Me’ pada 2023
  • Dalam kelanjutan tersebut, ‘Helicopter’ dinilai sebagai contoh penggunaan nyata berskala besar dynamic Gaussian Splatting

[GN⁺]

Komentar Hacker News

• Menurut saya luar biasa bahwa pada tahun 2023 Nial Ashley (Llainwire) mengerjakan ini sendirian dan bahkan membuat visualnya sendiri
  Tautan video YouTube
  Sayangnya orang ini tidak mendapat perhatian. Menurut Discord, terlalu banyak artis yang hanya meminta dibuatkan video musik dengan gaya ini, jadi pada akhirnya ia meninggalkan proyek ini alih-alih berkolaborasi dalam musik
• Saya adalah David Rhodes, salah satu pendiri CG Nomads. Saya mengembangkan GSOPs (Gaussian Splatting Operators) untuk SideFX Houdini
  Video musik ini dibuat dengan menggabungkan GSOPs dan OTOY OctaneRender
  Jika tertarik pada teknologinya, Anda bisa melihat situs resmi atau repositori GitHub
  • Sisi estetika dari teknologi ini benar-benar menarik. Pada versi awal, tampilannya benar-benar seperti awan noise 3D yang glitchy, jadi saya penasaran apakah ada pemikiran tentang cara “menyalahgunakan”-nya secara kreatif dengan sengaja memakai input yang salah atau kesalahan alignment
  • David, saya penasaran apakah Anda juga pernah melihat Mesh Splatting sebagai teknologi alternatif 3DGS. Katanya menjanjikan pelatihan yang lebih cepat dan hasil yang bagus
  • Saya penasaran apakah plugin untuk Davinci Resolve bisa memungkinkan penggabungan data spasial yang direkam dari dua iPhone menjadi satu adegan 3D. Dengan chip M4 rasanya ini cukup memungkinkan
  • Anda menyebut “konten 3D berkualitas tinggi”, tetapi di videonya rasanya itu agak kurang terlihat
• Saya tidak menyangka akan melihat posting tentang A$AP di HN. Komunitas ini memang menarik
  • Saya juga memikirkan sepanjang hari bagaimana cara memposting video musik Helicopter ke HN, jadi saya senang seseorang akhirnya mengangkatnya dari sudut pandang Gaussian
  • Di video itu, apakah dia sedang memakai hair roller?
  • Hampir saja posting terkait Carti naik ke bagian atas HN
  • Saya juga sempat melihat dua kali, benar-benar tidak terduga
  • Tapi saya tidak terlalu mengerti kenapa itu dianggap “keren”
• Saya penasaran apakah ada yang bisa menjelaskan dengan sederhana apa sebenarnya Gaussian splatting, dan apa maksud artikel ketika mengatakan bahwa teknologi ini “akhirnya cukup matang”
  • Prosesnya adalah membuat point cloud dari sebuah adegan, lalu mengganti setiap titik dengan ellipsoid yang menyebar, kemudian melatihnya dengan renderer yang dapat didiferensiasikan. Dengan cara ini, kita bisa merekonstruksi adegan 3D yang hampir identik dengan foto asli
  • Ini adalah pendekatan yang menggabungkan video yang diambil dari berbagai sudut untuk memperkirakan radiance field dari sebuah ruang 3D. Dengan itu, sudut kamera yang sebenarnya tidak pernah ada pun bisa disimulasikan.
    Jika memakai alat seperti Houdini, artis bisa bebas menggerakkan kamera virtual dalam teknologi ini
  • Setiap titik berbentuk blob semi-transparan, dan warnanya berubah tergantung arah pandang. Ini memungkinkan representasi pantulan dan efek kilap
  • Video 2 menit ini adalah materi pengantar yang bagus.
    Berkat paper kunci dari 2023 serta kemajuan GPU dan pemrograman diferensiabel, tampaknya sekarang teknologi ini sudah bisa dipakai dalam praktik nyata
  • Demo visual bisa dilihat di posting blog ini dan situs ini
• Videonya benar-benar keren. Saya tidak memahami lebih dari separuh isi artikelnya, tetapi justru menyenangkan membaca kalimat yang penuh jargon teknis seperti ini
  Bagian “data diimpor ke Houdini, dimanipulasi dengan GSOPs, lalu dirender final dengan OctaneRender” sangat berkesan
  • Saya adalah salah satu pembuat GSOPs untuk Houdini. Gaussian splat adalah cara mereplikasi realitas dengan sangat banyak ellipsoid 3D. Houdini unggul dalam menangani data point berskala besar, dan renderer seperti Octane dapat mengintegrasikannya dengan elemen CG tradisional
  • Saya adalah penulis artikel itu. Gaussian splatting memungkinkan rekonstruksi 3D yang realistis dari input berupa gambar atau video 2D biasa. Ini adalah salah satu jenis teknik berbasis radiance field seperti NeRF atau Plenoxel
  • Corridor Crew pernah membuat karya keren menggunakan Gaussian splat. Saya merekomendasikan video ini
  • Gaya penulisan ini entah kenapa mengingatkan saya pada Kurtwood Smith dalam adegan menjual pipa di The Patriot
• Saya sedang bereksperimen dengan Gaussian splatting sebagai medium seni fotografi. Hasil ekspresionis yang muncul ketika datanya kurang itu benar-benar memikat
  Kumpulan karya saya
  • Karyanya sangat keren! Saya penasaran apakah ada tempat yang membahas proses pembuatannya lebih detail
  • Estetikanya benar-benar unik dan keren
• Sejujurnya videonya terlihat seperti render Unreal Engine lama. Mungkin memang sengaja mengincar estetika itu, tetapi saya penasaran seberapa realistis hasil yang bisa dicapai Gaussian splatting
  Apakah jika pencahayaan atau bayangan diatur ulang, atau sebagian adegan diubah, kesan realistik aslinya masih bisa dipertahankan?
  Melihat produksi film belakangan ini yang makin berpusat pada pengambilan multi-sudut lalu penyuntingan pascaproduksi, mungkin suatu saat manusia akan diproses sebagai Gaussian splat dan latar belakangnya sebagai green screen
  • Estetika video ini adalah hasil dari sengaja mempertahankan artefak Gaussian splatting. Khususnya pada 4DGS ada ketidakkonsistenan temporal, dan dalam proses relighting hal itu jadi makin menonjol.
    Meski begitu, teknologinya berkembang cepat, dan volumetric capture tampaknya pasti akan mapan.
    Dalam lingkungan statis, kualitasnya sangat tinggi seperti pada contoh ini
  • Melihat kecenderungan artisnya, ini tampaknya dipilih bukan karena anggaran, melainkan demi kebaruan teknologi dan kebebasan kreatif
  • Bagi saya ini terasa seperti versi resolusi tinggi dari game berbasis voxel bernama Teardown. Pencahayaan dan gerakan kameranya memberi kesan itu
  • Dengan data yang tepat, sepertinya sekarang pun sudah bisa mencapai kualitas 3D setingkat IMAX
  • Video-video lain A$AP juga kadang sengaja memakai nuansa lo-fi dan retro. Misalnya di Yamborghini High, mereka meniru efek kerusakan MPEG
• Videonya sendiri wajib ditonton. Keseimbangan antara efek surealis dan performa manusianya benar-benar bagus
  Kalau musiknya bukan selera Anda, tonton saja sambil dimute
  • Video musik lagu A$AP Rocky lainnya, Taylor Swif, juga punya suasana surealis dan aneh yang mirip. Penyutradaraan bergaya Eropa Timur di sana sengaja selaras dengan temanya
    Tautan video
  • Jika menonton sampai akhir, splat terakhir itu bukan Gaussian
• Tautan langsung video musik: https://www.youtube.com/watch?v=g1-46Nu3HxQ
  • Ide bagus. Saya akan menambahkan tautan itu juga ke bagian atas isi posting
• Sayangnya, sekitar 30 detik saya mulai mabuk gerak dan berhenti menonton. Meski begitu teknologinya benar-benar keren. Saya penasaran apakah ada yang merasakan hal yang sama seperti saya
  • Saya sangat menyukai videonya. Saya sama sekali tidak merasa mabuk gerak
  • Istri saya juga bereaksi sama, tetapi setelah intro jauh lebih nyaman