CityGaussian: Rendering adegan skala besar real-time berkualitas tinggi dengan Gaussian

 (dekuliutesla.github.io)
1 poin oleh GN⁺ 2024-04-03 | 1 komentar | Bagikan ke WhatsApp

CityGaussian: teknik Gaussian untuk rendering adegan skala besar yang cepat dan berkualitas tinggi

  • CityGaussian (CityGS) memperkenalkan pendekatan baru untuk pelatihan yang efisien dan rendering real-time pada 3D Gaussian Splatting (3DGS) skala besar.
  • Melalui pengetahuan awal adegan global dan pemilihan data pelatihan adaptif, pendekatan ini memungkinkan pelatihan yang efisien dan penggabungan tanpa celah.
  • Berdasarkan data primitif Gaussian, pendekatan ini menghasilkan kompresi berbagai tingkat detail, dan melalui strategi pemilihan serta agregasi tingkat detail berbasis blok yang diusulkan, mewujudkan rendering cepat pada berbagai skala.
  • Hasil eksperimen yang luas pada adegan skala besar menunjukkan bahwa pendekatan ini mencapai kualitas rendering mutakhir dan dapat merender adegan skala besar dengan ukuran yang sangat berbeda secara konsisten dalam waktu nyata.

Perbandingan dengan SOTA

  • Teknologi LoD tanpa CityGS: MatrixCity direpresentasikan dengan 25 juta Gaussian, dan hasil pengujian pada A100 menunjukkan kecepatan 18 FPS, yang menyebabkan pengalaman roaming yang tidak nyaman.
  • Teknologi LoD dengan CityGS: Dengan dukungan LoD, CityGS dapat dirender secara real-time pada skala yang sangat berbeda, dengan kecepatan rata-rata 36 FPS berdasarkan pengujian pada A100.

Perbandingan visual

  • Kualitas rendering superior dari CityGS dibandingkan secara visual dengan teknik-teknik yang sudah ada seperti MegaNeRF, SwitchNeRF, GPNeRF, dan 3DGS.

Opini GN⁺

  • CityGaussian merepresentasikan kemajuan teknis penting dalam merender adegan 3D skala besar secara real-time. Hal ini meningkatkan potensi penerapan di bidang seperti realitas virtual, pengembangan game, perencanaan kota, dan simulasi.
  • Rendering real-time adalah faktor yang sangat meningkatkan pengalaman pengguna, dan frame rate tinggi yang ditawarkan CityGaussian akan membuat pengalaman ini lebih mulus dan realistis.
  • Namun, teknologi rendering real-time umumnya membutuhkan sumber daya komputasi berkinerja tinggi, yang dapat menjadi kendala dari sisi biaya dan aksesibilitas.
  • Agar teknologi ini dapat diadopsi secara luas, diperlukan peningkatan berkelanjutan pada teknik optimasi seiring dengan perkembangan perangkat keras.
  • Selain itu, karena mungkin ada proyek atau produk lain di pasar yang menggunakan teknologi serupa dengan CityGaussian, pengguna perlu membandingkan beberapa opsi untuk memilih solusi yang paling sesuai dengan kebutuhan mereka.

Bacaan terkait

1 komentar

 
GN⁺ 2024-04-03
Pendapat Hacker News
  • Memperkenalkan proyek eksperimental yang menggabungkan tile 3D Google Maps dengan Gaussian splat. Melalui teknologi ini, proyek tersebut mencapai efek yang mirip dengan dunia nyata, dan disertai contoh yang mencakup kode terkait.
  • Dataset yang digunakan dalam video adalah 'Matrix city', yang tampaknya diekstrak dari demo Matrix untuk Unreal Engine 5 yang dirilis beberapa tahun lalu. Kemungkinan dibuat dengan teknik fotorealisme, bukan dari foto.
  • Kecepatan frame rata-rata adalah 36 frame per detik, diuji pada kartu grafis A100. Kartu grafis ini berharga sekitar $8,000.
  • Teknik bernama Gaussian splat ini dinamai dari Gauss; meski bukan ia yang langsung menemukannya, ia berkontribusi besar pada dasar matematis teknik tersebut.
  • Ada pertanyaan teknis apakah teknologi yang memungkinkan Unreal Engine menampilkan demo luar biasa belakangan ini adalah Gaussian splat.
  • Ada pendapat yang menantikan lisensi apa yang akan digunakan saat teknologi ini dirilis, dan ingin melihatnya dimanfaatkan dalam game open source.
  • Ada reaksi yang menunjukkan rasa penasaran terhadap teknik tingkat lanjut untuk merender adegan besar menggunakan Gaussian 3D, serta minat untuk menguji kodenya.
  • Ada pendapat yang menyoroti bahwa teknologi ini tampaknya tidak terlihat jauh lebih baik dibanding game simulasi kota yang sudah ada, 'Cities: Skylines', dan karena hanya menampilkan frame yang terbatas, sulit menilai efek nyatanya.
  • Ada komentar yang mempertanyakan apakah Gaussian splat 3D benar-benar akan berguna. Ada kekhawatiran bahwa kecepatan render terlalu lambat dan datanya terlalu besar sehingga mungkin tidak praktis, disertai klaim bahwa rasterisasi akan selalu lebih cepat daripada ray tracing. Disebutkan juga bahwa menghasilkan geometri dan material tradisional dari point cloud Gaussian adalah hal yang menarik, tetapi fotogrametri sudah lama digunakan.
  • Ada pertanyaan tentang kebutuhan memori dan komputasi dari teknologi ini.