Macro Splats 2025

 (danybittel.ch)
1 poin oleh GN⁺ 2025-10-13 | 1 komentar | Bagikan ke WhatsApp
  • Gaussian splat terdiri dari banyak elipsoid buram, sehingga memiliki karakteristik dapat dilihat dari berbagai sudut layaknya foto 3D
  • Mampu mereproduksi tekstur kompleks dan sangat halus dari objek makro seperti serangga secara efektif
  • Untuk mengatasi masalah akibat depth of field dangkal, digunakan teknik focus stacking
  • Perangkat otomatis dan metode pemotretan yang dioptimalkan meningkatkan efisiensi serta kualitas pengambilan gambar
  • Pada akhirnya, model 3D resolusi tinggi dibuat dan dipublikasikan dengan memanfaatkan COLMAP dan Postshot

Ringkasan Macro Splats 2025

Konsep Gaussian Splat dan pembentukan foto 3D

  • Gaussian splat adalah teknik yang menumpuk elipsoid buram di ruang 3D dan memberikan warna bergantung sudut pandang pada tiap elipsoid
  • Seperti pelatihan model AI, dengan memasukkan banyak foto lalu mengulang optimasi, dapat dihasilkan keluaran foto 3D yang realistis
  • Hasil dari pendekatan ini adalah citra 3D yang dapat diamati secara hidup dari berbagai sudut

Motivasi penerapan pada subjek makro

  • Subjek makro seperti serangga berbulu atau berstruktur kompleks sangat cocok untuk representasi Gaussian splat
  • Ditekankan bahwa tekstur semacam ini merupakan bagian yang sulit digambarkan dengan teknik rekonstruksi 3D konvensional

Proses pemotretan dengan Focus Stacking

  • Karena karakteristik fotografi makro memiliki depth of field yang sangat dangkal, sulit menangkap semua bagian dengan tajam
  • Focus stacking adalah teknik memotret banyak gambar dari sudut yang sama dengan fokus yang sedikit berbeda, lalu menggabungkannya menjadi satu foto yang sepenuhnya tajam
  • Biasanya diperlukan 50~500 foto per stack, tetapi demi efisiensi pemotretan jumlahnya disesuaikan menjadi 16 foto per stack dan menggunakan aperture f/18
  • Serangga dipotret secara sistematis dari berbagai sudut dengan cakram putar, boom arm, dan rel fokus otomatis
  • Total diambil 1776 foto dari 111 sudut, dengan total waktu pemotretan sekitar 4 jam

Pembangunan model 3D dan pascapemrosesan

  • Semua gambar diselesaikan menjadi 111 foto resolusi tinggi melalui batch focus stacking
  • Informasi posisi kamera dipulihkan dengan COLMAP, lalu dilakukan koreksi warna dan masking latar belakang
  • Data akhir dilatih dengan Postshot untuk membuat model splat, dan bagian penyangga (mounting) dihapus dengan retouch minimal

Publikasi dan pemanfaatan model 3D

  • Model serangga yang telah selesai dapat dilihat bebas dalam bentuk 3D di superspl.at
  • Model cluster fly tersedia gratis di sini, dan boleh digunakan untuk tujuan komersial maupun nonkomersial dengan syarat atribusi kepada pembuatnya

Bacaan terkait

1 komentar

 
GN⁺ 2025-10-13
Komentar Hacker News
  • Dari semua grafik komputer yang pernah saya lihat, tawon mandarin ini adalah salah satu karya paling mengesankan, sekaligus juga salah satu hasil fotografi makro terbaik. Fakta bahwa ini bisa dirender secara real-time juga mengejutkan. Beberapa hari lalu ada diskusi tentang PS6, dan kalau saya masih terlibat dalam pembuatan konsol atau game, saya akan sangat memikirkan cara memasukkan aset seperti ini ke dalam game
    • Gaussian splats kurang punya fleksibilitas yang dibutuhkan video game pada umumnya. Ini bukan PBR sungguhan, jadi pencahayaannya hampir seperti hardcoded. Rigging tidak bekerja dengan baik, dan pengeditannya juga sangat sulit. Cocok untuk visualisasi satu objek, tetapi tidak pas untuk membangun scene yang terdiri dari banyak elemen
  • Tampilannya benar-benar keren. Sebagai masukan untuk situs webnya, teks hitam di atas latar abu-abu kurang terbaca, jadi saya harus memakai reader mode
    • Saturasi warna halaman ini begitu kuat sehingga saya sempat merasa seolah ada foreground yang disorot tetapi tidak saya lihat, dan seluruh halaman terasa seperti diperlakukan sebagai background
    • Justru saya punya pengalaman yang sepenuhnya berkebalikan. Situs ini adalah salah satu dari sedikit situs yang tetap bisa saya baca dengan jelas tanpa hurufnya blur, bahkan saat saya memakai kacamata
  • Karya ini terlihat sangat keren, dan saya tidak pernah terpikir menggabungkan fotografi makro dengan Gaussian splatting. Terima kasih banyak karena merilisnya sebagai berkas budaya bebas (CC BY)
  • Rasanya akan keren kalau berkolaborasi dengan artis Exquisite Creatures Revealed. Dia mengawetkan berbagai serangga dan memamerkannya dengan cara yang menonjolkan warna serta efek iridesen dari alam. Saya sangat terkesan dengan pamerannya sampai datang lagi untuk kedua kalinya. Informasi artisnya bisa dilihat di sini
  • Saya penasaran apakah ada penelitian tentang mencocokkan gaussian splats yang bergantung pada jarak fokus. Pada dasarnya seperti memodelkan bokeh, jadi kalau gambar raw aslinya dimasukkan, mungkinkah kita mendapatkan model yang tajam secara keseluruhan
  • Saya penasaran bagaimana mereka menangkap pantulan iridesen pada tubuh lalat. Rasanya seperti bisa melihat latar belakang melalui bagian yang memantul. Karena warna pantulannya berubah di setiap sudut, saya sempat berpikir bukankah ini menyulitkan gaussian splat untuk menemukan jawaban yang memuaskan semua sinar. Setidaknya saya menduga permukaan reflektifnya akan terlihat berantakan, jadi saya penasaran apakah ada trik rahasia, atau saya yang salah paham soal gaussian splat
    • Warna berubah tergantung sudut pandang, dan itu berarti pencahayaannya sudah baked-in. Karena itu saya rasa ini sulit dipakai secara langsung untuk animasi 3D atau lingkungan real-time, meskipun mungkin ada riset tentang pencahayaan dinamis. Kadang hasilnya memang terlihat salah; misalnya pada model lalat, kalau didekati terlalu dekat, sebagian tubuh tampak transparan dan specular highlight terlihat sebagai splat dari sisi belakang permukaan dalam. Pada model cermin, ini tampak jauh lebih parah, dan Anda bahkan bisa menembus masuk ke dalam cerminnya
    • Gaussian splats bisa diberi warna yang berubah sesuai sudut pandang. Setahu saya, ini diimplementasikan dengan spherical harmonics. Resolusi sudutnya ditentukan oleh jumlah komponen harmonik ini; kalau terlalu sedikit, semua pantulan berubah dengan lambat dan halus, sehingga refleksinya menjadi kabur
    • Menurut FTA, “Gaussian splat pada dasarnya adalah sekumpulan ellipsoid buram, dan setiap ellipsoid punya warna yang bergantung pada sudut pandang.” Semoga penjelasan ini membantu
    • Sebaiknya lihat bagian "View-dependant colors with SH": artikel terkait
  • Demo yang bisa diputar di browser bahkan berjalan sangat baik secara real-time di ponsel. Biaya render gaussian splat tampaknya tidak terlalu mahal, dan komputasi beratnya lebih banyak di tahap prakomputasi
    • Ukuran filenya juga sangat mengesankan. Tautannya memang tidak ada sekarang, tetapi ada 4D splat yang sudah dirilis lengkap dengan gerakan juga, jadi bisa ditonton seperti video dan Anda juga bisa bergerak di dalam scene, dan ukuran filenya pun hanya beberapa megabita
  • Karyanya sangat keren. Tapi di mobile, 3D-nya benar-benar tidak bisa dipakai. Begitu saya menyentuh 3D dalam mode orbit, sudut pandangnya terkunci ke belahan selatan, dan seberapa pun saya memutarnya layar malah bergerak liar dengan sangat cepat
    • Saya developer PlayCanvas. Saya penasaran apakah Anda bisa memberi tahu di ponsel/perangkat apa itu terjadi. Mungkin ini bug (bukan maksud bercanda)
  • Baru-baru ini ini juga dipakai untuk mengunjungi kembali "The Matrix": video YouTube
  • Ini kemajuan yang luar biasa dibanding render real-time 23.806 segitiga yang ditunjukkan di Stars/NoooN [1]. [1] Video YouTube
    • Saya penasaran ini dibuat kapan. Video YouTube-nya dari 14 tahun lalu, tapi rasanya seperti jauh lebih tua dari itu