Show HN: Gaussian Splat Stroberi

 (superspl.at)
2 poin oleh GN⁺ 18 jam lalu | 1 komentar | Bagikan ke WhatsApp
  • Strawberry adalah adegan stroberi 3D yang dapat diunduh dan diposting oleh danylyon di SuperSplat, dengan lisensi CC BY 4.0
  • Data adegan ditampilkan berisi 46.530 item dengan ukuran file 22,94 MB, dan waktu publikasinya ditampilkan sebagai 13 jam yang lalu
  • Pengambilan gambar dilakukan dari 90 sudut pandang, dan untuk setiap sudut digunakan 88 gambar focus stack
  • Peralatannya adalah Nikon Z8 full-frame, f/7.1, 1/160 detik, ISO 100, lensa makro Laowa 180mm, lampu LED, dan latar bluescreen
  • Pelatihan dilakukan di slang-splat, dan COLMAP beserta dataset COLMAP juga disediakan

Gambaran adegan

  • Strawberry adalah adegan stroberi 3D yang dipublikasikan di SuperSplat dan pengunggahnya adalah danylyon
  • Data adegan ditampilkan berisi 46.530 item, dengan ukuran file 22,94 MB
  • Waktu publikasinya ditampilkan sebagai 13 jam yang lalu, dan adegan ini dapat diunduh
  • Lisensinya ditampilkan sebagai CC BY 4.0

Kondisi pengambilan gambar

  • Adegan stroberi diambil dari 90 sudut pandang, dan untuk setiap sudut digunakan 88 gambar focus stack
  • Perangkat dan pengaturan pemotretan adalah Nikon Z8, full-frame, f/7.1, 1/160 detik, ISO 100, lensa makro Laowa 180mm
  • Pencahayaannya menggunakan lampu LED, dan latarnya berupa bluescreen

Pelatihan dan data

  • Pelatihan dilakukan di slang-splat
  • COLMAP ditampilkan sebagai perangkat lunak yang digunakan
  • Dataset COLMAP juga disediakan dan dapat diakses gratis di Patreon

Ketentuan penggunaan

  • Adegan ini dapat diunduh dengan lisensi CC BY
  • Disebutkan bahwa atribusi bukan persyaratan, melainkan dianjurkan sebagai bentuk apresiasi
  • Dijelaskan bahwa karya ini dapat digunakan tanpa atribusi

Bacaan terkait

1 komentar

 
GN⁺ 18 jam lalu
Komentar Hacker News

  • Pada 2011 saya membuat PlayCanvas untuk menjalankan video game, dan pada 2026 sekarang malah menjalankan stroberi

    • Bagi yang tertarik, SuperSplat dan PlayCanvas tersedia sebagai open source di GitHub: https://github.com/playcanvas
    • Salah satu hal paling menyenangkan dari open source adalah orang-orang menemukan kegunaan yang benar-benar baru

  • Wah, ini benar-benar bikin lupa waktu. Saya akhirnya sampai di sini, dan indah sekali: https://superspl.at/scene/ff1d0393

    • Di lingkungan saya, scene ini anehnya mengalami error rendering. Pohon dan cakrawala muncul di depan bangunan kincir, dan kalau bukan dalam mode orbit, bagian luarnya tidak dirender dengan benar
      Meski begitu, saya cukup terkejut saat sadar bahwa tangganya bisa dinaiki. Untuk berlari perlu menekan Shift
      Batas scene ini benar-benar butuh clipping. Jika memakai aplikasi seperti Scaniverse, kita bisa menambahkan bounding box untuk menghapus titik-titik jauh yang biasanya tidak berhasil direkonstruksi dengan baik
      Sangat direkomendasikan jika punya iPhone terbaru dengan pemindai LiDAR. Rumah atau taman bisa dirender seperti rumah boneka, dan ternyata cukup berguna untuk merencanakan serta mengukur dinding atau struktur lain
    • Mengejutkan bahwa ini berjalan sepenuhnya mulus di iPhone 12 mini saya
      Scene yang sangat keren, dengan resolusi yang cukup bagus sambil tetap bisa dijelajahi

  • Saya sudah membaca [1], tapi masih belum benar-benar paham apa yang saya lihat. Tebakan saya, ini semacam model 3D yang direkonstruksi dari banyak foto resolusi tinggi
    [1] https://en.wikipedia.org/wiki/Gaussian_splatting

    • Ini adalah gabungan banyak gumpalan semi-transparan yang disusun agar terlihat seperti stroberi
      Tidak ada mesh atau model. Permukaan visual stroberi itu, dalam posisi fisik sebenarnya, bisa saja terdiri dari gumpalan-gumpalan yang saling berjauhan, bukan lokasi yang tampak seperti permukaan
      Karena itu hal semacam ini disebut radiance field. Yang dimodelkan adalah cahaya, bukan geometri
      Dalam praktiknya, posisi dan rotasi gumpalan-gumpalan itu bisa dibatasi agar lebih sesuai dengan bentuk geometris stroberi
    • Video ini menjelaskan cara kerja Gaussian splatting: https://www.youtube.com/watch?v=X8yRlA7jqEQ
    • Cara kerjanya sudah dijelaskan dengan baik oleh balasan lain. Kalau dizoom sangat dekat ke gambar, Anda akan mulai “menembus” permukaannya, dan itu membantu untuk memahami idenya
      Hal pentingnya adalah tidak ada permukaan geometri yang terdefinisi, yaitu mesh. Selain itu, untuk membuat splat yang bagus, Anda perlu mengambil sangat banyak foto dari berbagai sudut, jadi ini sangat sulit, sedangkan splat yang jelek sangat mudah dibuat. Tapi kalau berhasil, hasilnya menakjubkan
    • Saya pertama kali mempelajarinya lewat https://youtube.com/watch?v=X8yRlA7jqEQ, dan ini benar-benar keren
    • Ada video penjelasan bagus berdurasi 2 menit: https://youtu.be/HVv_IQKlafQ

  • Indah
    Yang saya suka dari Gaussian splat adalah cara ia mengalami degradasi. Alih-alih patah mendadak, berubah level of detail, atau bola-bolanya berubah jadi kubus, tampilannya perlahan menjadi seperti “mimpi”. Bentuk dasarnya tetap ada, hanya detailnya yang berkurang
    Misalnya scene ini: https://superspl.at/scene/e721ea7c
    Saat mendekat ke arah pepohonan, area sekitar menjadi kabur, seolah anyaman realitas sedang terurai

    • Kalau begitu, mungkin Anda juga akan suka karya seni yang saya buat dengan turunan dari Gaussian splat. Saya menyebutnya gaussographs
      https://bayardrandel.com/gaussographs
      Karya yang lebih baru ada di Instagram
      https://www.instagram.com/bayardrandel/
    • Saya tidak terlalu paham, tapi efeknya keren. Setidaknya pada stroberi ini, rasanya bukan seperti memperbesar, melainkan lebih seperti bergerak mendekat
      Tidak terlihat tambahan “detail palsu” yang biasanya diharapkan saat zoom, melainkan terasa seperti menembus kulit dan masuk ke bagian dalam yang dibayangkan
    • Ini sangat mengingatkan saya pada adegan “memori” di Minority Report: https://www.youtube.com/watch?v=arTIRgdEb1g
    • Ini efek yang luar biasa keren. Rasanya seperti realitas runtuh menjadi kabut, kaca berembun, sapuan cat, serpihan aurora, atau bulu-bulu dandelion
      Semakin berkurang konsistensinya, semakin sulit dan tak terduga pula untuk dieksplorasi
      Dibanding model 3D biasa, ini terasa jauh lebih dekat dengan cara pikiran menyimpan dan memproses informasi spasial
    • Saya suka bahwa ini berada di suatu titik di antara foto dan model 3D. Tidak ada yang benar-benar mirip

  • Jika Anda hanya melihat gambar buram dan tidak ada yang dimuat atau berfungsi, coba cek apakah konsol JavaScript menampilkan "WebGL not supported"

  • Ini juga menarik: https://github.com/apple/ml-sharp
    Ini model Apple yang menghasilkan Gaussian splat dari satu gambar. Di M1 Pro butuh sekitar 30 detik
    Kalau bergerak terlalu banyak hasilnya akan rusak, tetapi untuk sedikit goyangan kiri-kanan atau sudut pandang mata kedua di VR hasilnya sangat bagus. Jauh lebih enak dilihat daripada pendekatan lama yang saya pakai di https://github.com/combatwombat/tiefling, yaitu depth map + vertex shader
    Hanya saja bobot ml-sharp 2.6GB, jadi agak terlalu besar untuk dijalankan di browser

    • Apakah ini dasar dari yang dilakukan Apple di Photos app pada versi OS terbaru?
      Sekarang tampaknya berjalan jauh lebih cepat dari 30 detik di iDevice dan Mac
    • Ada yang tahu kira-kira butuh berapa VRAM untuk menjalankannya di Nvidia?

  • Saya baru mengenal Gaussian splatting beberapa minggu lalu, dan mungkin ini pertanyaan lucu, naif, atau bodoh. Apakah ada kemajuan soal pencahayaan dinamis, atau setidaknya secara teori memungkinkan?

    • Ada penelitian yang mencoba melakukan ini secara langsung. Contohnya: https://arxiv.org/abs/2601.23065
      Tetapi untuk kasus yang lebih kompleks daripada pantulan difus, sulit mendapatkan material yang akurat
      Relighting berbasis AI tampaknya akan segera mulai bekerja dengan baik
    • Dalam kondisi dasarnya, mungkin kita bisa menyinari permukaannya, tetapi bayangan sepertinya sulit ditangani dengan benar. Strukturnya bukan benda padat, lebih mirip partikel di ruang 3D
      Rasanya bisa seperti pencahayaan real-time dari game engine lama yang ditempel ke aset yang cukup modern. Seperti era Quake 2~3
      Atau mungkin bisa dibuat semacam “occlusion pre-pass” yang membangun volume voxel jarang dari splat, lalu memberi tiap voxel nilai opasitas voxel yang menyerap cahaya. Tidak terlalu berbeda dari global illumination prahitung modern
      Sebagai catatan, saya bukan ahli rendering, cuma orang iseng yang dulu pernah mengutak-atik OpenGL

  • Benar-benar wow!
    Saat menjelajahi situsnya, saya malah lebih kagum dengan scene ini: https://superspl.at/scene/c67edb74

    • Yang ini membuat browser saya terus crash saat mencapai 100%. Safari/iOS, di iPhone 13
      Beberapa yang lain yang ditautkan di komentar bisa saya jelajahi dan pakai, jadi aneh juga
    • Saya cuma ingin cepat membandingkan ukurannya
      Kalau saya membaca Chrome dengan benar, gabungan situs web dan datanya adalah 171MB
      Kalau hitungannya benar, itu setara kira-kira 40 detik bandwidth pada bitrate tertinggi Netflix
    • Indah, dan cukup keren bahwa Anda bisa “berjalan” naik ke dalam langit-langit lalu melihat ke bawah
      Tergantung seberapa aneh Anda, rasanya seperti menjadi Quasimodo atau Tuhan
    • Agak disayangkan uskup di belakang terlihat agak datar ;-)

  • Saat melihat ini saya malah masuk lebih dalam ke rabbit hole dan sampai ke perusahaan yang membuat video Gaussian splat ini: https://www.4dv.ai/. Menarik

  • Terasa seperti miniatur kecil yang indah. Menarik melihat Gaussian splatting diterapkan pada objek kecil yang detail, bukan scene besar
    Aspek yang mungkin paling membosankan dari stroberi ini justru lisensinya yang membuat saya penasaran. Tertulis, “bisa diunduh dengan lisensi CC BY, tetapi atribusi tidak wajib meski akan diapresiasi,” dan saya bukan pengacara, tetapi rasanya jika dilisensikan sebagai CC-BY, syarat BY itu tidak bisa begitu saja dibebaskan lewat penjelasan
    Jika ingin menjadikan atribusi opsional, bukankah seharusnya memakai lisensi yang lebih permisif seperti CC0 lalu hanya meminta atribusi?

    • Menurut saya bisa saja. Sama seperti “lakukan sesukamu” juga bisa dianggap lisensi informal. Hanya saja agak tidak bermakna
    • Karena itu kontennya sendiri, dia bisa melakukan apa pun yang dia mau
      Sampai batas tertentu, ya. Di negara seperti Prancis, hak atribusi pada dasarnya tidak dapat dialihkan, jadi bahkan setelah penulis melepaskan hak untuk selalu dicantumkan, mereka tetap bisa sewaktu-waktu menuntut atribusi lagi
      Tetapi di AS, pihak yang menerima manfaat dari suatu klausul kontrak biasanya boleh mengabaikan atau melepaskan klausul itu. Apakah itu masih pantas disebut “CC BY” tetap bisa diperdebatkan, karena atribusi adalah inti utamanya
      Meski begitu, melisensikannya sebagai CC BY lalu langsung membebaskan syarat itu tetap tampak sah