Dinamika Gambar Generatif

 (generative-dynamics.github.io)
2 poin oleh GN⁺ 2023-09-18 | 1 komentar | Bagikan ke WhatsApp
  • Ini adalah pendekatan yang menerapkan prior ruang-gambar untuk pergerakan adegan pada satu gambar diam, lalu mengubahnya menjadi video berulang atau adegan dinamis yang dapat diinteraksikan
  • Untuk pelatihan, digunakan lintasan dari urutan video nyata yang memuat gerakan osilatif alami seperti pohon, bunga, lilin, atau pakaian yang bergoyang tertiup angin
  • Model menangani gerakan jangka panjang di domain Fourier, dan memprediksi volume spektral dari satu input gambar melalui sampling difusi yang dikondisikan frekuensi
  • Volume spektral yang diprediksi diubah menjadi tekstur gerak untuk keseluruhan video, lalu dimanfaatkan untuk pembuatan video berulang dan interaksi objek dalam foto nyata
  • Demo memerlukan browser yang mendukung WebGL2, dan demi kecepatan menggunakan mesh-warping alih-alih model rendering berkualitas tinggi dari makalah

Membuat adegan dinamis dari gambar diam

  • Generative Image Dynamics adalah metode untuk memodelkan prior ruang-gambar terhadap pergerakan adegan
  • Masukannya adalah satu gambar diam, dan keluarannya berupa video yang berulang mulus atau adegan dinamis yang bisa diinteraksikan pengguna
  • Anda dapat melihat makalah, arXiv, dan materi tambahan
  • Karya ini memenangkan CVPR 2024 Best Paper Award

Prior gerak dan metode rendering

  • Data pelatihan berupa kumpulan lintasan gerak yang diekstrak dari urutan video nyata
    • Contohnya mencakup gerakan alami dan berosilasi seperti pohon, bunga, lilin, atau pakaian yang bergoyang tertiup angin
  • Model memodelkan prior gerak yang rapat dan berdurasi panjang di domain Fourier
    • Jika diberi satu gambar, model memprediksi volume spektral melalui sampling difusi yang dikondisikan frekuensi
    • Volume spektral dapat diubah menjadi tekstur gerak yang mencakup keseluruhan video
  • Jika digabungkan dengan modul rendering berbasis gambar, berbagai aplikasi menjadi memungkinkan
    • Mengubah gambar diam menjadi video berulang yang mulus
    • Dengan menafsirkan volume spektral sebagai basis modal ruang-gambar, objek dalam foto nyata dapat dibuat berinteraksi secara realistis
    • Respons dinamika objek terhadap rangsangan pengguna disimulasikan menggunakan analisis modal dari Davis dkk.

Demo dan pemanfaatan tambahan

Bacaan terkait

1 komentar

 
GN⁺ 2023-09-18
Komentar Hacker News
  • Benar-benar keren. Saya sudah lama menyukai cinemagraph, dan saat mengerjakan sesuatu, entah itu pemasaran atau pengambilan gambar, saya selalu mencoba memasukkan nuansa seperti keheningan yang halus, jadi ini tampak bisa menjadi alat yang sering dipakai
    Trik untuk cinemagraph bernilai 10/10 adalah semakin halus, semakin besar dampaknya. Lebih baik membuat penonton awalnya mengira itu foto diam, lalu otaknya terlambat menyadari, “tunggu, ada yang aneh, ini bukan foto, ini video”
  • Pohon mengalami distorsi parah jika diseret dari tepinya. Meski begitu, idenya menarik
    • Mungkin ini harus digabungkan dengan segmentasi dan generative fill untuk layer latar belakang. Untungnya, bidang itu juga sudah banyak berkembang
  • Pada mawar merah di foto pertama, bunga di latar belakang juga bergerak, jadi saya penasaran kenapa efek yang sama tidak terlihat pada pohon di foto ketiga
    Perbedaan jumlah gerakan antara foto pertama dan kedua juga menarik, dan mungkin itu mempertimbangkan kepadatan di sekitar pointer. Contoh gerakan lambat benar-benar menenangkan untuk dilihat
    • Entah kenapa, contoh mawar terasa agak menyeramkan
  • Senang melihat para peneliti Google terus merilis makalah terbuka beserta demonya. Saya tidak akan mengulang lagi soal Google yang gagal memproduksikan riset AI atau merilisnya sebagai open source
  • Benar-benar keren. Ini tidak akan mengguncang dunia atau meningkatkan produktivitas, tetapi tetap sangat keren
    Ini tampak bisa menjadi fitur bawaan untuk wallpaper desktop dan ponsel. Jika bisa menangani gerakan halus air atau awan, ini juga tampak cocok diterapkan secara selektif pada foto di tempat-tempat seperti dokumenter sejarah
  • Demonya memakai WebGL. Bagus
    • Kalau masuk ke video game, sepertinya akan luar biasa. Misalnya saat berjalan melewati semak-semak, tanaman bisa terseret oleh tubuh
  • Ini punya keterbatasan yang sama seperti EbSynth, yaitu membutuhkan gerakan vektor yang rendah
    • Capaian di sini tampaknya terutama ada pada pembuatan dinamika gambar. Misalnya jika ada kucing dalam gambar, model memahami bahwa kucing harus bernapas, lalu membuat gerakan paru-parunya mengembang-kempis, dan makalahnya tampaknya membahas cara mengubah dinamika gambar itu dan gambar asli menjadi video yang mulus. Bisa saja saya keliru
  • Rasanya tinggal selangkah lagi sampai foto statis menjadi foto berbingkai ala Harry Potter
  • Wow, terlihat surealis. Saya tidak sabar mencobanya kalau sudah terintegrasi ke Photoshop