VideoLDM - Sintesis Text-to-Video Resolusi Tinggi menggunakan Latent Diffusion Model

• LDM memungkinkan sintesis gambar resolusi tinggi dengan melatih Diffusion Model di ruang latent berdimensi rendah yang terkompresi, tanpa membutuhkan banyak sumber daya komputasi
• Makalah dari NVIDIA yang menerapkan LDM ini pada video resolusi tinggi
• LDM diprapelajari khusus untuk gambar, lalu diperkenalkan Temporal Dimension dan dilakukan fine-tuning pada urutan gambar yang telah dienkode untuk mengubah generator gambar menjadi generator video
• Menyelaraskan upsampler diffusion model untuk mengubahnya menjadi model video ultra-resolusi tinggi yang temporally consistent