- WorldGen dari Meta adalah sistem AI generatif end-to-end yang secara otomatis membuat dunia 3D yang dapat dijelajahi dari satu prompt teks
- Menggabungkan penalaran prosedural, generasi 3D berbasis difusi, dan dekomposisi adegan berbasis pengenalan objek untuk membangun lingkungan yang konsisten secara geometris dan kaya secara visual
- Proses generasinya terdiri dari empat tahap: Planning, Reconstruction, Decomposition, dan Refinement
- Hasilnya kompatibel dengan engine game standar seperti Unity dan Unreal, serta dapat digunakan tanpa proses konversi terpisah
- Memiliki potensi untuk membuat pembuatan konten 3D yang kompleks dan mahal menjadi dapat diakses oleh siapa saja sekaligus lebih efisien
Gambaran umum WorldGen
- WorldGen dapat membuat dunia 3D interaktif dalam hitungan menit hanya dari masukan teks seperti “cartoon medieval village” atau “sci-fi base station on Mars”
- Dunia yang dihasilkan mempertahankan konsistensi gaya dan tema, serta terhubung dalam struktur yang memungkinkan karakter bergerak bebas
- Berdasarkan kemajuan teknologi AI generatif, sistem ini dapat membangun lingkungan 3D lengkap dari satu prompt teks atau gambar
Struktur teknologi dan tahapan generasi
- WorldGen dimulai dengan tahap perencanaan yang mencakup pembuatan blockout prosedural, ekstraksi Navmesh, dan pembuatan gambar referensi
- Setelah itu, dilanjutkan dengan tahap rekonstruksi yang melakukan konversi gambar-ke-3D, pembuatan adegan berbasis Navmesh, dan pembuatan tekstur dasar
- AutoPartGen digunakan untuk dekomposisi adegan dan kurasi data guna memisahkan elemen-elemen detail
- Terakhir, dilakukan tahap penyempurnaan melalui peningkatan gambar, pemurnian mesh, dan model tekstur
Perbedaan dari pendekatan yang ada
- Sistem yang ada selama ini berfokus pada satu sudut pandang (viewpoint) sehingga kualitasnya menurun tajam di area luar pusat
- WorldGen menghasilkan adegan bertekstur lengkap berukuran 50×50 meter sambil mempertahankan konsistensi gaya dan geometri
- Riset sedang dilanjutkan dengan target skala dunia yang lebih besar di masa depan
Kompatibilitas dan potensi penggunaan
- Saat ini masih berada pada tahap riset dan belum dibuka untuk developer, tetapi konten yang dihasilkan dapat langsung digunakan di Unity dan Unreal
- Tidak memerlukan konversi pipeline rendering terpisah
Keterbatasan dan arah berikutnya
- Model saat ini masih memiliki ruang perbaikan dalam aspek ukuran ruang dan latensi generasi
- Versi mendatang menargetkan pembuatan ruang yang lebih besar dan peningkatan kecepatan
Signifikansi industri
- Mengurangi kompleksitas dan beban biaya pembuatan konten 3D, serta membuka kemungkinan agar nonspesialis pun dapat membangun dunia virtual
- Sejalan dengan visi Meta yang disampaikan di acara Connect tentang “masa depan di mana siapa pun dapat membuat dunia virtual tanpa menulis satu baris kode pun”
Daftar ucapan terima kasih
- Proyek ini dikerjakan oleh tim Reality Labs 3D GenAI
- Kontributor utama: Dilin Wang, Hyunyoung Jung, Tom Monnier, Kihyuk Sohn, dan lainnya (tanda † menunjukkan project lead)
Belum ada komentar.