Meta 3D Gen - Membuat aset 3D dari teks

• Pipeline cepat mutakhir baru untuk menghasilkan aset 3D dari teks
• 3DGen dapat menghasilkan bentuk dan tekstur 3D berkualitas tinggi dengan fidelitas prompt yang tinggi dalam waktu kurang dari 1 menit
• Mendukung PBR (physical-based rendering) yang diperlukan untuk pencahayaan ulang aset 3D dalam aplikasi dunia nyata
• Dapat mengubah material dari bentuk 3D yang telah dibuat sebelumnya (atau dibuat oleh artis) secara generatif menggunakan masukan teks tambahan dari pengguna
• 3DGen mengintegrasikan komponen teknologi inti bernama Meta 3D AssetGen dan Meta 3D TextureGen yang dikembangkan untuk pembuatan 3D dari teks dan pembuatan tekstur dari teks
• Dengan menggabungkan kedua teknologi ini, 3DGen merepresentasikan objek 3D secara simultan dengan 3 cara di ruang pandang, ruang volumetrik, dan ruang UV (atau tekstur)
• Mencapai tingkat kemenangan 68% dibanding model satu tahap
• 3DGen jauh lebih cepat sekaligus melampaui benchmark industri dalam hal fidelitas prompt dan kualitas visual untuk prompt teks yang kompleks

Makalah terkait

Meta 3D AssetGen: pembuatan text-to-mesh dengan geometri, tekstur, dan material PBR berkualitas tinggi

• AssetGen merupakan kemajuan penting dalam pembuatan 3D dari teks yang menghasilkan mesh setia dan berkualitas tinggi dengan kontrol tekstur dan material
• Dibanding memanggang shading ke tampilan objek 3D, AssetGen menghasilkan material PBR yang mendukung pencahayaan ulang nyata
• AssetGen mula-mula menghasilkan banyak tampilan objek dengan channel tampilan albedo dan shading yang telah difaktorkan, lalu merekonstruksi warna, metallic, dan roughness dalam 3D menggunakan delayed shading loss untuk supervisi yang efisien
• Selain itu, AssetGen menggunakan signed distance function untuk merepresentasikan bentuk 3D secara lebih stabil dan memperkenalkan loss terkait untuk supervisi bentuk secara langsung
• Setelah ekstraksi mesh, transformer penyempurnaan tekstur yang bekerja di ruang UV sangat meningkatkan ketajaman dan detail
• AssetGen mencapai peningkatan 17% pada Chamfer distance dan 40% pada LPIPS dibanding karya simultan terbaik untuk rekonstruksi dari sedikit tampilan, serta memperoleh preferensi manusia 72% dibanding pesaing industri terbaik dengan kecepatan serupa yang mendukung PBR

Meta 3D TextureGen: pembuatan tekstur yang cepat dan konsisten untuk objek 3D

• Ketersediaan dan kemampuan adaptasi model text-to-image belakangan ini telah membuka era baru di banyak bidang terkait seperti pembuatan tekstur
• Metode pembuatan tekstur terbaru mencapai hasil mengesankan dengan menggunakan jaringan text-to-image, tetapi kombinasi konsistensi global, kualitas, dan kecepatan penting untuk memajukan pembuatan tekstur ke aplikasi nyata
• Diperkenalkan Meta 3D TextureGen, metode feed-forward baru yang terdiri dari dua jaringan berurutan untuk menghasilkan tekstur berkualitas tinggi yang konsisten secara global untuk geometri arbitrer dalam waktu kurang dari 20 detik
• 3DGen mencapai hasil mutakhir dalam kualitas dan kecepatan dengan mengondisikan model text-to-image pada semantik 3D di ruang 2D dan menggabungkannya menjadi peta tekstur UV lengkap beresolusi tinggi
• Juga diperkenalkan jaringan peningkatan tekstur yang dapat memperbesar tekstur ke rasio arbitrer untuk menghasilkan tekstur beresolusi 4k piksel

Opini GN+

• 3DGen tampak sebagai kemajuan inovatif di bidang pembuatan aset 3D. Teknologi yang dapat dengan cepat menghasilkan model 3D berkualitas tinggi berdasarkan prompt teks ini dapat dimanfaatkan di berbagai bidang seperti game, film, dan desain
• Khususnya, dukungan material PBR dan kemampuan mengubah tekstur model 3D yang sudah dibuat diperkirakan akan meningkatkan kegunaan di dunia nyata
• Namun, memahami makna prompt teks secara akurat dan menghasilkan model 3D sesuai maksud masih akan menjadi tantangan yang sulit. Perkembangan teknik prompt engineering juga tampak tetap dibutuhkan
• Menarik untuk melihat bagaimana para ahli di bidang pemodelan 3D akan memanfaatkan teknologi ini, dan bagaimana pengaruhnya terhadap ekspresi kreativitas. Perlu juga perbandingan mengenai perbedaan, kelebihan, dan kekurangannya dibanding alat pemodelan 3D yang ada
• Ada juga solusi lain dengan fungsi serupa seperti Nvidia GET3D dan Imagine 3D dari Luma Lab. Diperlukan analisis perbandingan mengenai kelebihan dan kekurangan mereka dari sisi performa dan kemudahan penggunaan
• Seiring kemajuan teknologi pembuatan model 3D yang memungkinkan siapa pun membuat model 3D yang diinginkan dengan mudah, isu-isu baru seperti hak cipta model 3D dan potensi penyalahgunaan dapat muncul. Diperlukan diskusi sosial dan pembentukan konsensus mengenai hal ini

[GN⁺]

Komentar Hacker News

• Seorang pengguna memandang positif perkembangan pemodelan 3D sebagai aspek utama dari AI generatif, dan secara khusus menyinggung sulitnya pembuatan aset VR

  • Ia tertarik pada kemungkinan AI membuat model yang bisa dicetak 3D dari objek dunia nyata melalui input seperti teks, foto, dan LIDAR

• Pengguna lain mengatakan pembuatan konten VR sangat padat karya, dan berharap alat pembuat model 3D akan menjadi pendorong utama metaverse

• Pengguna lain lagi menilai bahwa semua layanan terbaru yang mengubah teks/gambar menjadi model 3D sejauh ini menghasilkan keluaran yang tidak berguna

• Seorang pengguna menyebut menjalankan seluruh sistem dengan pipeline texturing PBR sangat mengesankan

  • Ia bertanya-tanya apakah penggunaan SDFs (signed distance fields) dapat menyebabkan topologi yang buruk
  • Ia menyebut makalah tentang membangun topologi yang siap untuk game, dan menilai rigging untuk animasi kemungkinan akan dimungkinkan

• Pengguna lain mengatakan kualitas topologinya terlihat kurang baik dari tidak adanya wireframe

• Seorang pengguna menganggap ini sebagai langkah perintis lain dalam mereproduksi realitas secara digital

  • Jika sistem ini bisa merespons kondisi manusia, menurutnya orang dapat mempelajari skenario yang sulit ditangani di dunia nyata dalam lingkungan yang aman
  • Ia mengatakan orang kemudian bisa keluar ke dunia nyata seperti kelahiran baru, berbekal pelajaran yang didapat dari dunia virtual

• Pengguna lain lagi berharap konversi 3D-to-3D sederhana akan segera menjadi mungkin

  • Dengan itu, ia ingin melakukan upscale mesh dan tekstur dari game lama

• Seorang pengguna membayangkan bahwa dengan masukan dari seniman, model yang dihasilkan nantinya bisa diedit atau digunakan sebagai titik awal

  • Atau, menurutnya, orang bisa menerapkan filter PS1 untuk membuat game retro

• Meta 3D Gen dinilai mewakili kemajuan penting dalam pembuatan konten 3D untuk aplikasi VR

  • Kemampuannya menghasilkan model 3D detail dari input teks dinilai dapat sangat mempersingkat proses pembuatan konten
  • Namun, disebutkan bahwa teknologi saat ini masih menghadapi tantangan dalam menghasilkan geometri detail berkualitas tinggi
  • Integrasi texturing PBR dinilai menjanjikan, tetapi kuncinya adalah seberapa baik model tersebut bisa dipoles dan dimanfaatkan dalam aplikasi nyata

• Terakhir, seorang pengguna mengatakan ingin melihat teknik alternatif untuk screened Poisson surface reconstruction yang menggunakan jaringan saraf

  • Ia telah melihat MeshAnything, tetapi menyebut itu bukan tujuan akhirnya