MeshGPT: Teknik pembuatan mesh segitiga menggunakan transformer decoder-only
(nihalsid.github.io)MeshGPT: Transformer decoder-only untuk pembuatan mesh segitiga
- MeshGPT menghasilkan mesh segitiga dengan melakukan sampling autoregresif pada model transformer yang menghasilkan token dari kosakata geometris yang telah dipelajari.
- Token-token ini dapat didekodekan menjadi face pada mesh segitiga, dan mesh yang dihasilkan bersih, konsisten, serta ditandai oleh tepi yang tajam dan fidelitas tinggi.
Ringkasan
- MeshGPT adalah metode baru untuk menghasilkan mesh segitiga yang mencerminkan kekompakan khas mesh buatan artis, berbeda dari mesh segitiga padat yang diekstraksi dari neural field.
- Terinspirasi oleh kemajuan terbaru pada large language model yang kuat, pendekatan ini mengadopsi metode berbasis sekuens yang menghasilkan mesh segitiga secara autoregresif sebagai rangkaian segitiga.
- Pertama, model ini mempelajari kosakata embedding yang berpotensi terkuantisasi menggunakan graph convolution, lalu embedding tersebut disequensikan oleh decoder dan didekodekan menjadi segitiga agar mesh dapat direkonstruksi secara efektif.
Perbandingan video dan aplikasi lain
- Pendekatan MeshGPT menghasilkan mesh kompak dengan detail geometris yang tajam, sementara metode sebelumnya cenderung melewatkan detail semacam ini, menghasilkan mesh yang terlalu banyak ditriangulasi, atau mengeluarkan bentuk yang terlalu sederhana.
- Ketika diberikan mesh parsial, metode ini dapat menyimpulkan beberapa kemungkinan penyelesaian bentuk.
- Metode ini dapat digunakan untuk membuat aset 3D untuk sebuah scene, dan di sini ditunjukkan sebuah ruangan yang diisi dengan aset yang dihasilkan menggunakan metode ini.
Gambaran umum metode
- Pertama-tama dipelajari kosakata untuk mesh segitiga, lalu kosakata tersebut digunakan untuk melakukan generasi mesh secara autoregresif.
- Kosakata embedding geometris dipelajari dari koleksi berbagai bentuk, dengan jaringan encoder-decoder yang memiliki vector quantization.
- Setelah sepenuhnya dilatih, transformer ini dapat langsung melakukan sampling mesh sebagai sekuens token dari kosakata yang telah dipelajari.
Opini GN⁺
MeshGPT menunjukkan peningkatan yang mencolok dalam cakupan bentuk dan skor FID dengan menghadirkan pendekatan inovatif yang melampaui metode pembuatan mesh yang ada. Teknologi ini menandai kemajuan besar di bidang pemodelan 3D dan grafika komputer, dan sangat menarik terutama karena kemampuannya untuk langsung menghasilkan mesh yang kompak dengan tepi tajam yang lebih baik meniru pola triangulasi efisien dari mesh buatan manusia. Perkembangan ini memberi para kreator konten 3D alat baru dan membuka kemungkinan untuk menghasilkan aset 3D berkualitas lebih baik dengan lebih cepat dan lebih efisien.
1 komentar
Komentar Hacker News
Ini adalah riset yang menunjukkan wujud dari ide yang revolusioner, dan makalahnya memuat banyak detail. Sudah diketahui bahwa model transformer dapat diskalakan, dan ide ini kemungkinan akan digunakan oleh banyak perusahaan untuk melatih pipeline pembuatan aset 3D umum.
Sebagai engineer machine learning yang tertarik pada Blender dan pengembangan game hobi, riset ini mengesankan, tetapi belum benar-benar berguna sebagai metode praktis untuk contoh furnitur yang terbatas. Modeler yang terampil bisa membuat mesh seperti ini dalam waktu kurang dari 5 menit, dan tetap saja poligon untuk generasi masih dibutuhkan. Langkah berikutnya kemungkinan adalah kontrol pembuatan seed menggunakan LLM dan menambahkan model gambar ke bagian autoregresif dari arsitektur. Dengan begitu, kita bisa benar-benar melihat aset yang cocok untuk game mobile.
Sebagai orang yang bekerja di bidang produksi 3D/film, situasi saat ini terasa sangat menarik sekaligus menakutkan.
Penasaran apa input-nya. Apakah ini mengubah kueri teks seperti "kursi" menjadi mesh? Edit: tampaknya penyelesaian mesh adalah metode input-output utamanya, bukan sekadar fitur sederhana.
Rasanya masalah-masalah sulit yang tersisa, yang tidak banyak mengalami kemajuan besar sejak era 90-an, entah bagaimana akan diselesaikan melalui transformer. Menarik hidup di zaman seperti ini.
Inovasi berikutnya akan menjadi UX untuk menghasilkan adegan 3D seperti model-model ini di depan VR. Ini akan memungkinkan kita untuk menghasilkan lingkungan 3D yang permanen dan arbitrer untuk lingkungan apa pun yang memiliki data pelatihan. Model difusi dapat digunakan untuk pembuatan tekstur.
Bahkan jika ini "hanya" pelengkapan otomatis mesh, ini sangat berguna bagi artis 3D. Saat ini ada kesenjangan antara cara memahat karakter dan cara menganimasikannya. Retopologi model memakan banyak waktu. Retopologi berbasis transformer yang mengambil mesh kasar lalu memberikan topologi yang bersih akan sangat menghemat waktu.
Suka sekali dengan bidang ini. Makalahnya dilengkapi situs web, contoh, dan video yang keren. Jauh lebih menyegarkan dibanding gaya makalah dengan abstrak, pendahuluan, dan hasil yang padat.
Teknologi ini berkembang sangat baik! Masih ada tepi-tepi yang aneh, tetapi sekarang rasanya lebih seperti "detail yang berulang" daripada masalah algoritmik atau masalah kompleks. Jika nanti semua mesh bisa dimasukkan ke dalam satu folder, jaringan dilatih, lalu kita bisa meminta sesuatu yang lain dalam gaya itu, maka tidak perlu lagi me-retopologi hasilnya atau memberi pengaruh kreatif lain. Tentu saja, sampai benar-benar mencapai titik itu, procgen masih akan memberi layanan yang lebih baik, tetapi saya sangat antusias melihat seberapa cepat teknologi ini berkembang! Semoga di showcase Unreal tahun depan kita bisa membicarakan fitur baru "Asset Generator".
Teknologi ini benar-benar terlihat keren! Tampaknya akan sangat membantu developer game indie dalam menghasilkan banyak aset.