Trellis – Model pembuatan mesh 3D
(trellis3d.github.io)Pengenalan metode pembuatan 3D baru
-
Representasi Structured LATent (SLAT): Memperkenalkan representasi laten terstruktur terpadu yang dapat didekode ke berbagai format output. Ini menggabungkan fitur visual multi-view padat yang diekstrak dari model berbasis visi yang kuat dengan grid 3D yang terisi jarang untuk menangkap informasi struktural (geometris) dan tekstural (penampilan) secara menyeluruh.
-
Rectified Flow Transformers: Model pembuatan 3D yang dirancang untuk SLAT, dengan model dilatih hingga 2 miliar parameter pada dataset aset 3D skala besar yang terdiri dari 500 ribu objek beragam. Menghasilkan keluaran berkualitas tinggi dengan kondisi teks atau gambar, serta jauh melampaui metode sebelumnya.
Pembuatan dan pengeditan aset 3D
-
Pembuatan aset 3D berbasis teks dan gambar: TRELLIS dapat membuat berbagai aset 3D menggunakan prompt teks atau gambar. Contohnya meliputi telepon putar tembaga, rumah bata dua lantai, dan robot berbentuk bola.
-
Variasi aset dan pengeditan lokal: Dapat membuat variasi dari aset 3D yang diberikan sesuai prompt teks, serta memanipulasi area tertentu untuk membuat desain baru. Misalnya, memungkinkan pekerjaan seperti menghapus lengan robot tempur atau menambahkan senjata.
Aplikasi dan metodologi TRELLIS
-
Desain seni 3D: Dengan menggabungkan aset 3D berkualitas tinggi yang dibuat TRELLIS, desain seni 3D yang kompleks dan hidup dapat dibuat dengan mudah.
-
Representasi laten terstruktur: SLAT menggabungkan struktur jarang dan representasi visual yang kuat dengan mendefinisikan laten lokal pada voxel aktif yang beririsan dengan permukaan objek. Fitur-fitur ini diturunkan dari vision encoder pra-latih yang kuat untuk menangkap karakteristik geometris dan visual yang detail.
-
Model TRELLIS: Melatih model pembuatan 3D skala besar yang menggunakan prompt teks atau gambar sebagai kondisi. Menerapkan pipeline dua tahap untuk terlebih dahulu menghasilkan struktur jarang SLAT lalu menghasilkan vektor laten untuk sel yang tidak kosong. Ini memungkinkan pembuatan aset 3D dengan mudah dalam berbagai format output.
1 komentar
Opini Hacker News
Untuk pertama kalinya merasa tidak nyaman melihat konten yang dihasilkan AI. Konten seperti ini memang sangat hebat, tetapi terasa menyedihkan karena karya yang dibuat tangan manusia seolah menghilang. Saya lebih menginginkan dunia yang lahir dari pemikiran manusia daripada game yang dibuat secara prosedural.
Rasanya ini yang dipikirkan semua orang sejak demo NeRF. Saya menemukan komentar saya dari 5 tahun lalu. Langkah berikutnya adalah menambahkan "node" ke gambar 3D untuk membuat konten yang bisa dianimasikan dan diajak berinteraksi.
Memang belum sempurna, tetapi ini adalah generator model 3D terbaik yang pernah saya coba sejauh ini. Saya ingin format file yang bisa langsung dimasukkan ke Orca Slicer.
Saya mencoba gambar pesawat pengebom siluman F-117 dari Wikipedia, tetapi hasilnya gagal total. Perlu ada fitur untuk mengunggah gambar dari berbagai sudut.
Saya penasaran apakah ada demo untuk fitur "Text to 3D Asset".
Saya melihat ini dikirim beberapa hari lalu, dan ini demo yang sangat mengesankan. Saya berharap ini dibahas di sini.
Saya bisa melihat potensinya, tetapi gambar yang saya berikan tampaknya di luar cakupan pelatihannya sehingga yang dihasilkan hanya bidang-bidang aneh.
Saya membuat airship low-poly menggunakan layer diffusion. Hasilnya sudah mencapai tingkat yang bisa dipakai sebagai aset game.
Saya mengunggah foto kabel dan colokan, lalu menghasilkan mesh colokan dengan tiap kabel terpisah dan lubang yang benar.
Pemodelan kepingan salju Nix sangat buruk. Sepertinya model ini lebih banyak dilatih pada struktur dan tekstur alami serta biologis.