TRELLIS - Model pembuat mesh 3D

 (trellis3d.github.io)
1 poin oleh GN⁺ 2024-12-10 | 1 komentar | Bagikan ke WhatsApp
  • TRELLIS adalah model generatif yang membuat aset 3D dengan teks atau gambar sebagai kondisi, menggabungkan representasi laten terpadu SLAT dan Rectified Flow Transformers untuk meningkatkan kualitas dan fleksibilitas output
  • SLAT merepresentasikan struktur geometri dan tekstur dengan memuat grid 3D jarang dan fitur visual multi-view sekaligus, serta dapat didekode menjadi Radiance Fields, 3D Gaussians, dan meshes
  • Model hingga 2 miliar parameter dilatih dengan dataset 500 ribu aset 3D, dan diklaim menghasilkan kualitas lebih tinggi dibanding pendekatan sebelumnya termasuk metode mutakhir dengan skala serupa
  • Selain generasi teks-ke-3D dan gambar-ke-3D, model ini mendukung generasi variasi dari aset 3D yang sudah ada dan pengeditan area lokal, dengan contoh manipulasi seperti menghapus lengan, menambahkan senjata, dan mengganti kaki
  • Materi yang dipublikasikan dibatasi untuk tujuan akademik dan riset, dan masih ada potensi bias dari dataset berbasis internet serta keterbatasan dalam menghasilkan objek dunia nyata yang realistis

Tujuan dan cakupan TRELLIS

  • TRELLIS adalah model generatif 3D native yang ditujukan untuk generasi 3D yang skalabel dan serbaguna
  • Halaman proyek adalah satu-satunya situs resmi TRELLIS, dan karya ini ditandai sebagai CVPR 2025 Highlight
  • Tujuan utamanya adalah membuat aset 3D berkualitas tinggi dari kondisi teks atau gambar, serta menyediakan beragam format output dan fitur pengeditan
  • Kode, model, dan data akan dibuka

Representasi Structured LATent (SLAT)

  • SLAT adalah representasi laten 3D terpadu untuk generasi 3D berkualitas tinggi dan multiguna
  • Vektor laten lokal didefinisikan pada voxel aktif yang berpotongan dengan permukaan objek
  • Vektor laten lokal ini dienkode dengan merender aset 3D secara rapat dari berbagai sudut pandang, lalu menggabungkan dan memproses fitur gambar
  • Fitur ini berasal dari vision encoder yang telah dipralatih, dan melengkapi struktur kasar yang disediakan voxel aktif untuk menangkap detail geometri dan karakteristik visual
  • Dengan menerapkan decoder yang berbeda, SLAT dapat diubah ke beberapa representasi 3D
    • Radiance Fields
    • 3D Gaussians
    • meshes

Arsitektur model generatif dan pelatihan

  • TRELLIS adalah keluarga model generatif 3D besar yang dibangun di atas SLAT, menggunakan prompt teks atau gambar sebagai kondisi
  • Pipeline generatif dibagi menjadi 2 tahap
    • Pertama, membangkitkan struktur jarang dari SLAT
    • Lalu, membangkitkan vektor laten untuk sel yang tidak kosong
  • Model backbone-nya adalah Rectified Flow Transformers, yang disesuaikan untuk menangani sifat jarang dari SLAT
  • Skala pelatihan mencapai 2 miliar parameter, menggunakan dataset besar yang terdiri dari 500 ribu objek 3D yang beragam
  • Hasilnya adalah aset 3D dengan detail geometri dan tekstur yang hidup, dan diklaim jauh melampaui metode sebelumnya

Contoh generasi, pengeditan, dan format output

  • Contoh teks-ke-3D menggunakan prompt teks yang dibuat oleh GPT-4
    • Telepon putar tembaga vintage
    • Rumah bata dua lantai dengan atap merah dan pagar
    • Bola bercahaya di atas alas batu
    • Robot bulat dengan desain emas dan perak
  • Contoh gambar-ke-3D menggunakan prompt gambar yang dibuat oleh DALL-E 3
  • Tampilan dan geometri pada halaman masing-masing dirender dari 3D Gaussians dan meshes
  • File GLB diekstrak dengan memanggang tampilan dari 3D Gaussians ke mesh
  • Untuk aset 3D yang diberikan, sistem dapat menghasilkan variasi yang konsisten dengan prompt teks
    • Tekstur metalik dengan finishing cat oranye dan putih
    • Tekstur seperti kain rajut hijau dan ungu
    • Tekstur metalik bergaya senjata abad pertengahan dengan tali kulit dan aksen biru
    • Struktur high-tech transparan mirip kaca
  • Manipulasi lokal mengedit area tertentu sesuai prompt teks atau gambar
    • Menghapus lengan dari mecha tempur humanoid
    • Menambahkan senjata beam raksasa
    • Mengganti kaki dengan sasis beroda rantai
  • Aset 3D yang dihasilkan dapat dikomposisikan untuk membuat desain seni 3D yang kompleks dan hidup

Tujuan riset dan keterbatasan

  • TRELLIS adalah proyek riset murni
  • Dataset yang digunakan adalah dataset publik, dan telah ditinjau agar tidak mengandung informasi identitas pribadi atau konten berbahaya
  • Karena dataset dikumpulkan dari internet, potensi bias tetap bisa ada
  • Model saat ini kuat dalam menghasilkan aset 3D bergaya artistik
  • Kemampuannya untuk menghasilkan objek dunia nyata yang realistis masih terbatas
  • Materi pada halaman ini hanya disediakan untuk tujuan akademik dan riset dalam eksplorasi teknologi generasi teks-ke-3D dan gambar-ke-3D
  • Pemanfaatan atau penggunaan komersial tidak dimaksudkan
  • Makalah terkait adalah preprint arXiv Structured 3D Latents for Scalable and Versatile 3D Generation

Bacaan terkait

1 komentar

 
GN⁺ 2024-12-10
Opini Hacker News

  • Wow, ini benar-benar luar biasa, tapi rasanya ini pertama kalinya saya merasa mual saat melihat konten yang dihasilkan AI
    Karena hasilnya terlalu bagus, terasa menyedihkan seperti aset produksi massal berkualitas super tinggi yang tak punya jiwa
    Saya bukan bermaksud meremehkan pencapaian ini; justru rasanya seperti menandai akhir dari aset yang dibuat dengan tangan
    Bukan karena saya kasihan pada para seniman, melainkan karena saya sendiri merasa sedih karena menginginkan atribut bahwa sesuatu itu dibuat oleh tangan manusia
    Alasan saya kurang suka game dengan generasi prosedural juga sama. Saya ingin berjalan di dunia yang keluar dari benak seseorang; kalau saya menginginkan dunia hasil generasi prosedural yang ada tanpa alasan khusus, saya tinggal keluar dan berjalan-jalan saja
    Saya menginginkan karya seni yang dibuat dengan tujuan oleh orang-orang sezaman, yang memuat visi, ide, nilai, wawasan, dan kepribadian mereka; bukan tumpukan konten atau barang untuk diubek-ubek. Tidak harus terlihat sebagus ini, cukup dibuat dengan tujuan

    • Bisa juga dipikirkan seperti ini. Sekarang game AAA tidak lagi bisa membedakan diri hanya dengan “grafisnya luar biasa”
      Jujur saja, kebanyakan rilis baru belakangan ini pada dasarnya gameplay yang sama dengan grafis yang diperbarui
      Tapi kalau sebentar lagi saya pun bisa membuat hal seperti itu, saya penasaran apa yang akan disiapkan studio-studio besar agar kita mau kembali ke mereka
    • Kalimat “kalau menginginkan dunia hasil generasi prosedural yang ada tanpa alasan khusus, pergilah keluar” mengingatkan saya pada saat mulai berolahraga di luar ruangan beberapa tahun lalu
      Sebelumnya saya hampir tidak pernah keluar dan hanya berada di kamar yang relatif gelap, lalu suatu hari saya melihat langit dan berpikir, “Wow, awan-awan ini mirip awan di game seperti Horizon atau Assassin's Creed”
      Melihat asetnya juga terasa agak sedih. Saat melihat “rumah bata dua lantai dengan atap merah dan pagar”, saya teringat contoh animasi/keyframe dari three.js
      Contoh three.js itu dibuat secara manual oleh manusia dan ada niat nyata di balik setiap pilihannya, tetapi Trellis terasa seperti campuran karya yang ditemukan dari internet dan game, sekadar “poof, ini dia”
      Dengan AI, sebagian nilai mungkin akan hilang; karena itu konten buatan tangan justru bisa menjadi lebih bernilai. Namun apakah kita akan cukup mengakui nilai itu sampai para seniman bisa bertahan secara berkelanjutan masih menjadi pertanyaan
      https://threejs.org/examples/#webgl_animation_keyframes
    • Banyak pengembang game membenci desain level, dan alasan mereka tidak memakai generasi prosedural juga karena itu sulit, sehingga mereka terpaksa membangun dunia secara manual
      Saya juga termasuk yang seperti itu, jadi rasanya cukup lucu kalau seseorang memainkan game saya lalu mengira level-levelnya “memancar” dari kepala saya. Seolah-olah saya seniman yang mendalam
      Saya punya banyak kebanggaan pada bagian lain dari pengembangan game, tetapi desain level saya bukan salah satunya
    • Saya rasa teknologi ini tidak akan secara fundamental mengubah ranah persaingan manusia
      Ketika mulai digunakan luas, akan ada banjir produk massal berkualitas rendah, tetapi seniman sejati yang ingin membuat sesuatu dengan tujuan akan belajar menggunakan teknologi ini sebagai batu loncatan menuju sesuatu yang lebih besar
      Melihat orang seperti Martin Nebelong, mereka sedang belajar cara memanfaatkan AI sambil tetap menjaga manusia di dalam loop
      https://x.com/martinnebelong?s=21&t=cTpE-rRbCiocUlN0VaSheQ
    • Bagi orang yang tidak bisa membuat aset 3D, ini benar-benar alat prototyping yang bagus
      Mirip dengan visual scripting seperti Unreal Blueprints yang membuka pengembangan game dan modding bagi orang yang tidak terbiasa dengan pemrograman
      Jadi kalau bisa mendapatkan model untuk dimasukkan ke prototipe tanpa harus belajar Blender, Maya, dan sebagainya, itu sudah cukup bagus. Walau agak tidak konsisten dan terlihat aneh, setidaknya ada kontennya

  • Wah, hasilnya luar biasa. Saya bukan ahli, tapi rasanya inilah yang dipikirkan semua orang sejak demo NeRF pertama muncul
    Saat mencari-cari, saya juga menemukan komentar yang saya tulis 5 tahun lalu dengan harapan seperti ini: https://news.ycombinator.com/item?id=22642628
    Langkah berikutnya adalah secara otomatis menempelkan “node” yang memungkinkan model berpivot atau berotasi pada gambar 3D. Dengan begitu, konten animasi dan interaktif sesuai permintaan akan langsung muncul
    Kita bisa memasukkan foto masa kecil untuk menciptakan kembali kenangan, lalu menambahkan sampel suara orang terkasih agar ia bisa berbicara kepada kita. Untuk menambah imersi, tinggal pakai headphone peredam bising dan masuk ke VR
    Segera hadir! Klik di sini untuk bergabung ke daftar tunggu “Surrender Reality”

    • Langkah berikutnya adalah membuat model dengan topologi mesh berkualitas lebih tinggi yang tidak rusak saat dianimasikan dan diedit
      Saya sudah banyak melakukan retopology, dan kalau model-model ini langsung di-rig apa adanya, masalah shading dan deformasi akan muncul dalam berbagai cara. Bahkan tanpa animasi pun, dari dekat triangulasinya cukup terlihat
      Meski begitu, rasanya pembuatan aset 3D berkualitas tinggi sudah sangat dekat. Tinggal menggabungkan pendekatan yang terlihat di sini dengan remeshing segi empat berbasis AI yang memakai estimated direction field dan deteksi fitur; bidang itu juga berkembang sangat menakutkan
    • Secara intuitif, kombinasi 3D engine dan teknologi ini tampaknya akan menjadi solusi yang lebih baik daripada pendekatan saat ini yang merender video raster langsung dari latent space. Kebetulan, Sora juga dirilis hari ini
      Mungkin tidak realistis untuk me-rig dan menganimasikan mesh, serta melatih jaringan agar menetapkan seluruh adegan video arbitrer sebagai “digital twin”
      Namun jika konfigurasi seperti itu memungkinkan, sepertinya kita bisa mengontrol video generatif jauh lebih rinci sambil membiarkan sisanya tetap sama
    • Saya tidak begitu yakin apa yang dimaksud dengan “node” di sini. Rotasi atau zoom arbitrer secara teori hanya terdengar bagus kalau yang diinginkan adalah lazy susan atau kepala Exorcist yang berputar-putar
      Langkah berikutnya mungkin lebih dekat ke topologi simetris yang lebih normal, UV map yang lebih baik, dan auto-rigging (FK/IK) untuk animasi yang mudah
    • Saya penasaran apa dampaknya bagi 3D artist di studio pengembangan game
      Apakah studio akan memakai alat seperti ini sambil mempertahankan para artist dan membuat lebih banyak konten dengan lebih cepat dan mudah, atau hanya mempertahankan sebagian, memangkas 80% sisanya, lalu menggantikannya dengan alat ini
    • Ini berguna bukan hanya untuk konten animasi dan interaktif sesuai permintaan, tetapi juga untuk rendering gambar diam
      Sampai sekarang, gambar 2D yang dihasilkan AI sering salah pencahayaan dan penuh kesalahan. Begitu menjadi adegan 3D dan dirender dengan alat gratis seperti Blender, pencahayaan menjadi akurat dan bisa dikonfigurasi, sementara detail yang salah juga mudah diperbaiki
      Sudah ada alat-alat yang luar biasa kuat, dan dari titik ini rasanya akan menjadi jauh lebih kuat dengan jauh lebih cepat

  • Belum sempurna, tetapi jauh lebih baik daripada kebanyakan generator model 3D yang pernah saya coba
    Sebelumnya hasilnya luar biasa buruk sampai sulit dipercaya, tapi kali ini setidaknya di atas rata-rata
    Sekarang tinggal beri format file yang bisa langsung dimasukkan ke Orca Slicer

  • Mengesankan. Dengan layer diffusion, saya membuat kapal udara low-poly seperti ini: https://image.non.io/b3f843be-b1b4-468a-a0ec-9d58b191beee.we...
    Hasilnya seperti ini: https://video.non.io/video-2732101706.mp4
    Sejujurnya sama sekali tidak buruk, dan sudah makin mendekati titik bisa dipakai sebagai aset game

  • Saya mencoba memasukkan gambar pesawat siluman F-117 dari Wikipedia, tetapi output-nya gagal total
    Saya sampai tidak mengerti bagaimana contoh-contoh di halaman proyek dibuat, dan dari siluet dasarnya saja sudah benar-benar salah
    Saya berharap bisa mengunggah gambar dari beberapa sudut untuk memperbaikinya, tetapi sepertinya tidak ada fitur seperti itu

    • F-117 memang bentuknya unik. Kalau tidak tahu bentuk aslinya, mengekstrapolasi dari satu tampilan pada sudut tertentu saja cukup sulit bahkan bagi manusia
      Kalau tidak ada di dataset, hasil seperti itu masih bisa dimaklumi. Terutama karena bentuknya yang bersudut, tampaknya mudah juga salah dikira bukan pesawat
      Saya tidak bermaksud membahas kualitas model secara keseluruhan; F-117 hampir pasti merupakan pengujian yang tidak adil

  • Saya melihat ini juga diposting beberapa hari lalu, tetapi demonya sangat mengesankan sehingga saya ingin ini didiskusikan di sini
    https://news.ycombinator.com/item?id=42342557

  • Potensinya terlihat, tetapi gambar-gambar yang saya masukkan mungkin jauh di luar distribusi pelatihan, sehingga yang dihasilkan hanya lempengan datar yang aneh

    • Saya bisa membuatnya bekerja dengan baik untuk gambar bergaya game isometrik, yang melihat karakter atau objek dari atas
      Kalau memakai gambar menghadap depan, semuanya menghasilkan output datar
    • Satu lagi alat yang terasa seperti keajaiban. Sampai kita mengujinya sendiri

  • Sangat bergantung pada gambarnya, tetapi kemampuan mereproduksi bulu hewan dengan kombinasi tepat antara polygon mesh dan tekstur transparan benar-benar mengejutkan
    Contoh di halaman itu pun tidak menunjukkan kemampuan seperti ini
    https://imgur.com/a/qJp4HNX

  • AlphaFold adalah model yang menghasilkan 3D dari sekuens protein 1D, dan representasi data internalnya rumit dan canggih
    Sebaliknya, menarik bahwa makalah ini pada dasarnya mem-voxelize data input dan membuat set pelatihan dengan mengambil banyak foto dari berbagai sudut

  • Saya bisa memakai ini untuk beralih dari gambar buatan AI hingga 3D print. Langkah-langkahnya saya rangkum di sini: https://x.com/ryanlanciaux/status/1866163343788007619

    • Benar-benar terasa futuristik. Kita bisa membuat gambar dengan kata-kata, lalu mengubahnya menjadi benda fisik di rumah, tetapi teks biasa dan gambar yang menjelaskan proses itu tidak bisa dibaca karena situs yang rusak