- Hunyuan3D 2.0 adalah sistem sintesis 3D berskala besar untuk pembuatan aset 3D bertekstur resolusi tinggi
- Dua komponen utama:
- Hunyuan3D-DiT: model pembuatan bentuk berskala besar yang dibangun berdasarkan fusion transformer difusi berbasis aliran yang dapat diskalakan, memberikan fondasi yang stabil dengan menghasilkan geometri yang selaras dengan gambar kondisi tertentu
- Hunyuan3D-Paint: memanfaatkan pengetahuan awal geometri dan difusi yang kuat untuk menghasilkan peta tekstur resolusi tinggi dan hidup pada mesh yang dihasilkan maupun mesh buatan tangan
- Hunyuan3D-Studio adalah platform yang mempermudah proses regenerasi aset 3D, sehingga baik profesional maupun amatir dapat memanipulasi atau menganimasikan mesh secara efisien
- Hunyuan3D 2.0 menunjukkan performa yang lebih unggul dibanding model open source dan model tertutup yang sudah ada: detail geometri, keselarasan kondisi, kualitas tekstur, dan lainnya
Hunyuan3D 2.0
Arsitektur
- Pipeline generasi dua tahap: pembuatan mesh diikuti sintesis peta tekstur
- Memisahkan kesulitan pembuatan bentuk dan tekstur, serta menyediakan texturing secara fleksibel untuk mesh yang dihasilkan maupun mesh buatan tangan
Performa
- Hunyuan3D 2.0 menunjukkan performa unggul dibanding metode pembuatan 3D open source dan tertutup lainnya
- Melampaui semua tolok ukur pada CMMD, FID_CLIP, FID, dan CLIP-score
Model pralatih
- Hunyuan3D-DiT-v2-0: 2025-01-21, 2.6B parameter
- Hunyuan3D-Paint-v2-0: 2025-01-21, 1.3B parameter
- Hunyuan3D-Delight-v2-0: 2025-01-21, 1.3B parameter
Cara penggunaan API
- Desain API mirip
diffusers untuk menggunakan model Hunyuan3D-DiT dan Hunyuan3D-Paint
- Pembuatan mesh dimungkinkan melalui Hunyuan3D-DiT
- Sintesis tekstur dimungkinkan melalui Hunyuan3D-Paint
Aplikasi Gradio
- Dapat di-host di komputer pribadi melalui aplikasi Gradio
📑 Rencana open source
- Mencakup kode inferensi, checkpoint model, laporan teknis, ComfyUI, dan versi TensorRT
1 komentar
Komentar Hacker News
Dalam pertanyaan terkait model mesh 3D, ada diskusi tentang apakah ada model yang cocok untuk fotogrametri. Foto berkualitas tinggi, pencahayaan yang konsisten, dan latar belakang polos telah digunakan, tetapi aplikasi umum menghasilkan mesh dengan poligon rendah atau banyak lubang.
Ada pendapat bahwa AI generatif akan menurunkan biaya marginal pembuatan konten interaktif 3D menjadi nol. Ini berpotensi menghidupkan metaverse.
Lisensi Tencent Hunyuan 3D 2.0 tidak berlaku di Uni Eropa, Inggris, dan Korea.
Ada pendapat bahwa meskipun terdapat diagram yang menunjukkan mesh dihasilkan dengan algoritma marching cubes, sebenarnya tampaknya dibuat dengan cara lain.
Ada pertanyaan apakah model AI ini bisa dijalankan di rumah. Misalnya, ada diskusi apakah ini bisa berjalan di kartu grafis 4090.
Ada pendapat bahwa apa pun yang mengandung kata "canggih" itu bagus.
Sistem konten buatan pengguna dapat mengalami masalah yang disebut "masalah penis".
Ada pendapat bahwa model generatif sebaiknya dipercaya tetapi tetap perlu diverifikasi. Penting untuk mencobanya sendiri.
Ada yang mencoba model yang ditautkan di halaman Huggingface, tetapi tidak bisa mengujinya karena error overuse. Hasilnya terlihat cukup bagus.
Diperlukan prompt yang panjang, dan ini bisa menimbulkan kecurigaan. Ada yang mencoba dengan prompt sederhana untuk melihat seberapa sulit penggunaan sebenarnya.
Hasil prompt "gitar" muncul sebagai gitar yang agak tebal, dan prompt "daun monstera" muncul dengan bentuk yang agak aneh.
Hasil prompt karakter "Super Mario" terasa meragukan. Luigi seharusnya tampil berbeda dari Mario, tetapi ternyata tidak.
Hasil prompt "peach" mengundang tawa. Yang muncul adalah buah persik dengan wajah lucu.
Hasil prompt "Toad" terlihat seperti Squirtle yang sudah berubah bentuk.
Makalahnya bisa dilihat di arXiv. Model generatif dilatih berdasarkan banyak data, dan mungkin memerlukan antarmuka seperti database.
Bisa dibayangkan adanya model yang disesuaikan untuk objek fungsional pencetakan 3D.