Membuat Model Karakter 3D dengan Stable Diffusion (Tales of Syn)

Tales of Syn sedang menerapkan AI generatif secara luas dalam proses pengembangan game, mulai dari percakapan dengan NPC, gambar latar level (map), hingga pembuatan karakter. Tulisan ini memperkenalkan proses (workflow) membuat model karakter 3D dengan Stable Diffusion.

[Proses kerja]

1. Sketsa yang dibuat di iPad dengan Artstudio Pro dikonversi menggunakan Automatic1111 WebUI.

2. Saat melakukan generasi, dibuat beberapa sekaligus (sekitar 9 gambar dalam satu kali generasi, lalu diulang), kemudian hasil-hasilnya ditumpuk sebagai layer di Photoshop, lalu hanya bagian yang disukai dipilih dan digabungkan.

3. Sketsa awal dari langkah 1 dijadikan model di ZBrush menggunakan DynaMesh.

4. Gambar karakter final dari langkah 2 diimpor ke Spotlight, lalu dengan menggunakan brush tool yang diatur ke RGB dan Zadd off, informasi gambar dipolypaint di atas mesh yang menyimpan vertex color.

5. UV dibuat dengan UVMaster, lalu Normal Map dibuat di Substance Painter dan diekspor untuk Unity URP.

[Perbaikan ke depan]

• Membuat base mesh tersegmentasi yang bisa digunakan ulang untuk karakter-karakter lain yang serupa

• Menjalankan pass proyeksi tekstur kedua di Substance Designer untuk tekstur dengan kualitas lebih tinggi

• Membuat animasi kustom yang sesuai untuk karakter tersebut

• Menjelajahi proses AI lain untuk mengotomatisasi atau meningkatkan alur kerja