Tales of Syn( https://www.youtube.com/watch?v=ejw6OI4_lJw ) menjelaskan secara rinci proses pembuatan latar untuk RPG 2D isometrik (sering disebut quarter view) menggunakan Stable Diffusion.
Alat yang digunakan:
- Stable Diffusion v1.5
- Automatic1111 WebUI
- Alpaca Photoshop Plugin
- Boosting Monocular Depth
- Substance Designer
- Unity URP
- Amplify Shader Editor
Pada awalnya, step count dibuat rendah sehingga hasilnya kurang bagus, tetapi setelah step count dinaikkan ke kisaran 100 dan CFG (classifier free guidance) 15~30 diterapkan, hasil yang didapat menjadi lebih menarik.
Gambar yang dihasilkan kemudian diedit di Photoshop, dan resolusinya ditingkatkan menggunakan plugin Stable Diffusion bernama Alpaca.
Untuk menghapus pencahayaan yang ada dan menambahkan pencahayaan yang diinginkan, dibutuhkan normal map untuk scene 2D. Pembuatan depth map gambar pun diotomatisasi menggunakan MiDaS dan LeRes dari Boosting Monocular Depth.
Depth map MiDaS yang dihasilkan dengan cara ini dan gambar depth map LeRes yang dibalik kemudian diubah menjadi normal map di Substance Designer menggunakan node Height to Normal World Units, lalu keduanya digabungkan dengan node normal blend.
Dengan memakai depth dan normal map dari shader Unity URP kustom yang dibuat di Amplify Shader Editor, mereka mencoba parallax occlusion mapping untuk menambahkan perspektif 3D semu yang halus saat kamera bergerak, tetapi karena depth tidak akurat untuk tampilan isometrik, hasilnya tidak terlihat terlalu baik.
Mereka juga mencoba menambahkan bayangan dari directional light dengan mengimplementasikan normal mapping shadow, tetapi itu tidak cocok untuk pencahayaan yang sesungguhnya. Namun, ada kemungkinan ini bisa dipakai sebagai custom lighting pass untuk menangani shading karakter 3D.
Gambar 2K dibagi menjadi empat bagian, lalu masing-masing ditingkatkan resolusinya di img2img dengan prompt yang sama seperti sebelumnya, tetapi muncul masalah karena batas antarbagian tidak tersambung. Pada akhirnya, melalui proses yang sama, mereka membuat gambar tambahan untuk menyambungkan gambar-gambar hasil upscale yang telah dibagi empat tadi, lalu menggabungkannya di Photoshop hingga menjadi gambar 4K final.
GeekNews terkait:
https://id.news.hada.io/topic?id=7206
1 komentar
Pengembang juga membagikan proses pengembangan lainnya:
Membuat model karakter 3D dengan Stable Diffusion:
https://talesofsyn.com/posts/creating-3d-character-models
Menyetel halus model DreamBooth bergaya isometrik:
https://talesofsyn.com/posts/fine-tuning-isometric-style