LL3M: Pemodel 3D berbasis model bahasa besar

• LL3M menggunakan beberapa model bahasa besar untuk menulis kode Python secara otomatis guna membuat dan mengedit aset 3D di Blender
• Mengikuti instruksi teks dari pengguna, sistem ini dapat langsung membuat bentuk yang kreatif dan presisi serta mengimplementasikan manipulasi geometri yang kompleks melalui kode
• Berbeda dari alat pembuat model 3D yang sudah ada, LL3M menawarkan pembuatan aset tanpa batasan dan interaksi yang detail
• Kode Blender yang dihasilkan jelas dan memiliki transparansi parameter yang tinggi, sehingga mudah dimodifikasi atau ditingkatkan secara iteratif oleh pengguna maupun agen
• Menunjukkan kemungkinan pemrosesan aset 3D yang luas seperti stylization yang konsisten, pengeditan material, dan penerapan struktur hierarki

---

Gambaran umum LL3M

• LL3M adalah framework inovatif di mana beberapa agen model bahasa besar (LLM) menulis kode Python untuk membuat dan mengedit aset 3D di Blender
• Saat pengguna memberi instruksi lewat teks, LL3M mengotomatiskan pembuatan bentuk kreatif dan manipulasi geometri presisi, serta menjadikan kode tingkat tinggi sebagai bentuk representasi 3D untuk memungkinkan penyempurnaan berulang dan kolaborasi
• Kodenya dijelaskan dengan jelas sehingga berbagai parameter dan struktur terlihat transparan, membuat pengeditan lanjutan dan umpan balik berkelanjutan dari pengguna menjadi mudah

Gambaran umum pipeline

• Pipeline terdiri dari tiga tahap utama (pembuatan awal, penyempurnaan otomatis, dan penyempurnaan berbasis umpan balik pengguna)
  • Pada tahap pembuatan awal, bentuk dasar dibuat sambil LL3M secara otomatis mendeteksi dan memperbaiki struktur yang tidak logis atau elemen geometri yang terlalu sederhana
  • Tahap kedua melakukan perbaikan otomatis yang lebih halus dan juga mencerminkan bentuk atau relasi yang kompleks
  • Tahap terakhir menerima permintaan pengeditan tambahan dari pengguna untuk mewujudkan pembuatan aset 3D yang interaktif dan iteratif
• Setiap tahap menerapkan pendekatan peningkatan yang berulang dan bertahap berdasarkan pembagian peran antar agen

Galeri dan performa

• Pembuatan beragam bentuk: susunan kompleks dan detail halus seperti kincir angin, piano, dan set drum diimplementasikan melalui kode
• Penerapan gaya yang konsisten: menerapkan instruksi "steampunk" yang sama pada beberapa mesh (topi), menghasilkan variasi sambil tetap mempertahankan gaya bersama
• Dukungan pengeditan material: misalnya, hanya bagian bilah yang dapat didefinisikan dengan shader node terpisah agar materialnya bisa diubah

Kemampuan interpretasi kode

• Kode yang dihasilkan mencakup logika struktural, nama variabel yang jelas, dan komentar, sehingga mudah dipahami dan dimodifikasi
• Contoh: logika pola keyboard atau variabel lebar tuts dapat diubah secara langsung
• Karena node dan parameter Blender ditampilkan apa adanya, properti visual seperti warna dan pola dapat disesuaikan secara intuitif

Reusabilitas dan generalitas kode

• Meski bentuknya berbeda-beda, pola kode tingkat tinggi seperti loop, modifier, dan pengaturan node dapat digunakan ulang
• Hal ini memungkinkan pembuatan kode yang modular dan dapat dimodifikasi untuk berbagai prompt

Adegan dan struktur hierarki

• Membuat beberapa objek dan menata relasi spasial secara otomatis melalui instancing dan parenting
• Contoh: saat membuat objek kompleks seperti lampu, sistem mencerminkan struktur relasi induk-anak agar transformasi dapat diteruskan secara hierarkis
• Setiap bagian diberi nama semantik yang bermakna sehingga dapat dikelola secara efisien di scene graph Blender

[GN⁺]

Komentar Hacker News

• Saya pernah mendapat hasil yang tak terduga bagus saat memakai meshy.ai untuk mengubah gambar yang diinginkan teman menjadi model 3D yang layak. Alur kerja saya adalah 1) mengubah gambar asli menjadi tampilan mesh yang dirender halus dengan model gambar seperti GPT-5 atau Midjourney, yaitu menghapus detail yang tidak perlu serta efek transparan atau stereoskopik. 2) Memasukkan gambar yang sudah dibersihkan itu ke mode image to 3D milik meshy.ai, lalu kalau hasilnya tidak memuaskan saya kembali ke langkah 1 untuk mengganti gaya gambar dan memilih lagi. 3) Terakhir saya memindahkannya ke Blender untuk mengedit mesh sesuai kebutuhan saya sendiri, seperti menyesuaikan bagian tertentu atau menambahkan asimetri, lalu melakukan pemodelan tambahan. Struktur mesh-nya cukup stabil dan rasanya mungkin memakai pendekatan seperti marching cubes atau dual contouring di atas generator keluarga NeRF. Saya sangat cepat dalam CAD mekanik tapi kemampuan Blender saya biasa saja, jadi kalau AI membuat kerangka besar modelnya lalu saya tinggal merevisi dan menyempurnakannya dengan tangan, itu sangat efisien. Misalnya jika teman meminta modifikasi patung orang sungguhan, pekerjaan yang dulu menyita banyak waktu sekarang dengan kombinasi AI + Blender bisa jadi modelnya dalam 5 menit lalu cukup dirapikan sekitar 1 jam di Blender, dan peningkatan produktivitasnya benar-benar terasa
  • Pada langkah 1 Anda bilang gambarnya diubah menjadi tampilan mesh matte yang dirender; saya penasaran seperti apa maksud jenis gambar itu. Saya paham soal membuat permukaan transparan menjadi opak, tapi kalau bisa saya ingin meminta contoh gambar keseluruhan atau prompt yang digunakan dalam proses tersebut
  • GPT-5 adalah model teks saja. ChatGPT masih memakai 4o untuk pemrosesan gambar
• Saya sudah memakai Blender lebih dari 7 tahun, memberi lebih dari 1000 jawaban di Blender Stack Exchange, dan punya sekitar 48.000 poin. Menurut saya, alat Blender berbasis AI ini mungkin lumayan untuk belajar Python, khususnya dasar-dasar Blender Python API, tapi untuk penggunaan nyata saya tidak terlalu merasa membutuhkannya. Pekerjaan yang ditunjukkan sebagai contoh itu sangat mudah dilakukan di Blender, dan kalau memakai alat seperti ini hasilnya hanya akan jadi keluaran hambar yang menyesuaikan prompt masukan. Pemodelan dasar adalah hal yang bisa dipelajari dalam sehari lewat tutorial lalu dibuat sendiri, dan model yang dibuat seperti itu punya nilai lebih karena mencerminkan kreativitas saya sendiri. Setelah sekitar seminggu, Anda bisa membuatnya sendiri lebih cepat daripada menulis prompt AI dan kemampuan Anda juga terus berkembang. Tidak banyak yang dipelajari dari AI. meshy.ai lumayan untuk mengubah foto atau render menjadi mesh dan memberi tekstur yang cukup pas, tapi setelah itu rasanya lebih cocok untuk orang yang kurang kuat di sculpt. Sebagai referensi, hasil pengujian meshy.ai saya rangkum di sini
  • Bahkan setelah mengikuti tutorial Blender beberapa hari pun, saya tetap tidak bisa menyamai level contoh yang ditampilkan. Rasanya Anda terlalu memproyeksikan kemampuan Anda sendiri. Sebagai pengguna yang bukan seniman model 3D dan hanya butuh model 3D, teknologi seperti ini benar-benar berguna
  • Saya juga pengguna Houdini sebagai hobi, dan meski model tunggal yang terparametrisasi bisa dibuat dalam beberapa hari, untuk membuat video pendek atau satu scene penuh dibutuhkan ratusan sampai ribuan model, tekstur, rigging, animasi, bahkan simulasi dalam jumlah besar. Bahkan animasi 2 menit saja hampir mustahil bagi artis solo. Kebanyakan orang membeli paket aset lalu menggabungkannya, tapi akibatnya karya saya jadi terikat pada gaya tersebut. Alat AI seperti ini sangat membantu jika bisa meringankan satu atau dua tahap seperti itu, sehingga memperluas jangkauan pekerjaan yang bisa dilakukan sendirian
  • Sebagai pengembang alat dukungan pelanggan AI sekaligus desainer, saya terus merasa harus menjelaskan ke perusahaan bahwa LLM kurang kuat dalam memimpin percakapan dan kreativitas. Saya ingin fokusnya lebih diarahkan pada pengintegrasian AI ke dalam alat untuk mempercepat pekerjaan berulang daripada sekadar fitur tunggal. Misalnya fungsi seperti otomatisasi constraint AI di Fusion360 benar-benar meningkatkan produktivitas. Untuk Blender pun alat ke arah seperti ini, misalnya auto-connect material, terasa jauh lebih menarik
  • Kalau penggunanya memang tidak ingin belajar Blender selama berminggu-minggu, maka hasil yang cukup berguna hanya dengan investasi beberapa jam jelas yang paling efisien
  • Perlu diingat bahwa hari ini adalah titik terburuk dari alat ini. Ke depannya alat seperti ini akan terus membaik, jadi penerapan LLM di bidang ini baru saja dimulai
• Ini adalah arah yang sudah lama saya tekankan kepada teman-teman. Ke depannya software kreatif yang berpusat pada API akan menang. After Effects menyediakan JS API yang lumayan, dan Da Vinci Resolve bisa diotomatisasi dengan berbagai skrip seperti Python dan Lua. Dukungan rollback transaksi dalam proses scripting juga bagus. Kebutuhan akan MCP yang digeneralisasi untuk lingkungan scripting di sebagian besar aplikasi desktop akan semakin besar. Screen capture yang terhubung dengan input multimodal juga akan dibutuhkan
• Baru-baru ini saya mencoba menulis skrip Lua otomatis bersama Claude untuk membuat karakter yang dihasilkan secara prosedural di Aseprite (editor piksel). Hasilnya bisa direproduksi dengan seed value, dan secara kasar bentuk manusia memang muncul, tapi dari standar kualitas masih jauh. Meski begitu, aksesibilitasnya sangat bagus dan saya sangat menikmati memakainya.
  • https://www.aseprite.org
  • Kalau topik ini menarik bagi Anda, pixellab.ai juga layak dilihat. Mereka membuat plugin Aseprite yang dapat menghasilkan gambar sprite yang cukup bagus hanya dari prompt
  • Saya juga terus mencari AI pixel art yang bagus. Sebagian besar alat yang pernah saya coba hanya lumayan, tidak benar-benar mengesankan. Kalau ada pengalaman bagus, saya ingin minta tautan rekomendasi
• Sebelum meremehkan kualitas model 3D ini, coba ingat dulu Dancing Baby zaman dulu dan animasi Pixar awal. Kemajuannya sangat luar biasa. Saya menantikan masa ketika cukup memberi prompt ke LLM lalu keluar model 3D yang hampir selesai, dan saya tinggal mengurus tekstur, baking, atau export saja
  • Saya juga menantikan masa ketika data eksperimen yang dikumpulkan umat manusia selama triliunan jam dirangkum menjadi model statistik, lalu dimonetisasi perusahaan tanpa membayar satu sen pun kepada orang-orang yang benar-benar memungkinkan hal itu terjadi
  • LLM adalah model bahasa, dan data mesh bukan bahasa. Secara teori mungkin saja membuat mesh sederhana dengan Python, tapi karya seni 3D yang benar-benar indah tidak akan dibuat dengan cara seperti ini. Sama seperti seni vektor yang tidak dibuat dengan menulis kode SVG secara langsung, produksi seni visual sulit dilakukan oleh LLM saja. LLM bisa dipakai sebagai antarmuka untuk model lain, tetapi tidak bisa menciptakan semuanya sendirian
• Saya merasa terdorong oleh betapa banyak kecerdasan spasial LLM meningkat belakangan ini. Setahun lalu saja, ketika diminta menulis cerita yang melibatkan konsep posisi seperti atas-bawah, kiri-kanan, atau depan-belakang, model itu benar-benar bingung dan tidak bisa membedakannya dengan benar. Ketika saya bertanya ke GPT software CAD mana yang paling enak untuk scripting, jawabannya Freecad. Blender lebih tepat digolongkan sebagai modeller daripada CAD karena hal-hal seperti pengukuran presisi kurang memadai. API Freecad strukturnya kurang rapi, sehingga GPT sulit mengingat atau menemukan fungsi yang relevan. Blender punya jauh lebih banyak pengguna dan lebih banyak kode yang dibagikan, jadi kerjanya jauh lebih baik
  • Saya penasaran bagaimana dengan OpenSCAD
  • Saya juga penasaran apakah mungkin menulis skrip untuk mengotomatisasi pekerjaan pengukuran di CAD
• Saya sudah beberapa kali mencoba Blender lalu menyerah. Sekarang saya hanya memakai Blender saat membuat judul animasi di Openshot. Cara yang bisa mempermudah penggunaan alat canggih seperti ini selalu saya sambut
• Saya memperkirakan model besar berbasis token akan muncul untuk segala hal. Alasannya, semua data di dunia pada akhirnya bisa ditokenisasi. Tidak harus selalu lewat bahasa, dan AI akan makin fasih menangani data geometris juga
  • Keengganan terhadap data hasil generasi AI sebagian besar berasal dari keterbatasannya pada bahasa. Karena itu, masukan yang benar-benar kreatif tidak bisa tercermin
  • Seperti dulu word2vec memicu terobosan besar, model 3D juga pada dasarnya bisa direpresentasikan di ruang vektor
• Hal penting di sini adalah alur kerja agen. Seiring pemahaman LLM terhadap dunia 3D terus meningkat, ini akan membantu dalam berbagai situasi. Ini juga berguna untuk berjalan di latar belakang tanpa campur tangan manusia guna menemukan masalah, seperti pengecekan bug oleh ahli, rekomendasi, atau bantuan pop-up. Kemampuan untuk mengendalikannya secara terprogram juga akan menjadi makin bernilai
• Saya bukan modeller, tapi saya sudah beberapa kali mencoba ini dalam proses membuat game 3D sendirian. Bagi saya, modelling adalah penderitaan yang wajib dilakukan. Kalau alat seperti ini ada, saya akan memakainya untuk cepat membuat model dasar ultra-low-poly untuk proyek indie, lalu menjadikannya fondasi untuk saya poles detailnya secara manual. Dari sudut pandang saya, penghematan waktu lebih berharga daripada kualitas tinggi