World Labs: Teknologi Pembuatan Dunia 3D dari Satu Gambar

• Sistem AI pembuat dunia 3D

  • World Labs mengembangkan sistem AI yang dapat membuat dunia 3D dari satu gambar.
  • Teknologi ini berpotensi merevolusi cara pembuatan berbagai konten digital seperti film, game, dan simulator.

• Menjelajahi dunia

  • Pengguna dapat menjelajahi dunia 3D yang dihasilkan, bergerak menggunakan tombol panah atau tombol WASD, serta mengatur sudut pandang dengan mouse.

• Efek kamera

  • Adegan dirender secara real-time melalui kamera virtual, dan dapat menghadirkan efek fotografi seperti depth of field dangkal atau dolly zoom.

• Efek 3D

  • Prediksi adegan 3D memberikan rasa realisme yang konsisten, kontrol real-time, dan struktur geometris yang benar.
  • Melalui depth map, jarak setiap piksel terhadap kamera dapat divisualisasikan.

• Masuk ke dalam lukisan

  • Dunia dihasilkan agar karya seni terkenal dapat dialami dengan cara baru.
  • Bagian yang tidak ada dalam lukisan asli akan dibuat oleh model.

• Workflow kreatif

  • Pembuatan dunia 3D berpadu secara alami dengan alat AI lain untuk menciptakan pengalaman baru.
  • Model teks-ke-gambar digunakan untuk menghasilkan gambar dari teks, lalu berdasarkan itu dibuat dunia 3D.

• Prospek ke depan

  • World Labs sedang meningkatkan skala dan fidelitas dunia 3D, serta bereksperimen dengan cara pengguna berinteraksi dengannya.
  • Informasi tentang rilis mendatang dapat dilihat melalui daftar tunggu, dan siapa pun yang tertarik dianjurkan untuk bergabung.

[GN⁺]

Komentar Hacker News

• Saat mencoba demonya, gambar animasinya terasa menyesatkan. Setelah berjalan beberapa langkah, kita akan menabrak dinding tak terlihat, sehingga kekecewaannya cukup besar. Saya paham ini masih tahap awal, tetapi terasa agak terlalu dibesar-besarkan

• Saat menonton film 3D dengan headset VR, ilusi 3D akan pecah ketika kita menggerakkan kepala. Dalam game 3D, kita bisa menjelajahi ruang dengan menggerakkan kepala. Jika ini diterapkan ke setiap frame film, sedikit gerakan dan perubahan sudut pandang bisa dipertahankan. Namun, niat sutradara dan sinematografer bisa rusak

• Meski ada keluhan soal area yang kecil, mengubah gambar menjadi dunia 3D tetap merupakan teknologi yang menakjubkan. AI makin menjadi hal yang umum, tetapi ini tetap pencapaian yang mengesankan

• Ada cara menggunakan Depth Anywhere untuk mengubah gambar 360º menjadi peta kedalaman virtual, lalu menerapkannya ke point cloud untuk dirender. Berbeda dengan contoh World Labs, pendekatan ini memungkinkan kita memeriksa kekurangannya dengan melampaui batas point cloud. Tetap masih perlu perbaikan

• Teknologi ini keren, tetapi tidak seimpresif cat-4d.github.io

• Mungkin karena sudah terlalu banyak melihat demo AI, saya jadi agak kebal dan merasa yang perlu dipikirkan adalah bagaimana membuat teknologinya benar-benar berguna. Bagian "Step into Paintings" memang menyenangkan, tetapi begitu keluar dari materi sumber, keterbatasan modelnya langsung terlihat. Kita bisa mengalami karya seni dengan cara baru, tetapi itu bukan pengalaman yang bagus

• Ada harapan bahwa XYZ bisa menggeneralisasi rekaman Unreal dan NVIDIA Isaac. Saya penasaran apakah XYZ itu diffusion-transformers, Chameleon, atau arsitektur baru. Pengembangan model memerlukan waktu dan bisa sangat mahal. Tim ini sangat berbakat, tetapi mungkin tidak punya pendanaan yang cukup

• Sisi baik dari proyek seperti ini sering kali menjadi kabur karena klaim yang berlebihan

• Gambar dasarnya tampak seperti hasil render, lengkap dengan pencahayaan, bayangan, dan sebagainya. Saat memakai alat lain, hasilnya hanya bekerja baik pada gambar contoh, dan ketika memakai gambar lain yang muncul hanyalah bentuk hitam dan datar. Jadi judulnya seharusnya "menghasilkan dunia 3D dari satu gambar dengan model yang kami latih"

• Saat pertama kali mencoba, saya kaget menerima pesan "Out of bounds". Dari bagian "Looking Ahead", tampaknya mereka sedang meningkatkan ukuran dan akurasi