Infinigen: Mewujudkan Dunia Fotorealistis Tak Terbatas dengan Generasi Prosedural

 (github.com/princeton-vl)
2 poin oleh GN⁺ 2024-12-24 | 1 komentar | Bagikan ke WhatsApp
  • Infinigen adalah proyek untuk membuat dunia fotorealistis dengan generasi prosedural, serta menyediakan panduan awal yang mencakup adegan alam, adegan interior, dan aset simulasi berartikulasi
  • Setelah instalasi, pengguna dapat mulai membuat adegan ruangan, adegan alam, dan aset berartikulasi untuk simulator melalui alur Infinigen-Indoors, Infinigen-Nature, dan Infinigen-Articulated
  • Riset terkait berlanjut dari makalah CVPR 2023 Infinite Photorealistic Worlds using Procedural Generation, makalah CVPR 2024 Infinigen Indoors, hingga makalah arXiv 2025 Infinigen-Articulated
  • Dokumentasi mencakup instalasi, pengaturan kamera, pengunduhan data pra-generasi, pembuatan aset individual, ekspor ke format file eksternal seperti OBJ·OpenUSD, ekspor simulasi fisika, dan extended ground-truth
  • Cara berkontribusi dibagi menjadi kontribusi kode repositori, generator prosedural, dan data pra-generasi; dokumentasi juga menjelaskan alat yang mengubah Blender Nodes menjadi kode Python serta prosedur dukungan berbasis GitHub Issues

Apa yang dapat dibuat oleh Infinigen

  • Infinigen adalah proyek untuk membuat dunia fotorealistis dengan generasi prosedural
  • Alur awal disediakan dalam tiga jalur
    • Hello Room: membuat adegan interior dengan Infinigen-Indoors
    • Hello World: membuat adegan alam dengan Infinigen-Nature
    • Infinigen-Articulated: menyediakan alur untuk membuat aset simulasi berartikulasi dan mengekspornya ke simulator
  • Proyek ini menyediakan situs web, video pengantar, makalah, dokumentasi, dan panduan kontribusi sekaligus

Cara memulai dan contoh

  • Pertama, instalasi harus dilakukan dengan mengikuti Installation Instructions
  • Dokumentasi awal Infinigen-Indoors tersedia di HelloRoom.md
    • Gambar contoh menampilkan adegan Blender, hasil render, depth, dan output terkait object
  • Dokumentasi awal Infinigen-Nature tersedia di HelloWorld.md
    • Output contoh mencakup image, depth, surface normal, dan instance segmentation
  • Alur awal Infinigen-Articulated tersedia dalam dokumentasi Exporting to Simulators
    • Mencakup use case untuk mengekspor aset berartikulasi ke simulator

Makalah terkait

Cakupan dokumentasi

  • Dokumentasi tidak hanya mencakup instalasi dan pembuatan adegan pertama, tetapi juga alur konfigurasi·kamera·data·ekspor
  • Item dokumentasi yang disediakan mencakup hal-hal berikut
    • Installation Guide
    • “Hello World”: membuat adegan Infinigen-Nature pertama
    • “Hello Room”: membuat adegan Infinigen-Indoors pertama
    • Configuring Infinigen
    • Configuring Cameras
    • Downloading pre-generated data
    • Generating individual assets
    • Exporting to external fileformats, misalnya: OBJ, OpenUSD
    • Add external assets to indoor scenes
    • Extended ground-truth
    • Implementing new materials & assets
    • Generating fluid simulations
    • Exporting to physics simulation
  • Roadmap proyek tersedia di halaman roadmap pada situs web Infinigen

Prosedur kontribusi dan dukungan

  • Cara berkontribusi dijelaskan dalam tiga bentuk
    • Kontribusi kode repositori: kontribusi kode diterima, dan panduan yang lebih rinci akan disediakan kemudian
    • Kontribusi generator prosedural: infinigen/nodes/node_transpiler/dev_script.py menyediakan alat untuk mengubah Blender Nodes yang ramah bagi artist menjadi kode Python
    • Kontribusi data pra-generasi: siapa pun dapat membuat data dengan daya komputasi dan membagikannya dengan komunitas; repositori data pra-generasi akan disediakan kemudian
  • Permintaan bantuan diarahkan untuk diposting di halaman GitHub Issues
  • Untuk mereproduksi masalah, jalankan perintah dengan --debug dan sertakan informasi berikut
    • Lingkungan komputasi, termasuk versi OS, CPU, RAM, GPU, dan driver
    • Versi kode yang digunakan dan tautan commit hash, serta apakah ada modifikasi
    • Perintah persis yang dijalankan
    • Log output
      • Saat menggunakan manage_jobs, log dapat ditemukan di outputs/MYJOB/MYSEED/logs/
      • Jika ada error Python dan stacktrace, sertakan juga

Proyek dasar dan perubahan

  • Infinigen menyatakan bahwa proyek ini tidak akan mungkin ada tanpa karya Blender Foundation dan para kontributor open source
  • Land-Lab, BlenderProc, Blender-FLIP-Fluids, dan Blender-Differential-Growth disebut secara khusus sebagai proyek yang digunakan
  • Thomas Kole termasuk dalam pihak yang diberi ucapan terima kasih sebagai orang yang menyediakan awan prosedural
  • Berbagai tutorial Blender online menyediakan generator prosedural untuk eksperimen awal, dan dicatat sebagai materi yang menginspirasi implementasi rilis resmi
  • Infinigen telah banyak berubah sejak versi makalah CVPR
    • Saat ini, proyek ini menyertakan sebagian kode prosedural berlisensi CC-0 yang diperoleh dari internet
    • Kode tersebut ditandai dengan komentar kode di lokasi penerapannya
    • Versi CVPR tidak memiliki kode semacam itu

Bacaan terkait

1 komentar

 
GN⁺ 2024-12-24
Komentar Hacker News

  • Proyek yang benar-benar keren
    Saya penasaran untuk para peneliti ML/AI di HN, apakah ada paper yang menggunakan ini untuk pelatihan. Misalnya melatih robot di lingkungan virtual
    Saya juga penasaran dataset apa yang dipakai untuk pelatihan robot di bidang ML/AI belakangan ini

    • Menurut videonya, “Infinigen adalah 100% generasi prosedural. Hanya memakai aturan matematika, sama sekali tanpa AI, murni grafis”
      Timestamp: https://youtu.be/6tgspeI-GHY?t=107
    • Sepertinya saya pernah melihat video Nvidia Research yang melatih robot dan semacamnya dengan lingkungan hasil generasi
      Saya tidak langsung menemukannya, tetapi Omniverse milik Nvidia adalah salah satu elemen kuncinya

  • Bukankah ini pernah diposting sebelumnya? Memang keren, tetapi setahu saya ini proyek yang sudah berumur beberapa tahun. Penasaran apakah ada pembaruan

  • Adegan dalam ruangan terlihat sepenuhnya meyakinkan, tetapi bagian luar ruangannya masih banyak kekurangan. Masih cukup jauh dari state of the art

    • Kalau begitu, apa yang termasuk state of the art yang open source, kalau memungkinkan bisa dipakai sebagai library, dan bukan AI generatif? Saya membayangkan kasus penggunaan untuk interaksi/pengembangan game/penggunaan real-time
    • Ini tertinggal bahkan dibanding berbagai versi No Man's Sky, dan lebih lagi jika dibandingkan dengan segala hasil gila yang sedang dibuat orang-orang di ranah LLM
    • Meski begitu, harus diakui air lautnya jauh lebih baik daripada video game mana pun saat ini. Selebihnya memang begitu
    • Menurutmu apa yang layak disebut state of the art?

  • Fakta bahwa hal seperti ini mungkin terasa seperti mengatakan sesuatu tentang alam semesta. Mungkin jumlah informasi dalam lingkungan tidak sebanyak yang kita kira
    Ini juga bisa menjelaskan efisiensi yang tampak tidak masuk akal dari otak, terutama otak hewan kecil, dalam memodelkan dunia dan beroperasi di dalamnya

    • Itu adalah cara pandang yang sangat dangkal terhadap alam semesta
      Keberadaan tidak dibatasi oleh apakah sesuatu diamati atau tidak. Otak berevolusi untuk mengumpulkan hanya informasi minimum yang diperlukan agar organisme tetap hidup di lingkungan tertentu. Namun bahkan dalam hal-hal yang bisa kita persepsikan pun, alam semesta memiliki kompleksitas yang tak terhitung
      Dalam pemodelan 3D, detail seperti itu tidak penting, sehingga kita bisa mendekati realisme seperti foto. Rendering tampak cukup bagus untuk menipu otak agar merasa sedang melihat objek di dunia nyata. Tetapi itu hanya pendekatan yang baik dari sisi visual, sama sekali bukan representasi objek nyata yang memadai. Untuk mencapai tingkat itu, sumber daya komputasi kita jauh dari cukup
      Kemampuan untuk memodelkan bagaimana cahaya berperilaku di dunia nyata secara real-time juga baru muncul belakangan, dan itu pun masih pendekatan. Bagaimanapun, Infinigen tampak seperti produk yang keren, dan menyenangkan juga melihat simulasi klasik alih-alih AI untuk perubahan
    • Jika “fakta bahwa hal seperti ini mungkin mengatakan sesuatu tentang alam semesta”, maka model karakter Final Fantasy 7 juga berarti mengatakan sesuatu tentang sistem endokrin manusia
      Aeris tetap terbaca jelas sebagai manusia meski kelenjar adrenalnya tidak terlihat, jadi mungkin di dunia nyata juga kita tidak punya kelenjar adrenal
    • “Peta bukanlah wilayahnya”
    • “Masih banyak ruang di bagian bawah.”[0]
      0. http://researchgroups.pku.edu.cn/_resources/group1/M00/00/0D...
    • Menurut saya ini lebih banyak menunjukkan sesuatu tentang otak manusia daripada tentang alam semesta. Ini menunjukkan betapa mudahnya persepsi kita tertipu

  • Hanya dari README masih belum jelas, apakah tak terbatas di sini berarti dapat membuat variasi tak terbatas dari satu adegan, atau benar-benar menghasilkan dunia yang tak terbatas

  • Postingan sebelumnya: https://news.ycombinator.com/item?id=36373494

  • Saat dibagikan, deskripsi meta tag-nya terlihat seperti isi placeholder, jadi perlu diperbarui

  • Saya melihat beberapa universitas besar di Tiongkok dalam daftar penulis; sekilas, bukankah ini tampak seperti pelanggaran sanksi chip/peraturan ekspor?

    • Di paper tertulis bahwa para penulis bersama melakukan penelitian ini saat mereka berafiliasi dengan Princeton

  • Pembuka bergaya Matrix itu sama sekali tidak subtil