Google DeepMind mengumumkan Genie, “lingkungan interaktif generatif”

"Generative Interactive Environments"

• Sebagai model dunia fondasi yang dilatih dari video internet, Genie dapat menghasilkan dunia yang dapat dimainkan dengan keragaman tak terbatas dari gambar sintetis, foto, dan sketsa
• Dilatih pada dataset video internet berskala besar dari game platformer 2D dan robotika, serta dapat diterapkan ke domain apa pun dan diperluas dengan dataset internet

Mempelajari kontrol tanpa label aksi

• Genie memiliki kemampuan untuk mempelajari kontrol yang halus hanya dari video internet, yang merupakan tantangan karena video internet tidak memiliki label aksi atau label untuk bagian gambar yang harus dikendalikan
• Genie dapat menyimpulkan bagian mana dari hal-hal yang dapat diamati yang umumnya dapat dikendalikan, serta berbagai aksi laten yang konsisten di seluruh lingkungan yang dihasilkan

Memungkinkan generasi kreator baru

• Hanya dengan satu gambar, Genie dapat membuat lingkungan interaktif baru, menghadirkan cara baru untuk menghasilkan dan memasuki dunia virtual
• Dengan menggunakan model generasi teks-ke-gambar mutakhir untuk membuat frame awal lalu menghidupkannya dengan Genie, pengguna dapat membangun dunia virtual
• Lingkungan virtual juga dapat dibuat dari sketsa maupun gambar dunia nyata

Landasan bagi agen generalis

• Lingkungan game dapat menjadi testbed yang efektif untuk pengembangan agen AI, tetapi dibatasi oleh jumlah game yang tersedia
• Dengan Genie, agen AI dapat dilatih dalam lingkungan tak terbatas yang baru dihasilkan, dan telah dibuktikan bahwa aksi laten yang dipelajari Genie dapat ditransfer ke lingkungan nyata yang dirancang manusia

Masa depan dunia virtual generatif

• Situs web ini berfokus pada hasil platformer, tetapi Genie merupakan metodologi umum yang dapat diterapkan ke berbagai domain
• Genie juga dapat mensimulasikan objek yang dapat berubah bentuk, yang merupakan tugas menantang bagi simulator rancangan manusia yang dapat dipelajari dari data
• Diharapkan Genie akan membuka era di mana seluruh dunia interaktif dapat dihasilkan dari gambar atau teks, serta menjadi katalis untuk melatih agen AI generalis masa depan

[stdcarrot]

Anak kecil Gemini
Yang itu Gemma
Dia Genie