Google DeepMind merilis model dunia Genie 3

• Model dunia serbaguna pertama yang menghasilkan lingkungan 3D interaktif real-time hanya dari prompt teks
• Mampu berjalan pada 24fps, resolusi 720p, dan mempertahankan konsistensi selama beberapa menit, dengan peningkatan besar pada interaktivitas, realisme, dan persistensi dibanding Genie 2
• Dapat secara alami dan beragam menghasilkan dunia virtual dengan berbagai tema seperti fenomena fisika, ekosistem, animasi, serta latar sejarah dan geografis
• Melalui fitur Promptable world events, pengguna dapat mengendalikan event dinamis seperti perubahan cuaca atau penambahan objek secara real-time lewat teks
• Dirancang untuk riset agen dan dapat dihubungkan dengan agen SIMA dan lainnya, sehingga memungkinkan pengujian pencapaian tujuan jangka panjang maupun urutan perilaku yang kompleks

---

Genie 3: Terobosan dalam simulasi dunia

Latar belakang perkembangan model dunia

• DeepMind telah memimpin riset lingkungan simulasi dalam bidang seperti pelatihan agen AI, open-ended learning, dan robotika
• Model dunia adalah sistem AI yang dapat memprediksi dan mereproduksi perubahan lingkungan serta hasil dari tindakan agen, dan dinilai sebagai tahap perantara penting menuju AGI
• Setelah Genie 1 dan 2, Genie 3 adalah model dunia pertama yang sekaligus menghadirkan interaktivitas real-time serta konsistensi visual dan fisik

Fitur utama Genie 3

• Pemodelan alam dan fenomena fisika

  • Fenomena alam di dunia nyata seperti air, cahaya, dan berbagai interaksi lingkungan diwujudkan secara alami hanya melalui prompt

• Ekosistem kompleks dan animasi

  • Memungkinkan pembuatan dinamika ekosistem seperti perilaku hewan dan pertumbuhan tanaman, serta dunia animasi berbasis imajinasi

• Implementasi latar sejarah dan geografis

  • Dapat membangun secara real-time beragam ruang yang melampaui batas geografis dan periode sejarah sebagai lingkungan virtual

• Interaksi dan kontrol real-time

  • Memvisualisasikan perubahan dunia secara seketika pada 24fps dan 720p sesuai input pengguna
  • Mengingat lokasi dan status yang pernah dikunjungi, sehingga mempertahankan konsistensi fisik dan visual selama beberapa menit

• Promptable World Events

  • Memungkinkan terjadinya secara real-time event perubahan lingkungan seperti perubahan cuaca atau penambahan objek dan karakter melalui prompt teks
  • Selain kontrol eksplorasi, fitur ini menawarkan aplikasi luas seperti skenario “bagaimana jika” atau penciptaan situasi yang tidak biasa

• Riset dan eksperimen agen

  • Agen AI yang dioptimalkan untuk lingkungan 3D seperti SIMA dapat mengejar tujuan kompleks di dunia dalam Genie 3 dan memverifikasi kemampuan menjalankan urutan jangka panjang
  • Tujuan agen tidak dibagikan ke Genie 3, dan hasil dihasilkan hanya melalui urutan tindakan serta simulasi dunia

Tantangan teknis dan pencapaian

• Dalam proses generasi autoregresif per frame, diperlukan teknologi tingkat tinggi karena input pengguna dan urutan sebelumnya harus sama-sama tercermin secara real-time
• Berbeda dari NeRF, Gaussian Splatting, dan lainnya, Genie 3 berbasis generatif murni tanpa representasi 3D eksplisit, sehingga mampu mewujudkan lingkungan yang jauh lebih dinamis dan kaya

Keterbatasan dan tantangan

• Batasan cakupan tindakan: perubahan lingkungan berbasis prompt beragam, tetapi tindakan yang dapat dilakukan secara langsung masih terbatas
• Interaksi multi-agen: simulasi yang akurat untuk interaksi antar banyak agen masih menjadi tantangan riset
• Keterbatasan reproduksi lokasi dunia nyata: belum memberikan akurasi sempurna terhadap ruang geografis nyata
• Keterbatasan rendering teks: representasi teks yang jelas hanya dimungkinkan jika dimasukkan secara eksplisit
• Batas waktu interaksi: saat ini hanya mendukung interaksi berkelanjutan selama beberapa menit

Tanggung jawab dan cakupan rilis

• Sifat open-ended dan generasi real-time dari Genie 3 membawa isu keselamatan dan etika baru, sehingga dikembangkan dengan kerja sama erat bersama Responsible Development & Innovation Team
• Pada tahap awal, produk ini hanya disediakan sebagai research preview untuk kelompok peneliti dan kreator terbatas, dengan rencana perluasan bertahap dan penyiapan langkah mitigasi risiko berdasarkan umpan balik

Prospek masa depan dan pemanfaatan

• Genie 3 menghadirkan kemungkinan baru di berbagai bidang seperti pendidikan, pelatihan, pembelajaran agen AI, dan verifikasi performa
• Teknologi ini diharapkan memainkan peran kunci dalam riset AGI (kecerdasan umum buatan) dan akan dikembangkan secara aman ke arah yang bermanfaat bagi umat manusia