Semesta di dalam Transformer, Oasis

Oasis: Semesta di dalam Transformer

• Pengenalan Oasis

  • Oasis adalah video game open-world real-time yang dihasilkan AI.
  • Menerima input keyboard pengguna lalu menghasilkan fisika, aturan permainan, dan grafis secara real-time.
  • Berjalan hanya dengan model dasar tanpa game engine.
  • Menunjukkan bahwa video real-time dimungkinkan dengan menggunakan mesin inferensi Decart.

• Hasil gameplay

  • Oasis memahami mekanisme permainan yang kompleks.
  • Memiliki kemampuan untuk menghasilkan beragam pengaturan, lokasi, dan objek.
  • Di dalam game, Oasis dapat melakukan pembangunan, fisika pencahayaan, pengelolaan inventaris, dan lainnya.

• Arsitektur

  • Model terdiri dari autoencoder spasial dan backbone difusi laten.
  • Berbasis Transformer, dengan fondasi pada ViT dan DiT.
  • Menghasilkan frame secara autoregresif sehingga interaksi real-time dimungkinkan.

• Performa

  • Oasis menghasilkan output real-time 20 frame per detik.
  • Mencapai frame rate yang dapat dimainkan melalui stack inferensi Decart.
  • Dioptimalkan untuk Transformer ASIC milik Etched, Sohu.

• Eksplorasi masa depan

  • Ada sejumlah masalah yang dapat diselesaikan melalui penskalaan model dan perluasan dataset.
  • Teknologi optimisasi tambahan sedang dikembangkan untuk menjalankan pelatihan skala besar secara efisien.

Ringkasan GN⁺

• Oasis adalah game open-world real-time yang dihasilkan AI dan menunjukkan teknologi inovatif berbasis Transformer.
• Ciri utamanya adalah kecepatan inferensi tinggi yang memungkinkan interaksi real-time.
• Dikombinasikan dengan perangkat keras baru seperti Sohu, teknologi ini menunjukkan potensi untuk mendukung model berskala besar.
• Teknologi ini berpotensi diterapkan bukan hanya pada game, tetapi juga pada berbagai produk konsumen.
• Proyek dengan fungsi serupa mencakup Sora dari OpenAI dan Mochi-1 dari Genmo.