Google SIMA - Agen AI generatif untuk lingkungan virtual 3D

• DeepMind memperkenalkan Scalable Instructable Multiworld Agent (SIMA)
  • • Google DeepMind memiliki sejarah panjang di bidang AI dan game, mulai dari game Atari hingga sistem AlphaStar yang memainkan StarCraft II pada tingkat grandmaster manusia
• SIMA adalah agen AI serbaguna untuk lingkungan virtual 3D yang dapat mengikuti instruksi bahasa alami di berbagai lingkungan video game
• Riset ini bertujuan beralih dari fokus pada game individual menuju agen AI gameplay yang umum dan dapat diberi instruksi
• Dilatih pada berbagai video game melalui kolaborasi dengan beragam pengembang game
• Untuk pertama kalinya menunjukkan bahwa agen AI dapat memahami dunia game yang luas dan menjalankan tugas di dalamnya sesuai instruksi bahasa alami

Belajar dari video game

• SIMA dilatih dan diuji pada 9 video game yang berbeda, termasuk No Man’s Sky dari Hello Games dan Teardown dari Tuxedo Labs
• Untuk mengeksposnya pada beragam lingkungan, DeepMind bermitra dengan 8 studio game melalui kolaborasi dengan para pengembang
• SIMA mempelajari berbagai keterampilan, mulai dari navigasi sederhana dan penggunaan menu hingga menambang sumber daya, menerbangkan pesawat luar angkasa, dan membuat helm
• Juga digunakan pada 4 lingkungan riset, termasuk Construction Lab, lingkungan baru yang dibangun dengan Unity

SIMA: agen AI serbaguna

• SIMA adalah agen AI yang dapat mengenali dan memahami berbagai lingkungan, lalu mengambil tindakan untuk mencapai tujuan yang diperintahkan
• Mencakup model untuk pemetaan gambar-bahasa yang presisi dan model video yang memprediksi apa yang akan terjadi berikutnya di layar
• Tidak memerlukan akses ke source code game atau API tertentu; hanya membutuhkan gambar layar dan instruksi bahasa alami sederhana dari pengguna
• SIMA menggunakan output keyboard dan mouse untuk mengendalikan karakter utama dalam game dan menjalankan instruksi tersebut

Generalisasi di game dan lingkungan lain

• Agen yang dilatih pada beberapa game menunjukkan kinerja lebih baik daripada agen yang hanya dilatih pada satu game
• Masih diperlukan lebih banyak riset agar dapat menunjukkan kinerja setingkat manusia, baik di lingkungan pelatihan maupun di lingkungan yang belum pernah dilihat
• Kinerja SIMA bergantung pada bahasa; tanpa pelatihan bahasa atau instruksi, ia dapat bertindak secara memadai tetapi tanpa tujuan

Kemajuan riset agen AI

• Hasil SIMA menunjukkan potensi pengembangan agen AI umum berbasis bahasa
• Ini masih riset tahap awal, dan diharapkan SIMA akan terus dikembangkan dengan lebih banyak lingkungan pelatihan serta integrasi model yang lebih mampu
• Pada akhirnya, tujuannya adalah membangun sistem dan agen AI umum yang dapat memahami serta menjalankan berbagai tugas secara aman dan berguna bagi manusia, baik di dunia online maupun dunia nyata

Opini GN⁺

• SIMA adalah riset penting yang menunjukkan kemampuan AI untuk memahami instruksi dan bertindak seperti manusia di berbagai lingkungan
• Riset semacam ini dapat membuka masa depan di mana AI melampaui pelaksanaan tugas sederhana dan mampu melakukan perencanaan strategis yang kompleks serta multitasking
• Namun, masih dibutuhkan banyak riset dan pengembangan sebelum AI dapat mencapai kinerja setingkat manusia
• Perlu ada diskusi tentang bagaimana teknologi ini dapat diterapkan untuk memecahkan masalah di dunia nyata, serta batasan potensial dari kemampuan generalisasi AI
• Proyek AI lain dengan kemampuan serupa adalah OpenAI Gym, platform AI yang dapat belajar dari berbagai video game

[GN⁺]

Komentar Hacker News

• Mustahil melupakan saat OpenAI diperkenalkan di TI7 dan bisa bertanding melawan pemain Dota profesional. Dota adalah game yang sangat kompleks dan sulit. Pengalaman ini membawa perubahan besar dalam karier saya.
• Semoga para pengembang bisa memakai teknologi ini untuk memberi lebih banyak nyawa pada NPC. Janji tentang NPC yang menjalani kehidupan mandiri di berbagai RPG belum pernah benar-benar menghasilkan sesuatu yang menonjol, tetapi mungkin dengan AI kita akhirnya mulai mendekatinya.
• Penggunaan bot, yang sudah menjadi masalah serius di MMORPG, mendistorsi ekonomi pemain dan menurunkan pengalaman bermain semua orang. Permainan kucing dan tikus untuk menghentikan para gold farmer ini akan menjadi jauh lebih sulit.
• Fiksi ilmiah tentang kiamat robot bukan lagi fiksi ilmiah. Itu karena game kekerasan yang "menarik" jauh lebih murah dan kaya dibanding simulator realitas yang membosankan.
• Pemakaian sebagai alat CI untuk pengembangan game akan menarik. Pengujian playthrough end-to-end yang memverifikasi bukan hanya UI, tetapi juga penulisan dan alur game. Saya membayangkan menerima laporan seperti, "Waktu yang dibutuhkan untuk menebang pohon pertama: +20%."
• Teknologi ini + teknologi Vtuber + chatbot yang berinteraksi dengan penonton + teknologi voice conversion == otomatisasi influencer game
• Saya penasaran seberapa baik SIMA bisa bekerja di StarCraft II dibandingkan AlphaStar milik DeepMind, jika saya memberi instruksi tingkat tinggi lalu SIMA yang mengeksekusinya. Lalu saya mendapat firasat buruk bahwa game perang semacam ini mungkin sudah sedang diuji. Kita juga akan memerlukan pengaman terbalik agar AI mengangkat kekhawatiran dan meminta konfirmasi sebelum menjalankan sebagian permintaan.
• Ini mengingatkan pada Ender’s Game, ketika mereka menipu seorang anak agar mengira dia sedang memainkan game komputer lalu membuatnya memusnahkan spesies alien.
• Lelucon Nvidia "GeForce GTX G-Assist" pada April 2017 mungkin segera menjadi kenyataan.
• Saya terkejut Transformer-XL sudah dipakai sejak 2019 — saya tidak tahu masih ada orang yang memakai arsitektur seperti XLNet.