Gemini Robotics 2, menghadirkan kecerdasan seluruh tubuh pada robot

• Google DeepMind memperkenalkan keluarga model Gemini Robotics 2 yang mengubah input visual dan bahasa menjadi tindakan untuk mengendalikan humanoid dari kaki hingga ujung jari, serta mendukung manipulasi presisi dan kolaborasi antarrobot
• Keluarga model ini terdiri dari Gemini Robotics 2 sebagai VLA untuk kendali seluruh tubuh, Gemini Robotics ER 2 untuk merencanakan dan mengawasi tugas jangka panjang, serta Gemini Robotics On-Device 2 yang berjalan secara lokal di robot
• Humanoid dapat menggabungkan berjalan, membungkuk, dan membawa objek, serta menggunakan tangan lima jari dengan 22 derajat kebebasan untuk mengikat simpul atau menutup kantong zip, sementara beberapa robot dapat berkolaborasi pada tugas yang sulit ditangani sendirian
• On-Device 2 berjalan tanpa koneksi jaringan dan umumnya dapat diterapkan ke robot bimanual baru yang sangat berbeda dalam bentuk, sensor, dan derajat kebebasan hanya dengan kurang dari 200 contoh serta beberapa jam proses adaptasi
• ER 2 tersedia dalam private preview di Google AI Studio dan Gemini Enterprise Agent Platform, sementara model VLA dan On-Device dibuka untuk mitra akses awal, tetapi kecepatan gerak dan presisi masih perlu ditingkatkan

---

Tiga model robot dengan peran berbeda

• Robot sebelumnya umumnya mengandalkan urutan kerja sempit dan berulang yang diprogram sebelumnya atau dikendalikan dari jarak jauh, sehingga sulit beradaptasi sendiri pada lingkungan yang tak terduga atau memindahkan kemampuan satu robot ke bentuk lain
• Gemini Robotics 2 adalah model vision-language-action (VLA) yang mengubah input visual dan bahasa menjadi kendali motor
  • Mengendalikan seluruh tubuh humanoid dan robot bimanual
  • Mendukung manipulasi presisi menggunakan kedua tangan dan gripper
• Gemini Robotics ER 2 adalah model embodied reasoning (ER) yang berperan sebagai agen robot
  • Berkomunikasi dengan manusia dan memahami lingkungan fisik
  • Merencanakan tugas multilangkah yang berlangsung selama beberapa menit
  • Mendukung kerja tim beberapa robot
• Gemini Robotics On-Device 2 adalah VLA efisien yang dioptimalkan untuk berjalan secara lokal di perangkat robot
  • Dapat beradaptasi ke bentuk robot yang benar-benar baru dengan data beberapa jam saja
• Cakupan ketersediaan tiap model berbeda
  • ER 2 dapat digunakan di Google AI Studio dan tersedia dalam private preview di Gemini Enterprise Agent Platform
  • Model VLA dan On-Device tersedia untuk mitra akses awal
  • Cara penerapan ke hardware dapat dilihat di Developer blog

Kendali seluruh tubuh humanoid melampaui tubuh bagian atas

• Jika model sebelumnya berfokus pada kendali tubuh bagian atas humanoid untuk pekerjaan di atas meja, Gemini Robotics 2 memperluas cakupan kendali hingga gerakan seluruh tubuh
• Apptronik Apollo 2 dapat menangani instruksi “masukkan penyiram tanaman ke kotak hijau di rak bawah”
  • Berjalan ke meja lalu mengambil penyiram tanaman
  • Bergerak ke rak lalu meletakkannya secara akurat di posisi yang ditentukan
• Sistem ini menghubungkan berjalan, membungkuk, menjaga keseimbangan, dan memanipulasi objek untuk bekerja di ruang sempit dan berantakan, tetapi kecepatan gerak masih perlu ditingkatkan

Manipulasi presisi dengan tangan dan gripper

• Mengendalikan lima jari dan 22 derajat kebebasan dari tangan SharpaWave yang dipasang pada Apollo 2
  • Melakukan gerakan halus untuk mengikat simpul
  • Dapat menutup kantong zip
• Juga menangani tugas kompleks seperti mengemas barang dengan rapat menggunakan gripper paralel 2-jari standar pada Franka Duo
• Untuk mencapai ketangkasan setingkat manusia, presisi dan kecepatan masih harus terus ditingkatkan

Penalaran tugas jangka panjang dan kolaborasi multi-robot

• Gemini Robotics ER 2 berfungsi sebagai otak tingkat tinggi robot yang memproses instruksi pengguna dan berkomunikasi dengan manusia
  • Mengamati ruang lalu menyimpulkan langkah yang diperlukan
  • Berkoordinasi dengan VLA untuk menjalankan tindakan nyata
  • Melacak kemajuan hingga selesai
• Saat menjalankan tugas multilangkah yang kompleks, jika suatu langkah gagal, model ini dapat mengoreksi diri, serta menggeneralisasi ke situasi dan tujuan baru
• Model ini membuat ratusan keputusan dalam satu tugas dan menangani rangkaian kerja yang berlangsung beberapa menit dengan lebih stabil dibanding sebelumnya
• Model ini memahami awal dan akhir tugas, serta mengidentifikasi kapan peristiwa penting terjadi untuk melacak status progres
• Dengan robot dari tipe berbeda saling berkomunikasi dan bekerja sama, alur kerja kompleks yang sulit dilakukan satu robot saja dapat ditangani

Cepat beradaptasi ke bentuk robot baru

• Gemini Robotics On-Device 2 berjalan secara lokal di perangkat robot untuk lingkungan yang harus beroperasi tanpa latensi jaringan atau koneksi internet
• Mendukung beberapa bentuk robot secara bawaan dan mewarisi teknologi transfer aksi dari Gemini Robotics 1.5
• Umumnya dapat diterapkan ke robot bimanual baru hanya dengan kurang dari 200 contoh dan beberapa jam proses adaptasi
• Model ini juga beradaptasi ke robot yang sangat berbeda dalam wujud, sensor, dan derajat kebebasan, serta menjalankan berbagai tugas di platform Dexmate, SO101, dan Trossen

Keamanan robot yang juga menangani ketidakpastian

• Seiring kemampuan fisik robot meningkat, diterapkan pendekatan keamanan berlapis yang menggabungkan langkah keamanan fisik tradisional dan framework keamanan AI
• ASIMOV-Agentic adalah benchmark baru untuk mengevaluasi orkestrasi keamanan agen dan penanganan ketidakpastian
  • Mengukur apakah agen embodied reasoning dapat menolak pemanggilan alat yang tidak aman yang diminta VLA
  • Mengevaluasi apakah model memprediksi kemungkinan pelaksanaan tugas dan secara proaktif meminta campur tangan manusia saat tidak yakin
• Gemini Robotics ER 2 menunjukkan performa paling aman di antara model robot Google DeepMind sebelumnya pada benchmark kepatuhan terhadap batasan keamanan dan kedekatan manusia
  • Mendeteksi orang di sekitar dengan lebih baik
  • Jika seseorang terlalu dekat, model memanggil alat keamanan dan menghentikan robot dengan aman
  • Ini adalah kemampuan yang disyaratkan dalam standar keselamatan kolaboratif untuk bekerja bersama manusia
• Evaluasi detail dapat dilihat di Gemini Robotics 2: Safety Technical Report
• Tujuannya adalah membangun kecerdasan inti untuk AI fisik serbaguna yang melampaui otomatisasi satu tugas menuju pemecahan masalah kompleks bersama manusia

[GN⁺]

Komentar Hacker News

• Sebagai peneliti DeepMind yang ikut mengembangkan model ini, DeepMind adalah tempat yang bagus untuk bekerja. Ini adalah salah satu sedikit lab unik yang memungkinkan berpindah di hampir semua bidang terkait kecerdasan, seperti Gemini·Gemma, robotika, cuaca, dan sains seperti biologi, serta memiliki banyak rekan kerja hebat, jadi layak dipertimbangkan untuk bergabung

  • Penasaran apa tepatnya perbedaan antara pengembangan model frontier dan pengembangan model terbuka. Model terbuka biasanya lebih kecil dan melewati lebih banyak pemeriksaan keamanan, tetapi pada dasarnya tampak mirip, dan rasanya sebagian besar riset AI umum berlaku untuk keduanya
  • Saya sungguh penasaran bagaimana penyalahgunaan oleh pemerintah, perusahaan, dan militer dicegah. Saya juga ingin tahu seberapa banyak teknologi ini dipakai untuk meningkatkan kehidupan orang biasa, dan seberapa banyak dipakai untuk memperkuat pengawasan dan kontrol
  • Ungkapan “satu-satunya lab penelitian” berlebihan. Allen Institute for AI(AI2) juga menangani sebagian besar area meski kurang di level frontier, dan dukungan NSF sebesar 152 juta dolar AS serta kerja sama dengan Nvidia juga menjanjikan. Di bidang robotika ada MolmoBot, MolmoSpaces, dan MolmoAct: https://allenai.org/embodied-ai
  • Sebagai direktur eksekutif AGI Society, yang menyelenggarakan AGI Conference sejak 2007, saya ingin mengundang Anda untuk mempresentasikan riset ini di acara tahun depan. Presentasi Alexander Lerchner tahun ini sangat bagus, dan jika Anda memberi tahu email pilihan Anda, saya akan menghubungi

• Anthropic dan OpenAI mendapat 80% perhatian, tetapi cakupan Google yang mampu menangani model kelas frontier, cepat, dan berbobot terbuka hingga pembuatan gambar, video, musik, dan robotika sangat mengesankan

  • Google diam-diam bergerak seperti perusahaan yang kompeten di garis depan berbagai teknologi baru, sementara chatbot terbaru dari OpenAI dan Anthropic mendapat liputan berlebihan seperti “AI tak terkendali” dan “terlalu berbahaya sehingga harus dilarang”. Siklus hype ini menopang valuasi perusahaan rintisan pesaing yang tidak masuk akal
  • Google DeepMind mengembangkan konsep-konsep baru di garis depan AI, sementara tempat lain sedang mengejar beberapa persen skor benchmark
  • Riset pelipatan protein dan Nobel juga tidak boleh dilewatkan

• Gerakan robotnya lambat dan tidak mulus, tetapi ChatGPT awal juga terlihat sangat lamban. Jika berkembang secepat LLM, dalam beberapa tahun cakupan pemakaiannya bisa sangat meluas

  • Pekerjaan rumah tangga tidak masalah meski memakan waktu lebih lama daripada jika dilakukan manusia. Cukup kalau pembersihan selesai sebelum pulang kerja
  • Dari GPT-2 ke GPT-3 dan dari Gemini Robotics 1 ke 2 sama-sama memakan 15 bulan, tetapi yang pertama adalah lompatan besar, sedangkan yang kedua hampir tidak berubah: https://blog.google/products-and-platforms/products/gemini/h...
    Gerakan robot yang lambat dan statis serta gerakan yang cepat dan luwes memiliki tingkat kesulitan yang sama sekali berbeda. Jika bergerak cepat, inersia rotasi dari banyak sendi dan massa, serta perubahan keseimbangan, harus dihitung ratusan hingga ribuan kali per detik. Melipat kaus dengan probabilitas 90% saat diam itu mudah, tetapi tingkat keberhasilan 99% atau pelipatan cepat sangat sulit sampai sulit dipercaya
  • Ini adalah video promosi pertama yang tampak masuk akal bahkan pada kecepatan real-time. Namun, tidak jelas apakah tingkat keberhasilan 50~75% dalam materi lain berdasarkan percobaan pertama atau keberhasilan akhir
  • Cukup berani bahwa Google menantang Paradoks Moravec secara langsung: https://en.wikipedia.org/wiki/Moravec%27s_paradox
  • Gerakannya mulus tetapi lambat, kemungkinan besar demi keselamatan. Robot dengan motor kuat benar-benar bisa melukai manusia, sehingga robot industri pun beroperasi di dalam pagar pengaman
    Jangan berharap mereka meniru begitu saja gerakan inverse kinematics seperti boneka digital. Jika tujuan optimasinya adalah mengurangi konsumsi energi, gerakan lengan listrik multi-sendi bisa terlihat agak aneh

• Saya sudah menyerah pada ekspektasi terhadap robot humanoid karena keterbatasan aktuator. Hampir tidak ada inovasi sejak Honda ASIMO, dan rasanya tidak banyak orang yang ingin menaruh gumpalan logam goyah seberat 80 kg di rumah atau tempat kerja
  Revolusi robot terakhir mungkin justru memakai tubuh manusia atau hewan hasil rekayasa genetika dengan otak yang digantikan. Beruang yang dibuat tanpa kesadaran lalu dikendalikan dengan Neuralink dan LLM mungkin lebih cocok sebagai pekerja konstruksi, hewan cepat untuk pengiriman, dan jerapah untuk gudang

  • Jerapah hanya tinggi, tetapi hampir tidak bisa mengangkat beban, jadi kegunaannya di gudang patut dipertanyakan. Klaim bahwa tidak ada inovasi aktuator juga sulit dipercaya; aktuator MIT Cheetah sama sekali berbeda dari ASIMO dalam hal backdrivability dan kekakuan variabel, dan riset yang menggabungkan elemen elastis juga aktif
  • Cortical Labs meneliti bidang ini dan pernah merilis demo Doom. Bentuk biologis memang serbaguna, tetapi untuk banyak tugas bentuk logam lebih tangguh, dan otak memiliki bandwidth rendah serta latensi tinggi, sehingga chip silikon lebih unggul untuk inferensi
    Saya melihat banyak pekerjaan menarik di bidang 3D printing dan merasa aktuator juga sudah banyak berkembang, jadi ingin tahu lebih lanjut tentang klaim bahwa bidang ini tertinggal
  • Saya sama sekali tidak setuju bahwa aktuator tidak berkembang. Sejak riset MIT Mini Cheetah oleh Ben Katz, densitas torsi dan harga telah membaik drastis, dan aktuator Unitree G1 yang berbasis itu kecil tetapi kuat serta mendekati penggerak quasi-direct. Motor BD E-Atlas juga tampak punya densitas torsi yang bagus meski sepenuhnya berpendingin pasif, dan belum pernah berkembang secepat sekarang
  • Masa depan seperti itu mengerikan, tetapi karena tingkat kesulitan teknis dan hambatan izin eksperimen, sepertinya masih sangat jauh. Namun saya setuju bahwa bentuk humanoid adalah jalan buntu
    Cukup buat kotak besar seperti mesin pencuci piring yang memproses input dan menghasilkan output. Jauh lebih efisien membuat alat pelipat pakaian yang sesuai dengan mesin cuci dan pengering atau dapur robot terintegrasi daripada meniru tangan manusia
  • Memodifikasi makhluk hidup tampak beberapa orde magnitudo lebih sulit daripada membuat robot humanoid. Kita bahkan masih belum bisa membuat hamburger dengan harga yang layak jual tanpa sapi

• Dibutuhkan orang yang bisa menilai secara jujur tingkat nyata teknologi ini. Saya penasaran dengan peralatan pengukuran yang diperlukan, kualitas interaksi, serta kinerja pada tugas sehari-hari yang tidak terstruktur seperti memutar gagang pintu, pemulihan setelah jatuh, dan penghindaran tabrakan

  • Saya bekerja di bidang ini dan menulis skripsi sarjana tentang model vision-language-action (VLA) yang bukan humanoid, pada dasarnya menghubungkan ChatGPT ke lengan robot. Ini masih belum sampai tahap praktis, dan untuk komponen rakitan ada kalanya bahkan tidak ada nama yang tepat, sehingga robot mungkin tidak bisa menangani instruksi ambigu yang masih bisa dipahami manusia.
    Juga masih kurang data akurasi yang dapat dipercaya, dan benchmark seperti LIBERO hampir semuanya sudah mencapai 95% sehingga jenuh, sementara tiap perusahaan dan peneliti memakai evaluasi mereka sendiri. Banyak juga perusahaan yang memanipulasi demo atau mengoperasikan robot secara berbahaya di dekat manusia.
    Dibanding gagang pintu atau pemulihan setelah jatuh, yang lebih sulit justru menyelaraskan batu bata atau komponen secara presisi dalam proses manufaktur. Daripada humanoid yang punya banyak sendi rumit untuk dikelola, lengan robot beroda seperti Mobile ALOHA tampak lebih cocok untuk merapikan kamar hotel atau memasak di restoran dengan pekerjaan yang konsisten
  • Masih di tingkat GPT-1, tetapi terasa seperti momen setara GPT-2 sudah dekat
  • Tolok ukur verifikasi yang sebenarnya adalah apakah startup yang menjual robot layanan rumah tangga benar-benar berhasil mendapatkan pengguna berulang. Saya sudah membuat beberapa prototipe robot secara profesional, dan kemajuannya memang jelas, tetapi masih sangat jauh dari cukup stabil untuk dipakai konsumen umum dalam pekerjaan remeh sehari-hari.
    Seperti argumen di https://rodneybrooks.com/why-todays-humanoids-wont-learn-dex..., ketangkasan tangan juga merupakan masalah hardware; gripper bukanlah tangan. Bahkan manipulasi dengan banyak jari pun masih sulit, dan sensornya juga belum memadai
  • Di industri robot ada sangat banyak tipu daya, mulai dari video yang diatur sangat rapi hanya untuk demo tertentu sampai penipuan yang mengklaim otonom padahal sebenarnya dikendalikan jarak jauh. Robot anjing dan kendaraan darat nirawak juga kurang praktis, berbeda dari hype yang beredar.
    Robotics, kecuali bidang cobot, adalah industri ceruk; pengecualiannya adalah drone yang punya potensi besar bila masalah waktu melayang bisa diatasi. Humanoid masih jauh dari berguna di lingkungan nyata, dan sebagian besar kendaraan darat nirawak bahkan tidak bisa mundur di tangga

• AI robotics adalah revolusi yang sesungguhnya. Saat ini, pemilik modal masih membutuhkan tenaga kerja manusia untuk mendapatkan lebih banyak modal, tetapi ketika biaya inferensi robot menjadi lebih rendah daripada biaya tenaga kerja, tenaga kerja manusia tidak akan lagi dibutuhkan. AI memang memengaruhi pekerjaan nonfisik juga, tetapi sebagian besar populasi dunia bekerja di pekerjaan fisik

  • Jika mengabaikan biaya selain inferensi dan menerima keadaan akhir itu, hasilnya akan sangat baik bila modal didemokratisasi, tetapi akan mendekati kiamat bila terus terkonsentrasi pada segelintir kelas
  • Ini bukan cuma soal biaya inferensi. Kerusakan akibat salah menangani benda atau makhluk hidup di dunia nyata sama sekali berbeda dari aplikasi nonmaterial, sehingga mungkin diperlukan failsafe dan pembatas independen
  • Saya ragu apakah perubahan itu benar-benar hal yang baik

• Sebagai pria 47 tahun tanpa anak, saya berharap punya peluang mendapat bantuan robot perawat di masa tua

  • Mengejutkan bahwa kemungkinan melihat droid seperti di Star Wars semasa hidup kita kini makin besar, tetapi semua orang tampaknya menerimanya seolah ini hal yang biasa saja
  • Bahkan sekarang pun ini akan sangat berguna bagi saya sebagai orang berusia 50-an yang memiliki orang tua berusia 80-an. Banyak teman di sekitar saya juga berada dalam situasi serupa

• Banyak pekerjaan rumah tangga bisa diotomatisasi tanpa humanoid. Roomba membersihkan lantai, dan rumah bisa dilengkapi sistem otomatis untuk pembuangan sampah serta memasukkan, memilah, dan menyimpan bahan makanan.
  Humanoid terasa tidak nyaman dan sulit dipercaya. Saya ragu apakah saya bisa tidur nyenyak jika robot seperti itu ada di dalam rumah, terutama bila saya tidak setuju dengan pandangan politik pembuatnya

  • Di apartemen, townhouse, dan rumah semi-detached yang sudah ada, memasang fasilitas semacam itu pada praktiknya nyaris mustahil, dan bahkan pada rumah tapak baru pun itu solusi yang mahal. Karena lingkungan yang ada saat ini dibuat untuk manusia, bentuk humanoid memang berguna
  • Roomba hanya membersihkan 80~90% lantai dan juga tidak sebersih vacuum cleaner sungguhan. Jika memperhitungkan membereskan mainan anjing dan mengosongkan penampung debu, kenyataannya mungkin hanya sekitar 60%, jadi untuk menangani 100% dibutuhkan humanoid utuh
  • Seharusnya tidak boleh ada situasi yang menuntut kita mempercayai robot. Jika Roomba atau mesin pencuci piring malfungsi, keduanya tidak bisa memotong jari kita atau menguping maupun mengawasi kita; inilah robot yang baik

• Saya bertanya-tanya mengapa, di bumi yang terbatas dan dengan jumlah manusia yang terus bertambah, kita malah ingin menambahkan tubuh robot juga. AI di data center setidaknya tidak bersaing dengan saya secara fisik bahu-membahu, tetapi saya tidak paham mengapa kita menginginkan robot yang canggih padahal manusia sudah ada

  • Ada banyak tanda bahwa ekspansi manusia yang tak terbatas akan berhenti. Alasan jelas mengapa robot canggih dibutuhkan adalah untuk mengambil alih pekerjaan yang tidak ingin dilakukan manusia karena terlalu berat sampai merusak punggung, kotor, berbahaya, atau membosankan

• Jika seluruh LLM dipakai untuk menggerakkan robot, itu terlalu berat sehingga bahkan dengan GPU kuat pun latensi minimumnya kemungkinan 1~2 detik, jadi tidak cocok untuk robot praktis.
  Computer vision sebaiknya ditangani machine learning, tetapi penggerak gerakan harus diserahkan pada kontrol linear/nonlinear berbasis PID tradisional; jika seluruh LLM dipakai sebagai pengendali, tampaknya akan menabrak batas hardware

  • Saat ini masalah latensi itu memang benar, tetapi masih ada banyak ruang untuk optimasi inferensi, jadi dalam waktu dekat kemungkinan bisa berubah. Kontrol berbasis analisis/optimasi seperti PID sudah stagnan selama puluhan tahun, sementara kontrol end-to-end telah menunjukkan kinerja unggul dalam efisiensi energi berjalan dan ketahanan agar tidak jatuh bahkan saat menginjak tumpukan daun, serta jauh lebih mudah diterapkan ke robot baru.
    Perusahaan seperti Physical Intelligence juga menunjukkan hasil bagus dengan arsitektur hierarkis yang menggabungkan lapisan cepat dan lapisan lambat untuk sekaligus mengatasi kecerdasan dan latensi
  • Nvidia menjalankan VLA 2 miliar parameter pada 10Hz di chip mereka, dan setahu saya model 500 juta parameter yang mereka rilis secara terbuka juga berjalan pada 10Hz