Mistral merilis Robostral Navigate, model navigasi robot berkamera tunggal

• Ini adalah model embodied navigation 8B pertama dari Mistral yang memungkinkan robot bergerak di lingkungan kompleks hanya dengan satu kamera RGB dan instruksi bahasa alami
• Pada validation unseen R2R-CE, model ini mencatat tingkat keberhasilan 76,6%, mengungguli bukan hanya pendekatan kamera tunggal tetapi juga sistem terbaik berbasis depth dan multi-kamera
• Model ini menggunakan pendekatan pointing yang memprediksi koordinat gambar target pada tampilan saat ini serta arah saat tiba; untuk target di luar bidang pandang, pendekatan ini diganti dengan perintah perpindahan dalam kerangka koordinat lokal robot
• Model ini dibangun secara internal tanpa bergantung pada VLM open source yang sudah ada, dan dilatih menggunakan sekitar 400 ribu trajectory serta 6.000 scene yang dibuat melalui simulasi
• Dengan prefix-caching, token pelatihan dikurangi 22 kali lipat, lalu pembelajaran penguatan online CISPO meningkatkan tingkat keberhasilan sebesar 3,2% lagi

---

Navigasi robot berbasis kamera tunggal

• Robostral Navigate adalah model embodied navigation pertama dari Mistral yang menerima masukan gambar RGB dan instruksi bahasa alami agar robot dapat bergerak di lingkungannya
• Contoh instruksi berbentuk seperti, “keluar dari lobi, lewati koridor, masuk ke ruang peralatan, lalu lihat rak kedua dan berhenti”
• Berbeda dari pendekatan yang memakai sensor depth, LiDAR, atau beberapa kamera sekaligus, model ini hanya menggunakan satu kamera RGB biasa
• R2R-CE (Room-to-Room in Continuous Environments) validation unseen adalah benchmark untuk bergerak mengikuti instruksi di lingkungan yang tidak termasuk dalam pelatihan
  • Robostral Navigate mencatat tingkat keberhasilan 76,6% pada validation unseen
  • 9,7 poin lebih tinggi daripada pendekatan kamera tunggal terbaik
  • 4,5 poin lebih tinggi daripada sistem terbaik yang menggunakan depth atau multi-kamera

Performa benchmark dan kompatibilitas robot

• Model ini dirancang agar robot dapat bergerak secara mandiri di ruang kompleks seperti kantor, bangunan hunian dan komersial, serta lingkungan luar ruang
• Dengan satu instruksi saja, robot dapat menyelesaikan keseluruhan tugas sendiri di ruang nyata yang memiliki manusia dan rintangan
• Kinerja utama dan kondisi operasionalnya adalah sebagai berikut
  • Mencatat performa state-of-the-art di R2R-CE
  • Tingkat keberhasilan validation seen adalah 79,4%
  • Tingkat keberhasilan validation unseen adalah 76,6%
  • Berjalan dengan satu kamera RGB tanpa LiDAR atau sensor depth
  • Model 8B yang dibangun internal, dan pelatihannya sepenuhnya berbasis simulasi
  • Berjalan pada robot beroda, berkaki, dan terbang, serta melakukan generalisasi terhadap perbedaan ukuran robot
  • Tangguh terhadap perbedaan parameter intrinsik kamera
  • Menggunakan pelatihan efisien token melalui prefix-caching

Metode pergerakan berbasis pointing

• Robostral Navigate memprediksi lokasi berikutnya yang harus dituju robot dengan metode pointing berdasarkan tugas dan riwayat observasi
• Yang diprediksi adalah koordinat gambar yang sesuai dengan lokasi target di dalam tampilan kamera saat ini, serta arah yang dibutuhkan saat tiba
• Berbeda dari perintah yang bergantung pada metric displacement, pointing secara alami lebih tangguh terhadap perubahan parameter intrinsik kamera dan skala dunia nyata
• Jika lokasi target berada di luar bidang pandang saat ini, pendekatan pointing saja sulit digunakan
  • Dalam kasus ini, pendekatan tersebut diganti dengan perintah perpindahan dalam kerangka koordinat lokal robot
  • Contohnya berbentuk seperti “maju 2 meter, bergerak 1,5 meter ke kiri, lalu berputar 25 derajat ke kiri”

Model internal dan data simulasi

• Robostral Navigate dibangun sepenuhnya secara internal tanpa bergantung pada VLM open source yang sudah ada
• Untuk inisialisasi, digunakan model vision-language Mistral yang dikhususkan untuk tugas grounding seperti pointing, counting, dan object localization
• Navigasi dipelajari sebagai cara bergerak setelah memahami lokasi objek, sehingga merupakan perluasan dari kemampuan grounding tersebut
• Seluruh pipeline pembuatan data dibangun di dalam simulasi
  • Hal ini memungkinkan perbaikan iteratif data dilakukan dengan cepat
  • Dataset akhirnya terdiri dari sekitar 400 ribu trajectory dan 6.000 scene

Pelatihan efisien dan pembelajaran penguatan online

• Komponen kunci dari supervised learning adalah algoritme pelatihan efisien berbasis prefix-caching
• Strategi tree-based attention masking memampatkan seluruh episode menjadi satu sequence
  • Semua time step dapat dilatih dalam satu forward pass
  • Kebocoran informasi antar-time step dicegah
• Dibandingkan pelatihan yang menggunakan satu sampel per time step, jumlah token pelatihan dikurangi 22 kali lipat sambil mempertahankan sinyal pelatihan
• Ini mengubah proses pelatihan yang secara normal memakan waktu berbulan-bulan menjadi proses yang selesai dalam hitungan hari
• Setelah supervised learning, performa ditingkatkan dengan algoritme pembelajaran penguatan online CISPO
  • Memungkinkan model belajar dari trial and error, pulih dari kegagalan, dan memperoleh perilaku eksploratif
  • Mengurangi masalah distribution shift pada behavior cloning biasa
  • Tahap ini saja meningkatkan tingkat keberhasilan sebesar 3,2%
  • Karena belum terlihat plateau, angka ini masih bisa ditingkatkan lebih jauh dengan pelatihan dan eksperimen tambahan

Langkah berikutnya menuju embodied agent terpadu

• Robostral Navigate merupakan langkah pertama menuju embodied agent terpadu
• Mistral memandang navigasi sebagai kemampuan dasar untuk robotika umum
• Ini menunjukkan bahwa dengan menggabungkan simulasi skala besar, pelatihan efisien, dan grounding prior yang kuat, embodied navigation state-of-the-art dapat dicapai dengan model yang ringkas dan satu kamera RGB saja
• Mistral sedang memperluas tim robotikanya, dan tengah merekrut ilmuwan riset serta insinyur

[GN⁺]

Komentar Hacker News

• Mereka bilang “performa mutakhir di R2R-CE”, tetapi perlu ditegaskan bahwa R2R-CE adalah benchmark yang dibangun di lingkungan simulasi
  Mengalahkan benchmark ini kurang lebih semakna dengan membuat robot sangat jago di Minecraft atau video game lain. Keren memang, tetapi robot harus beroperasi di dunia fisik, bukan lingkungan digital
  Menilai performa sistem robot di dunia nyata sangat sulit. Jika performanya buruk, bahkan dibutuhkan banyak robot cadangan hanya untuk menyelesaikan evaluasi
  Artikelnya juga memuat video demo wajib berupa robot fisik yang bergerak dengan kecepatan 2x di lingkungan seperti lantai licin dan kantor yang hampir kosong. Ini sudah seperti adegan ikonik di bidang ini, dan di bagian akhir ada tiga orang yang dengan hati-hati melintasi jalur robot, yang justru mengurangi nilainya
  Tapi ini mirip dengan hype seputar Aloha beberapa tahun lalu. Bagus untuk membuat tim diakuisisi perusahaan teknologi besar atau mendapatkan dana untuk meneliti teknologi keren lebih lanjut, tetapi belum cukup untuk dianggap sebagai kemajuan nyata menuju robot pembantu rumah/office butler yang benar-benar bisa berkeliling di rumah atau kantor

• Secara implisit, dan semoga memang benar, ini tampaknya navigasi tanpa peta. Kalau begitu, ini mengesankan
  Jika ada peta lingkungan yang ditangkap заранее, tugas seperti ini jauh lebih mudah. Tetapi kalau dilakukan tanpa peta, itu luar biasa
  Dulu selalu ada masalah “robot yang diculik”, ketika robot sama sekali tidak bisa bergerak kalau tidak tahu posisinya. Di sini, selama instruksinya bisa ditafsirkan dari pandangan saat ini atau diikuti lewat dead reckoning, robot tampaknya bisa menjalankan instruksi itu

  • Saya bekerja di tim robotika Mistral, dan benar, ini pendekatan tanpa peta. Input-nya hanya prompt teks dan gambar kamera RGB depan
  • Bukankah SLAM modern atau VSLAM menyelesaikan masalah itu?
  • Jika sama sekali tidak memakai sensor dan tanpa geometri nyata, hanya dengan semacam token feed-forward terbaru, bisakah Anda menjelaskan kenapa adanya peta yang ditangkap sebelumnya membuat ini jauh lebih mudah?
  • Membuat semacam node eksplorasi tampak sangat menarik. Semacam menyelesaikan masalah semantic SLAM sambil bergerak
    Jika diberi instruksi “cari lift di lantai ini”, apakah ia bisa berkeliling membuat peta dan bertindak seperti manusia saat mencari lift?
    Model navigasi saat ini mengasumsikan penulis instruksi sangat memahami patokan visual yang berguna untuk bergerak, dan itu tidak realistis untuk sebagian besar use case

• Saya penasaran jalur realistis untuk benar-benar bisa mencoba ini. Saya ingin menghubungkannya ke OpenClaw untuk eksperimen hobi
  Impiannya adalah memasang OpenClaw ke robot pertanian. Memodifikasi mesin pemotong rumput RC berantai untuk penyiangan lereng curam, lalu memberinya tugas seperti, “jelajahi sepanjang pagar sambil memotret tanaman, temukan poison ivy dan honeysuckle invasif lalu semprot dengan sprayer Roundup, ulangi tiap minggu, lalu laporkan peta distribusi spesies, dan kalau baterai lemah kembali ke gudang untuk mengisi daya”
  Memasang OpenClaw ke bodi robot tidak sulit. Banyak videonya di YouTube. Tapi kalau benar-benar menggali apa yang dibuat orang, bagian mobilitas selalu yang paling kasar, dan dalam eksperimen saya juga begitu
  Model 8B seperti ini tampaknya sangat cocok untuk menyelesaikan masalah perencanaan jalur dan navigasi
  Kalau ada yang lebih familier dengan Mistral atau perusahaan serupa, saya penasaran apakah mereka tertarik pada eksperimen maker hobi seperti ini. Atau apakah mereka terutama hanya mencari mitra komersial? Saya bersedia membayar biaya lisensi untuk eksperimen, tetapi sebagai individu yang bekerja sendiri, mungkin mereka tidak akan mau bekerja sama kecuali ada komersialisasi

  • Akan keren kalau bisa membuat robot seperti OpenClaw dengan ini, tetapi modelnya sekarang tampaknya berfokus pada berjalan/memahami lingkungan lewat teks. Apa yang bisa dipakai agar robot bisa berinteraksi dengan dunia?
  • Untuk berjaga-jaga kalau ada yang penasaran seperti saya, saya bagikan apa yang sudah saya temukan sejauh ini. Saya masuk ke Discord Mistral dan bertanya ke bot Miscord, dan jawabannya adalah bahwa pengumuman dan dokumentasi resmi saat ini terutama berfokus pada kemitraan korporat dan industri seperti Airbus dan BMW
    Meski begitu, Robostral Navigate dirancang independen dari hardware sehingga bisa dipasang ke platform robot mana pun, dan karena hanya membutuhkan satu kamera RGB tanpa LiDAR atau sensor kedalaman, secara teori ini juga cocok untuk perangkat hobi
    Belum ada lisensi publik untuk hobi/non-komersial atau rilis open-source, dan harga atau jenjang lisensi untuk penggunaan pribadi juga belum diumumkan
    Hal yang bisa dilakukan sekarang adalah menghubungi langsung Mistral AI dan bertanya dengan jelas, “Saya seorang hobbyist yang ingin melakukan eksperimen pribadi dengan OpenClaw + Robostral Navigate, dan ingin mendiskusikan lisensi non-komersial”
    Ada baiknya juga memantau Discord atau forum Mistral, dan jika tidak ada respons, bisa menunggu perkembangan dari proyek robotika open-source seperti ROS atau Habitat yang mengimplementasikan fungsi serupa

• Sepertinya ini bukan model terbuka, tetapi jika dirilis, navigasi kamera tunggal akan jadi mudah digunakan dan memungkinkan banyak proyek robot hobi yang keren

• Keren sekali. Selamat untuk tim Mistral. Navigasi tanpa peta di luar ruangan sudah ada cukup lama, tetapi navigasi tanpa peta di dalam gedung relatif lebih baru
  Peneliti Stanford pernah melatih PIGEON, model visual yang menebak lokasi geografis dari gambar acak. Model itu tidak dirilis karena potensi penyalahgunaan privasi seperti stalking terlalu besar, dan sepertinya teknologi sejenis ada di balik robot ini. Kalau ada yang lebih tahu, silakan koreksi saya
  Tautan makalah PIGEON: https://lukashaas.github.io/PIGEON-CVPR24/

• Mistral tampaknya bermain luas sambil membidik ceruk. Ke depan ini bisa menjadi strategi cerdas

  • Mereka banyak berinvestasi pada otomatisasi kustom untuk mitra industri, jadi ini akan menjadi tambahan yang disambut baik dalam kotak peralatan mereka
  • Ini bisa jadi strategi yang sangat bagus. Dalam kekuatan komputasi murni, mereka sulit mengejar Anthropic atau OpenAI, tetapi ada sangat banyak aplikasi yang tidak membutuhkan tenaga sebesar itu, dan dalam banyak kasus lebih baik mengoptimalkan kecepatan dan efisiensi energi
  • Karena mereka berjalan dengan uang pajak saya alih-alih motif keuntungan

• Sangat minimalis, jadi terasa mengesankan
  Di sisi lain, ini mengingatkan pada video demo robot yang dulu diunggah para peneliti akademis dan Willow Garage sekitar tahun 2010
  Masalah dalam robotika adalah membuat demo yang terlihat meyakinkan itu mudah, tetapi membuatnya benar-benar berfungsi dengan baik dalam kasus umum itu sangat sulit. Kendaraan otonom adalah contoh yang bagus

  • Pada akhirnya, robotika itu sepenuhnya soal edge case. Sudah banyak aplikasi di mana robot yang menyelesaikan 95% tugas dengan sempurna itu memungkinkan, tetapi itu tetap belum cukup. Lima persen terakhir terlalu luas sehingga nyaris mustahil untuk ditutup

• Saya sudah siap menunggu robot asisten rumah tangga yang bisa menyiapkan makan malam, mencuci piring, dan membuang sampah
  Hanya saja, saya takut saat para asisten seperti itu dikerahkan untuk perang, entah demi saya atau melawan saya

  • Sejujurnya, banyak fiturnya terdengar oke, tetapi robot arus utama itu berat dan saya khawatir mereka bisa jatuh menimpa anak-anak. Anak-anak tidak dapat diprediksi dari sudut pandang mesin, meski bagi kebanyakan orang tua masih agak bisa diperkirakan
    Kecepatan sampling sensor dan kecepatan penalaran kecerdasan kita masih unggul beberapa orde magnitudo dibanding robot terbaik saat ini. Untuk sekarang, manusia jauh lebih halus dan lebih mampu
    Saya berharap perangkat yang cukup ringan bisa dibuat, tetapi mengingat kebutuhan bobot baterai, saya kurang paham bagaimana itu bisa terwujud
  • Sepertinya yang kedua akan datang jauh lebih dulu daripada yang pertama
  • Kalau robot yang dikirim alih-alih manusia untuk diledakkan drone, mungkin justru kita harus merasa lebih tenang
  • Untuk yang pertama, sepertinya kita masih harus menunggu cukup lama. Kecuali kalau kamu tidak masalah ada orang asing yang mengendalikan robot dari jarak jauh berkeliling di dalam rumah setiap kali robotnya bingung
  • Satu robot humanoid cerdas di setiap rumah, memangnya apa yang mungkin bisa salah. Kemungkinan besar itu ide yang sangat buruk

• Katanya “mencapai 76.6% di R2R-CE(Room-to-Room in Continuous Environments)”, jadi saya penasaran apa yang terjadi selama 23.4% sisanya

  • Dugaan saya masalah terbesarnya adalah hal seperti saat diberi perintah “pergi ke ruangan sebelah” tetapi ada dua pintu, atau “belok setelah dispenser air” tetapi ternyata ada wastafel. Tentu saja, seperti biasa, 1% terakhir itu sesulit 99% lainnya
    Kalau melihat error navigasi di halaman yang menampilkan grafik hasil, metrik yang paling relevan untuk pertanyaan ini muncul di sana. Model itu sangat bagus dalam “tidak bergerak ke arah yang salah”, jadi kemungkinan tingkat kegagalannya berasal dari kasus saat ia tidak bisa menemukan jalurnya
  • Mungkin memang gagal tiba di ruangan lain

• Ini benar-benar keren. Fakta bahwa robot bisa memakai arah yang ditunjuk dengan jari untuk memutuskan ke mana harus pergi adalah keputusan desain yang hebat, dan robotika benar-benar frontier berikutnya. Jadi saya pasti mendukung Mistral dalam hal ini