Xiaomi-Robotics-1 - Model fondasi robot yang dilatih dengan 100 ribu jam data nyata

• Model fondasi yang mengurangi kekurangan data pada model kebijakan robot, dengan pra-pelatihan menggunakan 100 ribu jam lintasan UMI yang tidak bergantung pada robot tertentu, lalu pelatihan lanjutan dengan data robot nyata
• Memberi anotasi otomatis pada lebih dari 1.700 skenario untuk mempelajari kemampuan generasi aksi umum, lalu dalam pelatihan lanjutan diselaraskan dengan bentuk robot dan perintah bahasa alami
• Seiring bertambahnya data pra-pelatihan dan ukuran model, galat aksi validasi menurun; setelah pelatihan lanjutan, tingkat keberhasilan robot nyata yang diukur pada lingkungan dan objek yang belum dikenal juga meningkat konsisten tanpa tanda-tanda jenuh
• Dengan demonstrasi rata-rata kurang dari 10 jam per tugas, mencatat tingkat keberhasilan keseluruhan 75% pada pengemasan telepon, pengisian ulang printer, memasukkan cucian, dan pengemasan kotak; dengan rata-rata kurang dari 40 jam, mencapai 85%
• Mencatat performa terbaik di RoboCasa, RoboCasa365, VLABench, dan RoboDojo, menunjukkan bahwa efek generalisasi dari pra-pelatihan UMI skala besar berlanjut ke adaptasi robot nyata dan evaluasi standar

---

Pembelajaran dua tahap untuk melampaui hambatan data robot

• Model berbasis bahasa dan visi meningkat performanya seiring bertambahnya data, parameter, dan komputasi, tetapi penskalaan model kebijakan robot selama ini terbatas oleh kurangnya data berkualitas tinggi berskala besar
• Xiaomi-Robotics-1 menggunakan metode pembelajaran dua tahap: pra-pelatihan dengan data UMI skala besar yang tidak bergantung pada robot tertentu, lalu pelatihan lanjutan dengan data robot nyata yang relatif sedikit
• Dengan ini, mereka mengevaluasi pola penskalaan model kebijakan robot dan apakah peningkatan dari pra-pelatihan dapat ditransfer ke performa robot nyata

Komposisi data pra-pelatihan dan pelatihan lanjutan

• Data pra-pelatihan terdiri dari 100 ribu jam lintasan UMI
  • Mencakup berbagai tugas dan lebih dari 1.700 skenario, termasuk rumah, fasilitas komersial, lokasi industri, dan ruang luar
  • Mengembangkan pipeline anotasi otomatis yang membagi lintasan menjadi segmen berdurasi tetap, lalu mencatat perubahan status adegan di tiap segmen dalam bahasa alami
• Untuk pelatihan lanjutan digunakan dataset yang mencakup beberapa bentuk robot
  • Data robot nyata yang dikumpulkan sendiri
  • Data robot open-source yang telah difilter
  • Data UMI berkualitas tinggi yang dipilih secara ketat
• Data internal mencakup lebih dari 7.200 jam tugas robot nyata yang dikumpulkan di rumah sungguhan
  • Mencakup tugas seperti merapikan sofa, mengelompokkan lemari sepatu, dan menyimpan peralatan dapur
• Data UMI untuk pelatihan lanjutan diberi anotasi secara manual oleh manusia untuk segmen waktu dan prompt perintah
  • Ini berbeda dari deskripsi transisi status yang dibuat otomatis dan digunakan pada data pra-pelatihan

Pra-pelatihan UMI dan anotasi otomatis

• Pra-pelatihan adalah tahap untuk mempelajari representasi generasi aksi umum dengan mengekspos model ke berbagai lingkungan dan tugas nyata
• Karena skala data menyulitkan anotasi manual, mereka membangun pipeline otomatis menggunakan model visi-bahasa (VLM) yang kuat
  • Membagi video panjang menjadi klip berdurasi tetap
  • VLM mendeskripsikan perubahan status gripper dan objek yang berinteraksi di tiap klip
  • Menghasilkan korpus berskala besar yang menggabungkan lintasan manipulasi nyata dengan deskripsi bahasa yang presisi
• Model dilatih untuk menghasilkan aksi yang mengubah adegan sesuai dengan transisi status yang dideskripsikan dalam bahasa
• Seiring bertambahnya data dan ukuran model, terlihat pola penskalaan yang jelas: galat aksi validasi terus menurun

Penyelarasan dengan robot nyata dan perintah bahasa alami

• Pelatihan lanjutan menyelaraskan kemampuan generasi aksi yang diperoleh dari pra-pelatihan pada dua sumbu
  • Penyelarasan bentuk robot: memetakan kemampuan generasi aksi umum ke robot fisik dengan data robot nyata multi-bentuk berkualitas tinggi
  • Penyelarasan perintah: mengubah model yang sebelumnya menerima deskripsi transisi status adegan agar memahami dan menjalankan langsung perintah bahasa alami
• Model yang telah menjalani pelatihan lanjutan dapat digunakan untuk berbagai tugas gerak dan manipulasi nyata tanpa penyesuaian tambahan
• Untuk memastikan apakah efek penskalaan dari pra-pelatihan ikut berpindah, performa robot nyata dievaluasi pada lingkungan dan instance objek yang belum pernah dilihat
• Seiring bertambahnya data pra-pelatihan dan ukuran model, tingkat keberhasilan robot nyata juga meningkat secara stabil dan dapat diprediksi
  • Model pra-pelatihan yang lebih kuat tetap menunjukkan performa robot nyata yang lebih tinggi setelah pelatihan lanjutan
  • Tidak ada tanda-tanda kejenuhan pada peningkatan tingkat keberhasilan akibat bertambahnya skala data dan model

Mempelajari tugas baru dengan sedikit data

• Xiaomi-Robotics-1 beradaptasi dengan tugas baru yang kompleks hanya dengan beberapa jam demonstrasi robot nyata per tugas
• Pengemasan telepon, pengisian ulang printer, memasukkan cucian, dan pengemasan kotak digunakan sebagai tugas evaluasi
• Dengan demonstrasi rata-rata kurang dari 10 jam per tugas, mencatat tingkat keberhasilan keseluruhan 75%, jauh melampaui model acuan Ï0.5 yang mencapai 40% dengan anggaran data yang sama
  • Pengemasan telepon: XR-1 70%, Ï0.5 30%
  • Pengisian ulang printer: XR-1 70%, Ï0.5 20%
  • Memasukkan cucian: XR-1 80%, Ï0.5 40%
  • Pengemasan kotak: XR-1 80%, Ï0.5 70%
• Jika ditingkatkan menjadi rata-rata kurang dari 40 jam per tugas, tingkat keberhasilan keseluruhan naik menjadi XR-1 85% dan Ï0.5 53%
  • Pengemasan telepon: XR-1 80%, Ï0.5 40%
  • Pengisian ulang printer: XR-1 60%, Ï0.5 20%
  • Memasukkan cucian: XR-1 100%, Ï0.5 50%
  • Pengemasan kotak: kedua model 100%

Performa pada empat benchmark simulasi

• Mencatat performa terbaik di keempat benchmark simulasi utama yang menekankan generalisasi
  • RoboCasa: tingkat keberhasilan rata-rata 74,5%, peningkatan 2,6% dibanding peringkat kedua 72,6%
  • RoboCasa365: 57,4%, peningkatan 23,2% dibanding peringkat kedua 46,6%
  • VLABench: 59,1%, peningkatan 11,1% dibanding peringkat kedua 53,2%
  • RoboDojo: 13,93%, peningkatan 58,3% dibanding peringkat kedua 8,80%
• Efek generalisasi dan penskalaan yang diperoleh dari pra-pelatihan juga berlanjut ke evaluasi simulasi standar

Hasil penskalaan dan cakupan pemanfaatan

• Pra-pelatihan UMI skala besar mengurangi bottleneck data robot, sementara penyelarasan dengan robot nyata dan perintah mentransfer kemampuan generasi aksi umum ke robot fisik
• Peningkatan performa seiring skala data pra-pelatihan dan ukuran model langsung tercermin pada performa siap pakai robot nyata setelah pelatihan lanjutan
• Model fondasi yang telah selesai dapat beradaptasi ke tugas baru dengan sedikit data, sekaligus meraih performa terbaik di empat benchmark simulasi yang mengevaluasi generalisasi
• Sebagai contoh penggunaan nyata, mereka juga merilis video pengemasan koper yang tidak diedit

[GN⁺]

Komentar Hacker News

• Saya tersenyum lebar saat menonton videonya, sampai-sampai tidak mengerti reaksi pesimistis di sini. Bukankah ini berarti akhirnya ada robot pencuci pakaian, dan modelnya setidaknya dirilis gratis? Inilah masa depan yang kita harapkan, dan robotika memang seharusnya dipakai untuk hal seperti ini

  • Di HN ada cukup banyak sentimen anti-Tiongkok, baik tersirat maupun terang-terangan, sehingga kemungkinan besar itu turut memengaruhi reaksi pesimistisnya
  • Hasil-hasil terbaru dari Tiongkok di bidang kecerdasan buatan dan robotika memberi manfaat bersih besar bagi seluruh dunia. Open source adalah hal baik, dari mana pun asalnya
  • Kecerdasan buatan atau model bahasa besar terbaik tidak akan muncul sebagai chatbot tanya-jawab lain atau otomatisasi email/esai, melainkan dari robotika. Saya berharap ia bisa mencuci piring dan pakaian, bahkan menemukan barang yang lupa saya taruh di mana
  • Fakta bahwa tautan yang menunjukkan teknologi yang mustahil hanya beberapa tahun lalu terkubur di bawah berita tentang browser mirip Kagi memperlihatkan prioritas pembaca HN. Dunia Barat bisa tertinggal dalam robotika karena prioritas keliru para investor ventura dan developer
  • Ini teknologi paling menakjubkan yang pernah saya lihat seumur hidup, sampai terasa singularitas sudah tiba. Tidak lama lagi mungkin robot seperti ini akan merawat dan membesarkan bayi

• Video ini memuat beberapa tugas yang secara klasik sangat sulit, jadi kalau Anda tidak terkesan, bersyukurlah Anda tidak perlu membuatnya sendiri 10 tahun lalu
  Di dalamnya ada koordinasi dua tangan, tubuh bergerak, objek yang bisa berubah bentuk, titik manipulasi tipis seperti ritsleting tas, dan gerakan menggenggam beberapa objek sekaligus. Masing-masing telah diteliti secara terpisah di bidang persepsi atau manipulasi, dan merupakan masalah yang bisa menghasilkan beberapa disertasi doktoral

• Melihat robot bertangan dua, rasanya banyak pekerjaan akan lebih mudah jika ada tangan ketiga dengan kemampuan berbeda, seperti grip berbentuk tentakel. Makin banyak anggota tubuh, makin banyak pula masalahnya, tetapi manfaat dari tambahan cara untuk menahan dan memutar objek sangat besar

  • Untuk melatih tangan ketiga, dibutuhkan banyak data dari kendali langsung manusia. Untuk dua tangan ada banyak video perilaku manusia, tetapi tidak demikian untuk anggota tubuh tambahan, jadi ke depannya robot mungkin harus memperbaiki diri sendiri atau muncul metode optimasi baru
  • Dalam novel fiksi ilmiah The Mote in God's Eye, ada alien bertangan tiga. Karena ada satu tangan untuk menahan objek di sekitar perut dan dua tangan untuk pekerjaan presisi, muncul ungkapan seperti “di satu sisi, di sisi lain, dan dengan tangan penahan”
  • Siapa pun yang pernah memperbaiki mobil tahu bahwa satu tangan tambahan selalu berguna
  • Kita juga membutuhkan semacam Hukum Amdahl untuk jumlah anggota tubuh

• Saya ingin menyebut cara menerima pakaian yang dilipat robot meski agak kusut dan asal-asalan, karena tetap lebih praktis daripada melipat rapi dan menyetrika, sebagai Slopfold

  • Mesin kopi juga awalnya kalah dari barista, tetapi terus berkembang dan sekarang dalam banyak kasus lebih baik. Teknologi umumnya dimulai dari kenyamanan yang belum sempurna seperti ini, lalu membaik
  • Melihat robot melipat pakaian, ia sudah lebih jago daripada saya
  • Melipat pakaian itu sendiri adalah kompromi antara membiarkannya terbentang dan menggantungnya di hanger

• Laju perkembangannya sangat cepat, dan kecerdasan buatan akan mendominasi masa depan. Menurut saya kita baru menggores permukaan dari apa yang mungkin dilakukan, tetapi secara pesimistis saya merasa prediksi Bill Joy cukup visioner
  https://www.wired.com/2000/04/joy-2/

• Bagian yang paling saya nantikan dari masa depan kecerdasan buatan yang diperkirakan adalah otomatisasi pekerjaan rumah tangga. Di Timur, asisten rumah tangga relatif murah dan mudah diakses, tetapi di Barat mempekerjakan pembersih rumah atau pembantu hampir seperti kemewahan. Saya menghabiskan sangat banyak waktu setiap minggu untuk mengurus rumah, dan menunggu hari ketika waktu itu bisa saya ambil kembali

  • Bahkan di Timur pun, kebanyakan orang tidak bisa memakai jasa asisten rumah tangga dengan murah dan mudah. Itu terlihat demikian karena orang miskin dikeluarkan dari kategori “kebanyakan”
  • Untuk pembersihan rumah sungguhan, saya rasa robot yang lebih maju daripada Roomba akan sulit lebih murah daripada asisten rumah tangga
  • Saya penasaran apa yang akan dilakukan orang dengan waktu luang yang begitu ingin mereka ambil kembali

• Videonya makin bagus karena tidak diedit. Kita bisa menyebut banyak hal yang belum bisa dilakukan, seperti tangga atau pintu sempit, tetapi pekerjaan yang sudah mampu dilakukan saja sudah menakjubkan, dan panel chat membuat interaksinya juga lebih baik

• Arah yang tepat adalah merancang robot non-humanoid. Ke depannya, alat dan peralatan rumah tangga juga akan berubah agar bisa dipakai bersama oleh manusia dan robot, dan tali ritsleting pada tas sepatu menuntut presisi yang terlalu tinggi

  • Sudah ada cukup bukti bahwa pandangan ini kini keliru. Sampai beberapa bulan lalu, ini memang pandangan standar de facto di komunitas robotika, tetapi bahkan sebelum produksi massal dimulai, harga robot humanoid sudah turun drastis
    Lebih masuk akal jika kelincahan, daya tahan baterai, dan kekuatan humanoid murah terus membaik dengan memanfaatkan investasi besar pada pembelajaran tugas dunia nyata, daripada mendesain ulang jutaan barang sehari-hari agar sesuai dengan robot khusus tugas saat ini
  • Robot non-humanoid yang menangani pekerjaan membosankan sudah banyak dipakai, misalnya untuk pemeliharaan bawah air. Melakukan pekerjaan mirip manusia tidak berarti harus berbentuk manusia
    Saya ingin kawanan robot berbentuk serangga yang membasmi nyamuk, robot berbentuk ular yang memperbaiki pipa, dan robot berbentuk laba-laba yang membersihkan permukaan
  • Lebih baik menggabungkan kedua pendekatan. Ada benda seperti pintu yang memang sudah disesuaikan untuk tangan dan kaki, tetapi bentuk grip lain atau lengan tambahan bisa membantu
  • Robot tidak perlu terlihat seperti manusia; cukup beberapa lengan yang bisa menyelesaikan pekerjaan dengan rapi

• Beberapa tahun lagi, Home Assistant dan LLM mungkin bisa mengoordinasikan pekerjaan rumah saat kita sedang keluar. LLM dapat membuat daftar barang di rumah lalu mengirim penyedot debu dan robot untuk membereskannya
  LLM multimodal dapat menganalisis foto untuk membedakan barang yang harus dimasukkan ke mesin pencuci piring atau mesin cuci dengan barang yang perlu dipoles, serta mengurus penataan lemari, merapikan tempat tidur, hingga merawat tanaman. Ia bisa bekerja sepanjang hari selama panel surya memasok energi

• Saya mengurus pekerjaan rumah penuh waktu, jadi saya benar-benar menginginkan robot ini. Saya benci melipat cucian dan selalu menundanya, jadi meski tidak ada fungsi memasukkan pakaian ke mesin cuci, cukup bisa melipat saja sudah memadai