Institut Riset Toyota mengklaim terobosan dalam mengajarkan perilaku baru kepada robot

• Untuk dengan cepat memperbanyak tugas manipulasi presisi, Toyota Research Institute mengungkap pendekatan pembelajaran perilaku robot menggunakan AI generatif berbasis Diffusion Policy
• Pendekatan ini merupakan langkah menuju Large Behavior Models untuk robot, yakni upaya menerapkan peran yang dimainkan LLM dalam AI percakapan ke pembelajaran perilaku robot
• TRI mengatakan telah melatih lebih dari 60 keterampilan, termasuk menuang cairan, menggunakan alat, dan memanipulasi objek yang dapat berubah bentuk, dengan hanya menyediakan data baru tanpa menulis kode baru
• Pembelajaran menggabungkan demonstrasi taktil dari pengajar dan deskripsi bahasa tentang tujuan, dengan poin utama bahwa perilaku yang dapat diterapkan secara otonom bisa dibuat hanya dari beberapa lusin demonstrasi
• Targetnya adalah ratusan keterampilan pada akhir 2023 dan 1.000 keterampilan pada akhir 2024, dengan jaminan keselamatan yang dirancang bersama Drake dan stack kontrol kustom

---

Meningkatkan kecepatan pembelajaran perilaku robot dengan Diffusion Policy

• Toyota Research Institute mengumumkan pendekatan AI generatif untuk mengajarkan keterampilan presisi baru kepada robot secara cepat dan andal
• Pendekatan ini adalah langkah menuju pembangunan Large Behavior Models (LBMs) untuk robot, dan dianalogikan dengan peran Large Language Models (LLMs) dalam AI percakapan
• Metode tercanggih yang ada sebelumnya memiliki sejumlah keterbatasan dalam mengajarkan perilaku baru
  • Pembelajaran lambat dan kurang konsisten
  • Efisiensinya rendah, dan sering kali terbatas pada tugas sempit di lingkungan yang sangat dibatasi
  • Insinyur robotika harus menulis kode yang kompleks selama berjam-jam atau melalui banyak trial and error

Mempelajari lebih dari 60 keterampilan tanpa kode baru

• Model perilaku robot TRI menggunakan demonstrasi taktil dari pengajar bersama deskripsi bahasa mengenai tujuan
• Setelah itu, AI berbasis Diffusion Policy mempelajari keterampilan yang telah didemonstrasikan
  • Perilaku baru dapat diterapkan secara otonom hanya dengan beberapa lusin demonstrasi
  • Hasil pembelajaran berfokus pada pembuatan perilaku yang cepat, konsisten, dapat diulang, dan berkinerja tinggi
• TRI telah mengajarkan lebih dari 60 keterampilan presisi kepada robot
  • Contohnya adalah menuang cairan, menggunakan alat, dan memanipulasi objek yang dapat berubah bentuk
  • Hal ini dicapai hanya dengan menyediakan data baru tanpa menulis kode baru
• Targetnya adalah ratusan keterampilan pada akhir 2023 dan 1.000 keterampilan pada akhir 2024
• Keterampilan baru ini melampaui sekadar “pick and place” dan mencakup perilaku yang berinteraksi dengan dunia dengan berbagai cara
  • Dalam jangka panjang, ini dapat digunakan pada robot yang membantu manusia di lingkungan sehari-hari yang tidak terduga dan terus berubah

Platform kustom dan desain keselamatan berbasis Drake

• TRI dan kelompok Professor Song dari Columbia University mengembangkan Diffusion Policy, pendekatan AI generatif untuk pembelajaran perilaku
  • Diffusion Policy dipresentasikan pada konferensi Robotics Science and Systems 2023
• Platform robot TRI dibuat khusus untuk tugas manipulasi dua lengan yang presisi
  • Fokusnya adalah memungkinkan umpan balik taktil dan penginderaan taktil
• TRI menggunakan Drake sebagai alat desain berbasis model dan platform simulasi untuk robotika
  • Stack robot internal dibangun di atas kerangka optimisasi dan sistem Drake
  • Drake dirilis sebagai open source untuk mendorong pekerjaan di seluruh komunitas robotika
• Keselamatan adalah elemen desain inti dalam riset robot TRI
  • Sistem ini mencakup pengaman yang dijalankan oleh Drake dan stack kontrol robot kustom
  • Robot dirancang untuk menjaga jaminan keselamatan agar tidak bertabrakan dengan dirinya sendiri maupun lingkungannya

[GN⁺]

Komentar Hacker News

• Dari sudut pandang saya yang pernah berada di komunitas robot learning di sekolah pascasarjana dan industri, saya sangat paham mengapa TRI mendapat sebagian besar pujian di sini, tetapi saya juga ingin menyoroti kontribusi intinya dengan tepat
  Di pusat perkembangan ini ada Diffusion Policy [1], yang dikembangkan dan dipelopori oleh lab Profesor Shuran Song di Columbia. Situs proyek aslinya [2] juga sangat layak dilihat, dan memuat banyak eksperimen dunia nyata yang sulit
  Di konferensi R:SS tahun ini [3], makalah ini menjadi kandidat favorit komunitas untuk Best Paper Award, dan lab kami serta lab pembelajaran lain di departemen robotika benar-benar membedah makalah ini secara menyeluruh. Saya juga tahu beberapa orang yang menghentikan proyek behavioral cloning/imitation learning mereka dan sepenuhnya beralih ke pendekatan ini, yang menangani ruang aksi multimodal dengan jauh lebih alami
  Profesor Song saat ini adalah peneliti yang benar-benar menonjol di bidang robotika, dan telah menghasilkan beberapa pendekatan hebat yang dapat diskalakan secara elegan ke dunia nyata, seperti IRP [4]. IRP meraih Best Paper R:SS 2022, dan FlingBot [5] serta Scaling Up Distilling Down [6] juga layak dilihat
  [1] - https://arxiv.org/abs/2303.04137
  [2] - https://diffusion-policy.cs.columbia.edu/
  [3] - https://roboticsconference.org/program/awards/
  [4] - https://irp.cs.columbia.edu/
  [5] - https://flingbot.cs.columbia.edu/
  [6] - https://www.cs.columbia.edu/~huy/scalingup/

  • Kalau adil, TRI juga memberi kredit kepada Profesor Song dan makalah yang ditautkan. Di makalah itu juga, TRI tercantum sebagai institusi kolaborator
    “Diffusion Policy: Para kolaborator dari TRI dan grup Profesor Song di Columbia University mengembangkan pendekatan AI generatif baru dan kuat untuk pembelajaran perilaku. Pendekatan yang disebut Diffusion Policy ini memungkinkan pelatihan perilaku yang mudah dan cepat melalui demonstrasi”
  • Diffusion Policy maupun IRP tampaknya merupakan kerja sama dengan TRI
  • Ada yang bisa menjelaskan diffusion dengan mudah? Boleh juga untuk orang yang sudah paham autoencoder, transformer, dan convolutional neural network
    Saya penasaran kenapa ini bekerja jauh lebih baik dibanding alternatif yang disebutkan di atas
  • Sepertinya sebagian peneliti dari lab Profesor Song juga pernah bekerja dengan Toyota

• Untuk yang tertarik, ada kanal YouTube Russ Tedrake: https://www.youtube.com/@underactuated5171
  Di sana ada kuliah 6.4210 (2023) Robotics Manipulation dan 6.8210 (2023) Underactuated Robotics

• Senang melihat karya terbaru Russ Tedrake. Kuliah online-nya, Underactuated Robotics, adalah kuliah yang sangat bagus untuk memahami kompleksitas robotika
  Karya robot learning yang sering direkomendasikan di HN umumnya berada di level “tempelkan saja LLM ke robot secara asal”, jadi menyenangkan melihat seseorang dengan pengetahuan yang jauh lebih dalam dibahas. Untuk membuat embodied agent yang benar-benar berfungsi di dunia nyata yang kacau, menyelesaikan pembelajaran bahasa saja tidak cukup

• Situs webnya tidak bisa dimuat, tetapi saya menemukan videonya di YouTube Toyota Research: https://www.youtube.com/watch?v=w-CGSQAO5-Q

  • Sekitar menit 2:40 di video, mereka menjelaskannya sebagai “taman kanak-kanak untuk robot”, sudut pandang yang menarik
    Saya penasaran apakah dengan protokol teknologi pembelajaran standar, pembelajaran tugas baru bisa di-crowdsource. Misalnya orang menawar untuk tugas yang diinginkan, yang berhasil menyelesaikannya mendapat imbalan, dan semua orang mendapat manfaat. Long tail tugas begitu panjang sehingga satu lab riset pusat tampaknya sulit menangani semuanya

• Google juga melakukan hal serupa sekitar sebulan lalu dan sempat muncul di HN [1]
  Saya penasaran seberapa banyak force feedback yang mereka gunakan. Apakah benda besar bulat dan empuk di video itu semacam jari besar dengan banyak sensor tekanan di dalamnya? Sensor tekanan permukaan sudah dibuat sejak 1980-an, tetapi saat itu orang belum tahu bagaimana memanfaatkan data sebanyak itu. Sekarang, terlalu banyak data sensor sudah jauh lebih tidak menjadi masalah
  Dulu saya pernah mencoba masalah ini dengan memasang end wrench pada lengan robot. Idenya adalah meraba untuk menemukan kepala baut, memasukkan kunci pas, lalu memutarnya. Sensor gaya 6 derajat kebebasan sudah cukup, tetapi itu sebelum deep learning, jadi tidak berkembang jauh. Namun, kami tetap sempat membuat perangkat robot kunci pas itu
  [1] https://news.ycombinator.com/item?id=37167698

  • Benda empuk itu pada dasarnya adalah balon yang dipompa dengan kamera di dalamnya, dan kamera tersebut mengamati deformasi balon: https://punyo.tech

• Benar-benar mengesankan. Bahkan terlihat jauh lebih begitu dibanding demo Boston Dynamics
  Membalik pancake sangat sulit karena tiap pancake berbeda. Saya tahu video seperti ini adalah cuplikan yang sudah dipilih, tetapi membuat robot mempelajari ini hanya dari demonstrasi sederhana terasa seperti lompatan besar

  • Membalik pancake sudah dilakukan pada 2010. Hal yang terlihat mengesankan bagi manusia bisa mudah bagi robot, dan sebaliknya juga begitu: https://youtu.be/W_gxLKSsSIE?si=HDyNXe1Ys_eFXiVU
    Contoh lain, juggling oleh robot sudah bisa dilakukan pada 1990-an, tetapi sampai sekarang belum ada robot yang bisa membuka pintu apa pun secara andal seperti manusia. Ini semacam mirip dengan paradoks Moravec
  • Kalau dijelaskan dengan bahasa orang awam, apakah cara paling efisien untuk melatih robot seperti ini adalah dengan memberinya miliaran video yang menunjukkan cara melakukan tugas?
  • Saya tadinya mengira pekerjaan tenaga fisik akan aman untuk waktu yang sangat lama, tetapi mungkin tidak demikian. Saya berharap para pembuat kebijakan benar-benar memikirkan seperti apa dunia ketika orang-orang tidak punya pekerjaan untuk dilakukan

• Kedengarannya mirip dengan pekerjaan seperti PaLM-E yang pernah dilakukan Google: https://blog.research.google/2023/03/palm-e-embodied-multimodal-language.html
  Ini masa yang benar-benar menarik dalam robotika

  • Ini terlihat jauh lebih baik daripada PaLM-E. Robot yang dipakai lebih kapabel, dan tugasnya juga jauh lebih kompleks
    Selain itu, robot melakukan tindakan dengan kecepatan yang sama seperti ketika manusia mengendalikannya untuk demonstrasi. Demo PaLM-E sebenarnya sangat lambat sampai menyakitkan, sehingga semuanya ditampilkan dalam video yang dipercepat

• Sepertinya cara kita mencapai robot humanoid serbaguna akan cukup mirip dengan ini
  Misalnya, ada robot humanoid gaya Boston Dynamics di lokasi kerja, katakanlah di sini sebagai tukang batu. Di ruang terbuka di luar lokasi ada lantai treadmill omnidirectional, kamera dan sensor kedalaman di sekelilingnya, dan manusia mengenakan setelan motion capture ala Hollywood serta headset VR untuk melihat pandangan dari kamera robot
  Orang itu berjalan ke tumpukan batu bata, mengambil, dan meletakkannya seperti yang akan ia lakukan di lokasi. Robot bergerak secara real-time di lokasi dan meniru gerakan orang tersebut. Saya tidak tahu apakah agar berhasil diperlukan properti, atau apakah memori otot bertahun-tahun di lapangan saja sudah cukup
  Semua data direkam, dan seseorang menonton stream video sambil memberi label pada tiap tindakan yang dilakukan. Lalu semuanya dimasukkan ke algoritma machine learning, hingga akhirnya mencapai titik di mana kita cukup mengirim gambar konstruksi ke robot dan berkata, “bangun dinding ini”

  • Sekitar 3/4 bagian awalnya hampir persis sama dengan film Sleep Dealer tahun 2008, jadi saya kira itu dijadikan referensi
  • Tapi setahu saya, implementasi matang dengan cara seperti ini bahkan belum ada untuk peralatan dengan gerakan yang jauh lebih kasar, yang secara fisik hanya dipetakan secara longgar ke gerakan operator manusia. Misalnya peralatan seperti ekskavator yang dioperasikan dengan dua joystick
  • Dalam jangka pendek mungkin begitu, tetapi dalam jangka panjang sepertinya tidak
    Mungkin mereka akan mengirim tim untuk mendigitalkan lokasi kerja dan membuat digital twin. Arsitek akan memetakan semuanya ke twin ini, dan sistem komputer akan menyimulasikan tahapan konstruksi. Setelah itu robot dikerahkan ke lokasi dan, bila perlu, menerima model yang sudah di-fine-tune untuk membangunnya secara otomatis
  • Dulu saya pernah membaca novel atau cerpen yang memuat konsep seperti ini. Robot dikendalikan di lapangan untuk belajar, lalu setelah itu dilepas untuk bekerja sendiri. Saya tidak ingat alur cerita lainnya atau penulisnya
  • Benar, itu disebut reinforcement learning

• Saya memahami alasan dipakainya istilah “model bahasa skala besar” adalah karena, berkat jumlah tulisan yang sangat besar dari seluruh web, Library of Congress, dan sebagainya, LLM punya dataset yang masif untuk dilatih. “Skala besar” di sini merujuk pada bagian itu
  Tapi ketika video ini menyebut “model tindakan skala besar”, bagian mana yang berskala besar? Dari mana mereka mendapatkan jumlah data input tindakan yang sama besarnya? Kelihatannya ada puluhan orang di laboratorium besar yang mendemonstrasikan tindakan, dan itu bagus, tetapi jumlah orang ini tampaknya tidak bisa menghasilkan data sebanyak seluruh konten tulisan digital

• Terlihat cukup keren, tetapi saya tidak begitu yakin apakah seseorang bisa menjadi profesor tetap di MIT sekaligus wakil presiden penuh waktu di TRI
  Saya pernah melihat rangkap dua pekerjaan seperti ini sebelumnya, tetapi sulit memahami bagaimana itu praktis kecuali mereka bekerja lebih dari 70 jam seminggu

  • Mungkin meskipun ia bekerja 40 jam seminggu atau kurang, ia begitu ahli di bidangnya sehingga 10 jam kerjanya tidak bisa digantikan oleh orang lain yang bekerja penuh waktu
    Jika dianalogikan dengan rekayasa perangkat lunak, meski John Carmack hanya bekerja 6–7 hari sebulan pada sebuah proyek, orang tetap akan dengan senang hati memberinya gaji dan peran yang bagus. Karena dia John Carmack