RT-2: Model Vision-Language-Action

• "Robotics-Transformer 2": mentransfer pengetahuan web ke kontrol robot
• Mengintegrasikan langsung model vision-language yang dilatih dengan data berskala internet ke kontrol robot E2E
• Mengubah gerakan robot menjadi token teks dan menyusunnya seperti bahasa terpisah yang dapat digunakan bersama model data vision-language, sehingga perintah tugas dapat diubah menjadi aksi
• Bahkan ketika robot diperlihatkan objek yang benar-benar baru yang belum pernah dipelajari sebelumnya, robot tetap memahaminya dengan baik dan menjalankan tugasnya
  • "put strawberry into the correct bowl"
  • "place orange in matching bowl"

[xguru]

Model AI RT-2 Google membawa kita selangkah lebih dekat ke WALL-E

Judul artikel Arstechnica memang lebih mudah menjelaskan. Kemajuan LLM tampaknya akan menjadi inovasi baru dalam kendali robot

[xguru]

Google sedang menguji robot yang dapat memprogram dirinya sendiri
ChatGPT for Robotics: prinsip perancangan dan kemampuan model