RoboCat - Agen Robot yang Meningkatkan Diri

• Google DeepMind memperkenalkan RoboCat, yang belajar sendiri sambil melakukan berbagai tugas melalui lengan robot.
• Ini didasarkan pada Gato, model multimodal yang dapat beroperasi baik di lingkungan nyata maupun simulasi (gato berarti 'kucing' dalam bahasa Spanyol).
  • Untuk peningkatan mandiri, pertama-tama RoboCat mengumpulkan data nyata untuk tugas baru.
  • Berdasarkan data nyata tersebut, model dasar di-fine-tune untuk membuat agen turunan.
  • Agen baru kemudian berlatih sekitar 10 ribu kali untuk membuat dataset pelatihan.
  • Data nyata dan data yang dihasilkan sendiri digabungkan ke dalam dataset pelatihan RoboCat.
  • Melatih versi baru RoboCat.
• Melalui cara ini, RoboCat dapat beradaptasi dalam hitungan jam ke lengan robot baru yang memiliki lebih banyak sendi atau lebih banyak penjepit.
• Selain itu, tercipta siklus pembelajaran yang baik: model awal yang hanya menunjukkan tingkat keberhasilan 36% pada tugas tertentu meningkat lebih dari dua kali lipat hingga mencapai 74%.

[nicewook]

Akhirnya, terbuka juga panggung bagi kecerdasan buatan untuk bertemu dan mengalami dunia nyata.

[kuroneko]

• Makalah
• Thread HN

Komentar di thread HN benar-benar lucu.
Saya juga langsung terpikir hal yang hampir sama, yaitu Apa cuma saya yang mengira ini akan menjadi kucing robot? Agak mengecewakan...

Setidaknya akan bagus kalau mereka menempelkan stiker kucing pada lengan robot itu.

[kuroneko]

Kalau diringkas dari makalahnya, hasilnya seperti ini.

RoboCat adalah agen berbasis peningkatan diri untuk manipulasi robot. Agen ini dilatih menggunakan dataset tugas robot yang besar dan beragam, dari banyak simulasi serta lengan robot nyata.

Tujuan utama RoboCat adalah sebagai berikut.

1. Menggeneralisasi ke tugas dan robot baru dengan data seminimal mungkin. RoboCat dapat beradaptasi ke tugas dan robot baru hanya dengan menggunakan 100 hingga 1000 contoh demonstrasi.
2. Meningkatkan diri melalui proses berulang. Model RoboCat yang telah di-fine-tune digunakan untuk menghasilkan lebih banyak data pelatihan, lalu data ini ditambahkan ke set pelatihan untuk meningkatkan agen umum.
3. Menangani beberapa implementasi dengan tugas dan ruang observasi yang berbeda. RoboCat diuji pada lengan dengan hingga 14 derajat kebebasan dan gripper yang berbeda-beda.
4. Menyelesaikan beragam tugas manipulasi cekatan dengan objek yang memiliki bentuk, ukuran, dan tekstur yang beragam. Tugasnya mencakup menumpuk, menyisipkan, mengangkat, dan lain-lain.

Hasil utamanya adalah sebagai berikut.

• Seiring data pelatihan RoboCat bertambah dan makin beragam, transfer lintas tugas menjadi lebih baik, dan adaptasi ke tugas baru menjadi lebih efisien.
• RoboCat dapat berhasil beradaptasi ke tugas dan robot baru hanya dengan sedikit data demonstrasi, serta membutuhkan upaya pembelajaran yang lebih kecil dibanding baseline.
• Dengan memperluas data pelatihan melalui peningkatan diri, RoboCat berkinerja lebih baik pada tugas pelatihan awal dan dapat di-fine-tune lebih lanjut.

Singkatnya, RoboCat, agen berbasis peningkatan diri untuk manipulasi robot yang dilatih dengan dataset besar dan beragam, menunjukkan bahwa ia dapat menggeneralisasi ke tugas dan robot baru dengan data minimal melalui fine-tuning dan peningkatan diri. Kemampuannya memanfaatkan pengalaman robot yang heterogen dalam skala besar memiliki potensi untuk mentransformasi pembelajaran robot.