- OK-Robot adalah framework robot modular terbuka yang bertujuan menjalankan tugas pick-and-drop—menemukan, mengambil, dan memindahkan benda—secara zero-shot di lingkungan rumah baru hanya dengan instruksi bahasa
- Menggabungkan model vision-language (VLM), primitive navigasi, dan primitive grasping untuk merangkai pengenalan objek, perpindahan, dan manipulasi tanpa pelatihan terpisah
- Dievaluasi pada 171 tugas di 10 rumah nyata di New York City, dan mencatat tingkat keberhasilan 58,5% di rumah yang sepenuhnya baru
- Di lingkungan yang bersih dan tidak berantakan, tingkat keberhasilannya naik menjadi 82%, menunjukkan performa sekitar 1,8× dibanding pekerjaan sebelumnya pada Open Vocabulary Mobile Manipulation (OVMM)
- Kegagalan utama terjadi pada pencarian objek, pose manipulasi yang sulit, dan masalah hardware, sehingga integrasi yang halus antara model pengetahuan terbuka dan modul robot sangat menentukan performa
Komposisi dan tujuan framework
- OK-Robot adalah framework modular terbuka untuk menjalankan tugas pick-and-drop secara zero-shot berbasis kondisi bahasa di rumah mana pun
- Sistem ini menggabungkan tiga komponen
- Model vision-language (VLM): deteksi objek berbasis kueri bahasa
- Primitive navigasi: kontrol pergerakan sistem mobile
- Primitive grasping: manipulasi berbagai objek
- Menggunakan pendekatan yang memprioritaskan sistem, dengan mengintegrasikan pengenalan objek, perpindahan, dan grasping tanpa tahap pelatihan terpisah untuk menjalankan tugas di rumah nyata
- Materi proyek:
Evaluasi di rumah nyata dan faktor kegagalan
- Mencoba 171 tugas pick-and-drop di 10 lingkungan rumah di New York City
- Tingkat keberhasilan di rumah yang sepenuhnya baru adalah 58,5%, menunjukkan performa sekitar 1,8× dibanding pekerjaan sebelumnya pada Open Vocabulary Mobile Manipulation (OVMM)
- Tingkat keberhasilan: {p:58}
- Di lingkungan yang lebih bersih dan tidak berantakan, tingkat keberhasilannya meningkat menjadi 82%
- Tingkat keberhasilan di lingkungan rapi: {p:82}
- Penyebab kegagalan terdistribusi dalam bentuk long-tail, dengan tiga penyebab terbesar sebagai berikut
- Gagal menemukan objek yang benar untuk dipindahkan di memori semantik: 9,3%
- Modul manipulasi menerima pose yang sulit: 8,0%
- Kesulitan hardware: 7,5%
- Saat menggabungkan sistem pengetahuan terbuka seperti VLM dengan modul robot, yang perlu selaras bukan hanya performa model, tetapi juga memori objek, pose manipulasi, dan stabilitas hardware
3 komentar
https://hello-robot.com/purchase
Unit utamanya seharga 25 ribu dolar...
Tambahan lagi perlu iPhone Pro
Pengisi daya dock-nya 995 dolar wkwkwk
Apakah ini harga yang benar-benar mencekik konsumen?
Kenapa docking station harganya benar-benar seperti itu ya?
Bahkan cara koneksinya juga model colok konektor DC langsung.. wkwkwk
https://hello-robot.com/stretch-docking-station
Komentar Hacker News
Sepertinya pasar untuk robot seperti ini akan tetap kecil sampai mereka bisa menangani rintangan
Mainan yang ditinggalkan kucing di tengah lantai, kertas yang tertiup dari meja karena jendela terbuka, mainan yang berserakan oleh anak-anak, pensil yang menggelinding jatuh dari meja saat tidak ada orang, cucian di lantai, perbedaan ketinggian antara karpet dan lantai kayu, serta pintu yang terbuka atau tertutup semuanya jadi masalah
Sebelum tugas utama, bisa muncul berbagai tugas perantara seperti membereskan mainan, memungut kertas, mengambil cucian, atau membuka pintu
Kabel, tumpukan barang yang tidak boleh dipindahkan, furnitur, hewan peliharaan yang sedang tidur, atau tumpukan kotak paket bisa menghalangi robot beroda secara semi-permanen
Karena itu, menurut saya robot rumah tangga serbaguna seharusnya punya kaki, bukan roda, dan mungkin lebih dari dua demi stabilitas
Kedengarannya aneh, tetapi desain idealnya mungkin berada di antara laba-laba besar yang ramah dan anjing
Aneh rasanya bahwa robotika pada umumnya terjebak pada gagasan melihat dunia sebagai bidang 2D, seolah-olah persoalan mobilitas yang benar-benar sulit di dunia 3D diidealkan hingga lenyap
Semua hal yang dilakukan robot ini juga hanya terjadi di permukaan datar horizontal, dan agar bisa berfungsi tampaknya manusia harus lebih dulu berkeliling ruangan untuk merapikannya
Roomba juga punya masalah yang sama
Cukup jangan biarkan kabel menjuntai panjang di lantai, bisa juga menempelkan pita penanda pada furnitur, dan membiarkan robot memungut barang agar tidak dibiarkan menjadi bahaya tersandung
Kita juga bisa beralih ke benda-benda yang ramah bagi manusia sekaligus robot, seperti peralatan makan yang mudah dipegang, dipindahkan, dan dicuci oleh mesin pencuci piring
Kita sebenarnya sudah melakukan itu saat membeli produk yang aman untuk microwave atau mesin pencuci piring, sampai-sampai kita akan terkejut jika ada sesuatu yang ternyata tidak demikian
Kita juga bersedia menanggung biaya memasang pintu khusus hewan peliharaan pada pintu manusia agar hewan bisa menggunakannya sendiri
Manusia adalah spesies yang sangat adaptif
Kedua, saya selalu menyukai ide menggantung robot di bawah rel langit-langit
Itu juga terlihat dalam film Moon yang hebat, dengan keunggulan bisa melayang di atas furnitur sehingga mobilitasnya lebih baik daripada manusia
Yang diperlukan hanya lengan robot bisa mengambil benda di lantai di depannya
Itu tidak tampak mustahil, dan demo yang menghubungkan berbagai model sehingga bisa menjalankan perintah seperti “pindahkan Takis ke meja samping tempat tidur di kamar” cukup mengesankan
Jadi yang tersisa hanyalah masalah robotika “kecil” untuk membuatnya cukup berartikulasi agar lengannya bisa menjangkau lantai
Di sana hal itu diatasi dengan code pusher
Semacam alat seperti kisi pencegah ternak yang mendorong barang-barang di lantai menjauh
Tidak semua masalah membutuhkan solusi yang rumit
Menurut saya kehebatan proyek ini justru terletak pada kesederhanaan desain robotnya
Sangat keren
Mungkin ini pertanyaan bodoh karena saya hampir tidak punya pengalaman di robotika, tetapi saya penasaran
Bagaimana robot tahu suatu objek itu apa? Apakah menggunakan sesuatu seperti jaringan saraf klasifikasi objek waktu nyata, dan apa keterbatasannya?
Apakah robot tahu ketika ia tidak bisa memenuhi suatu permintaan? Misalnya jika diminta memindahkan kotak besar atau kettlebell yang sangat berat?
Seberapa baik performanya jika objek tersembunyi atau terhalang? Apakah robot akan mencarinya? Bagaimana jika untuk mengakses objek yang diminta, robot harus menyingkirkan objek lain terlebih dahulu?
Karya ini benar-benar keren, tetapi juga menyoroti banyak keterbatasan sistem pembelajaran robot modern
Dijelaskan di sini(https://github.com/ok-robot/ok-robot/tree/main/ok-robot-navi...), dan dari pemahaman saya pada dasarnya mereka memberi label pada gambar dengan model ViT, yaitu model klasifikasi gambar, lalu memproyeksikannya ke grid voxel
Setelah itu, mereka menghubungkan bahasa dengan grid voxel menggunakan embedding bahasa dari CLIP
Keterbatasannya adalah untuk menjalankan ini di robot, mereka tidak bisa memakai versi model yang sangat besar
Model besar bisa dipakai di cloud, tetapi latensinya akan tinggi
Jika permintaannya berada di luar cakupan embedding bahasa, robot mungkin tidak akan melakukan apa-apa
Namun sistem ini tampaknya tidak punya pengetahuan tentang fisika selain batasan perangkat keras dari pengendali fisiknya
Pelabelan voxel bergantung pada modul yang memberi label pada voxel, dan tanpa informasi visual, label tidak bisa diberikan
Juga tampaknya tidak ada penalaran tingkat tinggi yang kompleks seperti garpu berada di dalam laci, laci ada di dapur, dan dapur biasanya ada di bagian belakang rumah
Untuk kasus objek yang terhalang sebagian, hasilnya mungkin iya mungkin tidak, tergantung keterbatasan pengklasifikasi visualnya
ViT sangat bagus, tetapi hasilnya akan bergantung pada seberapa besar objek itu terhalang
Pengenalan objek sebagian besar menggunakan Lang-SAM(https://github.com/luca-medeiros/lang-segment-anything), dan pekerjaan berat untuk menghubungkan gambar dan teks ditangani oleh embedding CLIP(https://openai.com/research/clip)
Salah satu kelebihan model sejenis CLIP adalah tidak perlu menentukan sebelumnya kelas apa saja yang nanti bisa ditanyakan, dan Anda bisa langsung memakai ungkapan yang baru terpikir saat sistem sedang berjalan
Saat ini robot belum tahu apakah suatu permintaan mustahil dilakukan
Model yang sekarang sangat sederhana dan tidak mencoba melakukan pemrosesan yang terlalu cerdas
Namun justru karena itu kami membuka kodenya, dan berharap komunitas bisa membangun robot yang lebih pintar di atas proyek ini dengan memanfaatkan lebih banyak petunjuk visual dari lingkungan
Jika objek tersembunyi atau terhalang pada pemindaian awal, sistem akan gagal
Meski begitu, menurut saya ini bisa menjadi titik awal yang baik untuk riset lanjutan
Satu kelebihannya adalah karena sistem mempertimbangkan informasi 3D secara keseluruhan, jika suatu objek hanya terlihat dari sudut tertentu, robot masih punya kemungkinan untuk menemukannya
Ini tampak seperti teknologi yang bisa mengubah hidup bagi penyandang disabilitas, lansia, gamer, orang yang sangat malas, dan orang-orang yang merawat mereka
Misalnya, jika trotoar dibuat ramah kursi roda, itu juga membantu orang tua yang mendorong stroller, orang yang membawa barang berat, orang yang menggunakan tongkat, anak kecil yang bersepeda, dan orang dengan penglihatan kurang baik
Secara pribadi, saya berharap AI bisa diajarkan untuk menangani pekerjaan yang tidak diinginkan siapa pun, bukan pekerjaan yang diinginkan semua orang
Keren sekali
Jika bisa dilatih untuk melipat cucian dan menaruhnya kembali ke tempatnya, saya serius mau membeli robot seharga 25 ribu dolar
Untuk menyelesaikan tugas jangka panjang seperti mencari barang yang tidak ada, adegan yang sudah dianotasi bisa diubah menjadi deskripsi bertemplat lalu dimasukkan ke model yang cukup besar dan dilatih dengan interactive fiction
“Anda berdiri di dapur. Di kanan depan ada kulkas besar dengan pegangan di sisi kanan. Di kiri ada lemari, dan di atas meja dapur di bawahnya ada piring.”
> get beer“Tidak ada bir yang terlihat di sini.”
<< COT: Saya tahu bir sering ada di kulkas. Saya harus membuka kulkas> open fridge“Saat Anda membuka kulkas, Anda melihat 4 kaleng bir.”
> get beer“Diambil”
Tentu saja, masih perlu beberapa tahun lagi sebelum ini benar-benar bekerja, tetapi kalau dipikir-pikir sangat menarik
Ini adalah cara menggabungkan narasi interactive fiction yang disuplai sensor nyata dengan blok chain-of-thought sebagai monolog internal
Cukup ambil foto dapur lalu tanya ke ChatGPT di mana kemungkinan menemukan bir
Saya benar-benar cukup sering menggunakannya seperti ini
Karena malas, saya memotret komponen dan papan lalu bertanya bagaimana memasangnya ke ESP32; hanya dari beberapa foto, ia bisa membedakan papan, chip, dan tata letak pin, lalu memberi tahu kabel mana harus disambungkan ke mana serta hal-hal yang perlu diperhatikan
Sering juga menyarankan library yang berguna untuk komponen tersebut, dan rasanya nyaris seperti sihir
Analisis kegagalannya benar-benar sangat bagus
Saya penasaran apa yang dimaksud dengan kegagalan perangkat keras
Misalnya, ada 5 percobaan dengan catatan “Realsense memberikan kedalaman yang salah”; saya penasaran bagaimana itu dinilai
Dalam 5 percobaan yang disebutkan itu, Realsense menghasilkan nilai kedalaman yang salah pada objek transparan atau semi-transparan, sehingga point cloud yang dihasilkan dari kamera kepala robot memang salah sejak awal
Open source, tetapi tetap hampir 25 ribu dolar
Saya penasaran kenapa bisa semahal ini
Sebagian besar robot mobile-manipulation harganya lima digit atau lebih, terutama karena pasarnya kecil, biaya material dan rekayasanya tinggi, dan membuat robot itu sendiri merepotkan
Tenaga kerja tidak gratis
Membuat PCB kustom dan perangkat keras dalam jumlah kecil juga tidak murah, dan merakit, mengalibrasi, serta menguji robot juga tidak murah
Saya penasaran apakah ada tautan ke halaman produknya
Perangkat kerasnya proprietari dan dilindungi paten
Bukankah ini sama seperti Dobb-E?
https://dobb-e.com/
Tetapi memang ada beberapa orang yang sama di timnya
Misalnya, saya adalah penulis pertama Dobb-E, dan pembimbing saya membimbing kedua proyek tersebut
Perbedaan utamanya adalah proyek ini bersifat zero-shot, jadi tidak memerlukan data baru sama sekali di rumah baru, tetapi hanya punya dua kemampuan: mengambil dan meletakkan
Sementara itu, Dobb-E bisa memiliki banyak kemampuan, tetapi Anda harus memberikan beberapa demonstrasi di rumah baru
Keduanya disebutkan di situs web robot yang digunakan: https://hello-robot.com/stretch-embodied-ai
Saya sudah mengikuti proyek ini cukup lama, dan kemajuannya luar biasa
Saya membayangkan integrasinya dengan alat bantu mobilitas seperti kursi roda untuk orang yang kontrol lengan dan kakinya terbatas
Jika bisa menjadi semacam eksoskeleton “cerdas” yang membantu tugas-tugas yang sebelumnya mustahil dilakukan, ini benar-benar bisa mengubah keadaan bagi banyak orang
Saya benar-benar menginginkan kendaraan platform stabilisasi yang bisa diberi muatan lalu dikirim bolak-balik antar titik
Akan bagus jika ada platform yang distabilkan giroskop seperti Segway yang bisa pergi dari titik A ke titik B dan kembali lewat jalur seperti jalan setapak yang tidak terlalu buruk tetapi bergelombang
Dulu saya terus mencari-cari opsi, tetapi belum pernah melihat sesuatu yang cocok untuk penggunaan ini
Saya penasaran apakah ada yang tahu produk baru yang sesuai untuk kasus penggunaan seperti ini
Secara spesifik, alat itu harus bisa membawa baki berisi minuman dan hors d'oeuvre dari satu sisi properti ke sisi lainnya tanpa tumpah, dan setidaknya perlu sedikit kemampuan segala medan
Saya tidak tahu apakah pernah melihatnya membawa minuman, tetapi makanan jelas bisa
Teknologinya sudah ada; tinggal merangkainya dengan baik saja
Gravitasi akan selalu menjaga dasar gelas tetap menghadap ke bawah, jadi tidak perlu stabilisasi elektronik