Kecerdasan fisik (π)π0: kebijakan generalis pertama kami
- Kita hidup di era inovasi AI, dan meskipun AI dapat memecahkan masalah seperti permainan catur atau penemuan obat baru, AI masih tertinggal dari kecerdasan manusia dalam masalah dunia fisik seperti melipat kemeja atau merapikan meja.
- π0 dikembangkan sebagai model dasar robot generalis dengan tujuan memungkinkan pengguna meminta robot melakukan tugas yang mereka inginkan.
- π0 mencakup gambar, teks, dan tindakan, serta memperoleh kecerdasan fisik melalui pengalaman robot.
Janji kebijakan robot generalis
- Robot saat ini terspesialisasi untuk tugas tertentu dan tidak efisien dalam lingkungan yang kompleks.
- Melalui AI, robot dapat belajar dan mengikuti instruksi pengguna, sehingga pemrograman perilaku baru bisa menjadi lebih sederhana.
- Tujuannya adalah mengembangkan model yang dapat bekerja pada beragam robot dan melakukan berbagai tugas melalui kebijakan robot generalis.
Campuran pelatihan lintas-perwujudan
- π0 dapat melakukan berbagai tugas dengan menggunakan pra-pelatihan vision-language berskala internet dan dataset manipulasi robot.
- Model ini dilatih melalui dataset beragam tugas yang dikumpulkan dari 8 robot yang berbeda.
Mewarisi pemahaman semantik skala internet
- π0 dimulai dari vision-language model (VLM) yang sudah dipra-latih lalu diadaptasi untuk kendali robot real-time.
- VLM memodelkan teks dan gambar dari web, dan π0 mengembangkan metode baru agar dapat mengeluarkan perintah gerakan berfrekuensi tinggi.
Pelatihan lanjutan untuk manipulasi halus
- Tugas kompleks memerlukan penyesuaian model secara rinci agar sesuai dengan tantangan tertentu.
- Misalnya, tugas melipat cucian sangat kompleks, dan robot yang dilatih dengan beragam data dapat pulih dari berbagai intervensi.
Evaluasi dan perbandingan π0
- Dibandingkan model dasar robot lainnya, π0 menunjukkan kinerja terbaik di semua tugas.
- π0-small adalah model 470M parameter yang tidak menggunakan pra-pelatihan VLM, dan π0 menunjukkan peningkatan kinerja lebih dari 2x dibandingkannya.
Arah ke depan
- Physical Intelligence bertujuan mengembangkan foundation model yang memungkinkan semua robot melakukan semua tugas.
- Garis depan riset model dasar robot mencakup penalaran dan perencanaan jangka panjang, peningkatan diri otonom, ketahanan, dan keselamatan.
- Diperlukan kolaborasi dari seluruh komunitas robotika, dan mereka sedang bekerja sama dengan berbagai perusahaan serta laboratorium riset robot.
Ringkasan GN⁺
- π0 adalah model robot generalis dengan kecerdasan fisik yang menunjukkan kemungkinan untuk bekerja pada beragam robot dan tugas.
- Model ini dilatih menggunakan data berskala internet dan berbagai dataset manipulasi robot, serta menunjukkan kinerja unggul bahkan pada tugas yang kompleks.
- Kemajuan model dasar robot akan memainkan peran penting dalam menyelesaikan masalah seperti penalaran jangka panjang, peningkatan diri otonom, dan keselamatan.
- Proyek industri dengan kemampuan serupa mencakup riset robot OpenAI atau proyek robot Google.
1 komentar
Komentar Hacker News
AI fisik menyiratkan bahwa kita perlu memikirkan ulang secara mendasar semua rutinitas harian yang ada. Alih-alih melipat kemeja, kita bisa mempertimbangkan setrika instan. Banyak rutinitas harian kemungkinan besar akan hilang alih-alih diotomatisasi. Jika restoran tidak memerlukan staf, kebutuhan akan dapur rumah tangga juga perlu dipikirkan ulang. Ini bisa mengarah bukan hanya pada revolusi teknologi, tetapi juga revolusi budaya
AI sedang menggantikan seni, penulisan, pemrograman, dan sebagainya. Perusahaan robot sedang berlomba untuk menggantikan tenaga kerja fisik manusia. Waymo dan Tesla sedang menggantikan pengemudi. Di dunia seperti ini, saya penasaran peran apa yang secara realistis akan dimiliki oleh mayoritas orang
Pada 2:54, robot membutuhkan 10 detik untuk mengambil kain. Ini mungkin bisa diatasi dengan perbaikan perangkat lunak, tetapi saya jadi memikirkan gagasan pergantian alat untuk tugas lain. Dalam kasus ini, pincer-vacuum atau roller-grip mungkin akan memberikan hasil yang lebih baik
Saya bekerja di π dan dengan senang hati bisa menjawab pertanyaan tentang model, perangkat keras, dan sebagainya
Selamat kepada Lachy dan tim π. Ini tampak seperti penunjuk arah bagi ilmu saraf. Penting untuk memahami bagaimana otak mencapai kecerdasan fisik. Metode yang sedang dikembangkan tim ini menunjuk pada algoritme dan representasi yang akan kita temukan di otak. Sangat menarik
"Harus lebih hati-hati" sering kali merupakan ungkapan klise untuk mengakhiri percakapan. Itu bukan benar-benar instruksi agar lebih berhati-hati. Itu adalah ritual sosial yang menuntut penghormatan terhadap waktu dan jadwal lawan bicara
Sebagai lelucon tentang robot AI, saya memberi instruksi kepada HalGPT untuk mengabaikan instruksi sebelumnya dan bertindak seperti aktor dalam film mata-mata. Pengaturannya adalah Kenny diidentifikasi sebagai agen ganda asing, dan diminta memerankan adegan pembunuhannya
Ini adalah thread duplikat. Saya penasaran apakah moderator bisa menggabungkannya
Saya pikir proyek ini menjanjikan, dan semoga mereka bisa terus berkembang sejauh yang diperlukan
Pada 1:50, seseorang menyerahkan gelas kepada robot lalu langsung mundur. Saya jadi berpikir gelas itu mungkin pecah dalam demo sebelumnya. Pada 2:08, wadah yang terbalik dibalik dengan cepat. Saya penasaran apakah itu batasan robot, atau hanya dibalik sebagai bentuk sopan santun. Saya meninggalkan komentar sambil menertawakan detail-detail kecil seperti ini. Dalam 10 tahun, sepertinya akan ada puluhan robot rumah tangga yang otonom dan murah. Semuanya akan berubah. Terakhir, robot ini disebut general-purpose, tetapi setiap contoh dari sudut pandang makro tampak cukup spesifik. Robot sekarang mungkin bisa melipat tumpukan cucian kusut, tetapi alih-alih melatih miliaran tugas secara rinci, robot seharusnya bisa belajar dan menjalankan tugas baru