Disney menghadirkan emosi besar dalam robot kecil

• Disney Research memperkenalkan karakter robot baru seukuran anak kecil di IROS 2023, menunjukkan bahwa robot bipedal kecil pun dapat menyampaikan emosi dan kepribadian melalui cara berjalannya itu sendiri
• Intinya adalah menghubungkan niat animator dan batasan perangkat keras robot melalui pipeline berbasis reinforcement learning, sehingga gerakan yang ekspresif dapat dijalankan secara stabil bahkan di lingkungan nyata
• Robot ini dibuat dari perangkat keras modular yang sebagian besar dicetak 3D, memiliki kepala 4-DoF dan kaki 5-DoF, dan membutuhkan waktu kurang dari satu tahun dari konsep hingga bentuk yang siap didemonstrasikan
• Simulasi melatih robot sambil mengubah variabel seperti performa motor, distribusi massa, dan gesekan permukaan, agar robot tetap mempertahankan ekspresi karakter bahkan saat melakukan gerakan pemulihan
• Disney memandang pendekatan ini lebih sebagai proses yang tidak bergantung pada perangkat keras daripada robot tertentu, dan ingin memperluasnya ke lebih banyak karakter robot fisik serta gerakan yang lebih cepat dan dinamis

---

Karakter robot baru yang diperkenalkan di IROS 2023

• Tim Disney Research memperkenalkan karakter robot baru dalam keynote malam di 2023 IEEE/RSJ International Conference on Intelligent Robots and Systems yang digelar di Detroit
• Robot ini memiliki tubuh seukuran anak kecil, kepala yang ekspresif, dua antena yang bergoyang, dan kaki yang pendek
• Perbedaannya dari robot bipedal kecil lain bukan hanya kemampuan berjalan, melainkan bahwa cara berjalannya memuat emosi sehingga terlihat seperti karakter yang hidup
• Disney memiliki pengalaman panjang dalam menghadirkan gerakan emosional pada robot, mulai dari animatronik Hall of Presidents di Disney World pada 1971
• Semakin tinggi mobilitas robot, semakin sulit pula merancang perilaku emosional di dalam batasan perangkat keras nyata

Pipeline yang menghubungkan niat animasi dan batasan fisik

• Selama setahun terakhir, Disney Research mengembangkan sistem yang memanfaatkan reinforcement learning untuk mengubah visi animator menjadi gerakan robot nyata
• Tujuannya adalah menciptakan gerakan ekspresif yang tetap andal di berbagai lingkungan seperti panggung, taman hiburan Disney, hingga hutan di Swiss
• Alat animasi umum tidak memiliki fisika bawaan, sehingga sulit bagi seniman untuk merancang animasi yang benar-benar dapat dijalankan di dunia nyata
• Pipeline baru ini menggunakan simulasi untuk menggabungkan dan menyeimbangkan niat animator dengan gerakan robot yang stabil
• Animator dapat menyerahkan penerapan batasan dunia fisik kepada sistem, lalu fokus pada gerakan yang se-ekspresif mungkin

Perangkat keras robot dan cara pengembangannya

• Robot ini dikembangkan oleh tim yang dipimpin Moritz Bächer di Disney Research Zurich
• Perangkat kerasnya sebagian besar dibuat dengan pencetakan 3D, dan berkat struktur modular serta aktuatornya, desain dan iterasi perbaikan bisa dilakukan dengan cepat
• Waktu dari konsep hingga bentuk seperti di video adalah kurang dari satu tahun
• Kepalanya memiliki struktur 4-DoF yang memungkinkan melihat ke atas-bawah, melihat sekeliling, dan memiringkan kepala
• Kakinya memiliki struktur 5-DoF, termasuk sendi pinggul, sehingga dapat berjalan sambil menjaga keseimbangan secara dinamis

Yang lebih penting dari berjalan adalah ‘bagaimana cara berjalan’

• Tujuan Disney tidak berhenti pada membuat robot bipedal bisa berjalan dengan stabil
• Untuk menyampaikan emosi, robot mungkin perlu menampilkan berbagai gaya berjalan seperti melenggang, melompat kecil, berjalan diam-diam, berjalan cepat, atau berjalan santai
• Animator yang menyampaikan emosi karakter lewat gerakan dan para insinyur robotika yang membangun sistem mekanis bekerja bersama dalam proses ini
• Karena niat artistik harus dipertahankan sambil memastikan robot tidak terjatuh, kolaborasi antara dua bidang ini memerlukan banyak trial and error
• Dalam sistem reinforcement learning, masukan pentingnya bukan hanya berjalan itu sendiri, tetapi juga bagaimana robot berjalan

Ketahanan yang diberikan reinforcement learning

• Pipeline Disney dapat melatih perilaku baru pada satu PC, dan dalam beberapa jam menjalankan pembelajaran yang setara dengan bertahun-tahun
• Menurut Moritz Bächer, metode ini memangkas waktu pengembangan karakter robot baru di Disney dari bertahun-tahun menjadi berbulan-bulan
• Keunggulan besar reinforcement learning adalah bahwa gerakan hasilnya bisa sangat andal
• Sistem ini berulang kali mempelajari gerakan sambil sedikit mengubah faktor-faktor berikut
  • performa motor
  • distribusi massa
  • gesekan antara robot dan permukaan tanah
• Robot harus dapat merespons situasi yang ditemui di dunia nyata sambil tetap mempertahankan ekspresi emosional, dan ini penting untuk menjaga karakterisasinya
• Dalam teknik lama, titik transisi harus diprogram secara manual, tetapi dengan mengganggu gerakan dan animasi sekaligus di dalam simulasi, robot dapat menemukan titik tersebut sendiri
• Dengan cara ini, muncul strategi pemulihan yang sulit diketahui tim bagaimana memprogramnya secara langsung

Robot yang menyampaikan emosi dan niat di sekitar manusia

• Robot sosial sudah ada selama beberapa dekade, dan robot yang kemungkinan menghabiskan waktu di sekitar manusia biasanya memiliki setidaknya sebagian kemampuan interaksi manusia-robot
• Pada robot yang dirancang berfokus pada fungsi, interaksi manusia-robot sering mudah menjadi elemen tambahan belakangan
• Robot Disney menunjukkan bahwa banyak informasi dapat disampaikan melalui karakter tanpa harus mengorbankan fungsionalitas
• Dalam situasi ketika manusia dan robot berada berdekatan, menyampaikan emosi dan niat bisa menjadi fungsi yang penting
• Pendekatan ini juga dapat bernilai bagi bidang aplikasi lain di mana manusia bekerja di dekat robot

Proses yang tidak bergantung pada perangkat keras lebih penting daripada robot tertentu

• Fokus pekerjaan ini ada pada proses, bukan pada robot tertentu itu sendiri
• Menurut Bächer, platform ini tidak bergantung pada perangkat keras
• Pendekatan yang sama dapat diterapkan untuk menambah lebih banyak kaki, memasang lengan, atau membuat karakter dengan bentuk yang sama sekali berbeda
• Aktuator siap pakai, komponen hasil cetak 3D, dan kerangka reinforcement learning yang adaptif dapat diterapkan pada robot yang bentuk dan gerakannya sangat berbeda
• Langkah berikutnya bagi Disney adalah mengembangkan lebih banyak karakter robot fisik dengan teknologi ini, serta mendorong batas gerakan yang lebih cepat dan dinamis
• Robot ini belum memiliki nama resmi, dan Disney juga belum siap mengungkap di mana robot ini nantinya bisa dilihat

[GN⁺]

Komentar Hacker News

• Saya pernah bekerja di Disney Research, dan ini adalah contoh yang sangat baik untuk menunjukkan jenis masalah yang ditangani di sana
  Kendalanya sama sekali berbeda dari rekayasa yang berfokus pada konsumen umum. Sebab pengaturan kreatif sekaligus menjadi tantangan dan celah untuk keluar
  Bagian yang tampak mustahil bisa diselesaikan dengan ilusi visual atau trik artistik, sementara teknologinya memungkinkan eksplorasi masalah khusus aplikasi yang sangat menarik. Bagian yang jauh lebih sulit adalah membuat riset semacam ini cukup tangguh dan menarik untuk ditampilkan di taman hiburan sungguhan

  • Saya pernah terlibat dalam pipeline di Disney yang menerapkan ide-ide dari Research ke lingkungan operasional, dan saya setuju bahwa sulit sekali membayangkan tempat lain yang benar-benar mirip
    Sebagai tambahan, Disney Research tidak sama dengan Imagineering. Research menangani berbagai macam masalah, bukan hanya masalah taman hiburan
    Saya hampir 10 tahun di Disney, dan rasanya tidak ada tempat yang lebih baik untuk belajar bagaimana rekayasa harus melayani pengalaman yang dirasakan pengguna. Disney sangat ahli dalam hal ini. Apple mungkin yang paling mendekati, tapi saya tidak yakin
  • Saya penasaran apakah ada cara untuk mengakses hasil riset luar biasa seperti ini. Saat Disney merilis Autoconnect, saya benar-benar terkejut, dan baru kemarin saya membutuhkannya tetapi tidak bisa menemukannya
    https://la.disneyresearch.com/publication/autoconnect/
  • Agak lucu bahwa pendekatan seperti ini lebih jarang dipakai pada produk dunia nyata. Kalau robot itu adalah penyedot debu otomatis, atau kalau ada yang membuat robot pembersih dengan “emosi” seperti Wall-E, saya rasanya akan langsung membelinya dibanding produk pesaing kelas atas
    Tentu saja cara yang lebih mudah adalah menempelkan stiker mata bergerak. Putri saya juga menggambar hati kecil di situ dan memberinya nama, bukan karena alasan khusus, hanya karena itu menyenangkan
  • Saya ingin melamar dan bekerja di Disney Research; saya penasaran apakah ada saran atau tips
  • Disney adalah tempat yang istimewa. Untuk beberapa waktu, Smalltalk tetap hidup di sana

• Disney memperkenalkan animatronics Lincoln yang membuat semua orang terpukau di Pameran Dunia 1964
  https://en.wikipedia.org/wiki/Great_Moments_with_Mr._Lincoln
  Anehnya, We Can Build You karya Philip K. Dick, yang menampilkan manusia tiruan Lincoln, ditulis pada 1962, beberapa tahun sebelum Lincoln milik Disney
  Dampak emosional Lincoln itu ditopang oleh pengisi suara Royal Dano, yang bekerja di bawah arahan Disney
  https://en.wikipedia.org/wiki/Royal_Dano
  Sistem seperti ini adalah contoh bagus bahwa jika beberapa hal benar-benar tepat dan sisanya cukup meyakinkan untuk “menipu”, keseluruhannya bisa bekerja

  • Saya tidak mengerti mengapa itu aneh. Fiksi spekulatif sangat sering terlebih dahulu menampilkan versi serupa sebelum diwujudkan di dunia nyata

• Dengan meningkatnya minat belakangan ini pada model bahasa besar, saya sempat memikirkan ide seperti hewan peliharaan robot
  Model bahasa besar tampaknya sudah mampu memahami bahasa manusia dan gambar pada tingkat yang diperlukan oleh hewan peliharaan. Jika ada robot anjing yang bukan hanya mengekspresikan emosi, tetapi juga memahami ucapan manusia, rasanya itu akan cukup sukses
  Tidak perlu memahami semuanya secara sempurna. Pemahaman visual dan bahasa setingkat GPT-4 sudah cukup. Tidak perlu mampu meneruskan percakapan panjang; cukup bisa bereaksi gembira atau sedih pada saat yang tepat

  • Kompleksitas terbesar saat ini tampaknya adalah membuatnya bergerak dan bernavigasi di luar lingkungan yang terkontrol
    Teknologi arus utama seperti pemetaan LiDAR iPhone atau pemindaian ruangan Meta Quest memang makin dekat, tetapi untuk robot yang secara inheren jauh lebih tidak stabil daripada Roomba, masih banyak titik yang harus dihubungkan
    Pada awalnya, saya membayangkan kita akan melihat robot-robot kecil seperti ini berinteraksi dengan pengunjung di area berpagar di dalam taman Disney atau di panggung kecil yang dijaga sangat bersih oleh staf. Bentuknya belum perlu menangani seluruh kompleksitas dunia nyata
  • Anda mungkin akan terkejut kalau tahu seberapa banyak yang dipahami hewan peliharaan. Justru kita yang lebih sering tidak memahami mereka
    Hewan peliharaan mengetahui semua kebiasaan kita dan merasakan emosi kita bahkan sebelum kita menyadarinya
  • Saya ingin mencoba memasukkan hal seperti ini ke sistem seperti https://palm-e.github.io/ dan robot berkaki empat termurah

• Seberapa besar total pasar untuk droid peliharaan elektronik bermerek Disney/Star Wars? Melihat anak-anak membawa robot dengan “kepribadian” seperti ini memakai tali, itu tampak seperti use case yang jelas
  Tidak harus supermurah selama lebih murah daripada biaya membeli dan merawat anjing. Namun robotnya harus selucu ini

  • Anjing tidak menjadi usang karena model baru yang mencolok tahun depan, dan tidak bisa dimasukkan ke loteng hingga berdebu karena pemiliknya bosan
    Saya rasa target pasarnya tidak akan pernah sama dengan hewan peliharaan sungguhan. Mungkin perbedaan itu justru bisa dikemas sebagai keunggulan
  • Saya menyukai teknologi sama seperti siapa pun di sini, tetapi memberi anak hewan peliharaan robot sebagai pengganti hewan peliharaan sungguhan terasa sangat tidak nyaman bagi saya

• Jika Disney memasukkan hardware yang cukup untuk menjalankan model bahasa di dalam robot seperti ini, mereka bisa merebut pasar bernilai triliunan

  • Tepat ke arah itu. Modelnya juga tidak harus tahu segalanya seperti GPT-4
    Saya rasa mereka bisa melatih model dengan parameter di bawah 1 miliar yang lucu dan interaktif
  • Tidak harus begitu juga. Hardware-nya bisa dipindahkan ke klaster terdekat
    Jika bandwidth nirkabel cukup besar, tidak ada alasan otaknya harus berada di dalam tubuhnya
    Disney zaman dulu mungkin akan membuat empat robot seperti ini dan membiarkannya berkeliaran begitu saja di Future World EPCOT untuk membangun suasana. Disney sekarang mungkin akan menggunakannya untuk pengalaman Star Wars. Tetap saja enak dilihat
  • Kalau baterainya cuma bertahan 10 menit, itu tidak terlalu menyenangkan
    Tumit Achilles robot bergerak otonom adalah kepadatan penyimpanan daya
  • Pada dasarnya ini seperti “Ashley Too”
    Saya ragu pasar mainan benar-benar bernilai triliunan
  • Akan sangat keren kalau bisa punya Johnny Five

• Disney Imagineering, saya tidak tahu apakah masih disebut begitu, selalu terasa menarik jika dilihat sebagai bagian dari perusahaan seperti Disney
  Kalau dipikir lebih dalam, keberadaannya di dalam Disney terasa seperti tidak masuk akal, tetapi pada saat yang sama justru menjadi inti yang membuat Disney terasa seperti Disney
  Setiap kali mereka merilis video riset, selalu menarik. Saya juga ingat video tentang simulasi salju di Frozen
  Dari luar, tempat itu tampaknya benar-benar menarik untuk bekerja, dan prioritasnya terlihat unik. Karena tujuannya bukan meluncurkan produk konsumen atau proyek enterprise baru, melainkan mendukung tujuan naratif lain
  Di tengah video, saya sempat berpikir ini pasti CGI, mungkin karena kita belum terbiasa melihat robot seperti ini dalam keseharian
  Selain itu, robot ini benar-benar lucu dan saya ingin punya satu

  • Alasan mereka fokus pada riset robot akan lebih mudah dipahami jika melihat sisi keuangannya
    Laba operasional Disney pada tahun fiskal 2022 adalah 12,7 miliar dolar, dan 7,9 miliar dolar di antaranya berasal dari taman hiburan. Itu 65%
    Semua bagian Disney lainnya—film Pixar, film Disney, film Star Wars, TV, streaming, musikal tur, merchandise, kemitraan, dan lisensi kekayaan intelektual—menyumbang 45% sisanya
    Robotika sangat penting bagi taman hiburan
  • Walt Disney sendiri adalah penggemar teknologi yang luar biasa, dan ia serta para CEO setelahnya menyadari bahwa sebagian dari industri hiburan yang mereka geluti membutuhkan kerahasiaan
    “Sihir” secara harfiah sebagian besar berarti “mampu melakukan hal yang tidak diketahui orang lain caranya.” Karena itu mereka menempatkan riset semacam itu secara internal, untuk mendapatkan keunggulan awal dalam ilusi, efek, dan pengalaman yang tidak bisa dilakukan siapa pun
    Cara terbaik memahami Imagineering adalah melihatnya sebagai pabrik sihir. Dalam pengertian itu, bagi divisi taman hiburan dan show entertainment perusahaan, ini benar-benar termasuk model bisnis inti
    Beberapa CEO belakangan ini tidak terlalu memahami aspek ini, dan selama kira-kira 5 tahun terakhir mereka benar-benar mengalihdayakan sebagian pekerjaan yang dulu dilakukan secara internal. Jika teknologi yang dikembangkan vendor pihak ketiga untuk Disney menyebar langsung ke pesaing Disney, saya sangat penasaran bagaimana peta taman hiburan di wilayah Orlando sekitar 10 tahun ke depan
  • Tampaknya ini didasarkan pada droid BD-1 dari franchise Jedi: Fallen Order: https://starwars.fandom.com/wiki/BD-1
    Benar-benar sangat menggemaskan
  • Sebaliknya, Walt Disney adalah orang kreatif yang agak gila dengan kekayaan besar dan hasrat untuk menciptakan taman hiburan. Imagineering adalah salah satu katup di jantung Disney
  • Disney selalu berada di garis depan teknologi
    Mereka membuat film animasi panjang pertama, membuat kamera multiplane untuk mengekspresikan kedalaman, serta bekerja sama dengan Pixar yang memelopori animasi komputer dan kemudian mengakuisisinya

• Jika mengabaikan bagian kepalanya, robot ini terlihat sangat mirip dengan yang ini: https://en.wikipedia.org/wiki/Walker_(Star_Wars)#All_Terrain...

  • Atau bisa juga yang ini: https://starwars.fandom.com/wiki/BD_unit

• Ingat kata-kata saya. Penulisan perilaku akan menjadi prompt engineering masa depan, dan tidak akan ada jalan kembali
  Platform robot tinggal paling banyak beberapa iterasi lagi

  • Saya tidak begitu paham maksudnya. Prompt engineering dulu penting untuk mendapatkan hasil yang bagus, tetapi seiring iterasi demi iterasi, perannya makin kurang penting
  • Atau bisa juga kita akan sampai pada titik ketika AI cukup diberi deskripsi perilaku yang diinginkan dengan bahasa yang sangat sederhana, lalu menunjuk karakter terkenal tertentu sebagai referensi, dan sisanya yang sulit akan dikerjakannya sendiri

• Saya penasaran apakah ada yang masih ingat robot-robot pekerja kecil dari film Silent Running tahun 1972
  https://www.imdb.com/title/tt0067756/?ref_=fn_al_tt_1
  Saya tidak tahu kenapa saya merasa terikat secara emosional pada mereka. Mereka bahkan tidak punya sarana terlihat untuk mengekspresikan emosi. Mereka hanya diam dan rajin melakukan pekerjaan mereka
  Namun entah kenapa mereka menyentuh hati, dan adegan ketika mereka dihancurkan di bagian akhir film terasa cukup memilukan

  • Mereka adalah Huey, Dewey, dan Louie, dinamai dari keponakan Donald Duck, karakter Disney
    Film ini dibuat oleh Douglas Trumbull, yang juga terkenal atas kontribusinya pada efek khusus
    https://en.wikipedia.org/wiki/Douglas_Trumbull

• Entah kenapa, saya terganggu oleh fakta bahwa robot ini tidak punya nama, atau bahwa artikel tidak menyebutkan namanya

  • Menurut artikel, karakter robot ini belum memiliki nama resmi, dan Disney juga belum siap mengatakan di mana kita akan melihatnya. Namun dari tampilan dan suaranya, kita bisa menebaknya