Moneyball untuk Physical AI

• Data robot tidak bisa ditambang dari korpus yang sudah ada seperti teks, dan setiap jam yang berguna menimbulkan biaya, sehingga efisiensi modal bergantung pada seberapa akurat kita menghitung utilitas marginal per dolar dan kebaruan data, bukan total volume yang dikumpulkan
• Saat data bertambah, loss menurun mengikuti hukum pangkat, tetapi keberagaman mengubah cakupan generalisasi dan batas bawah galat; pengulangan dan duplikasi yang nyaris sama cepat jenuh, sementara kasus kegagalan OOD yang langka memberi utilitas besar
• Karena data deployment produksi mengikuti kurva deplesi sumur yang berawal dari kegagalan berentropi tinggi lalu menyatu ke keberhasilan rutin dan duplikasi yang nyaris sama, yang perlu dilakukan bukan menambah jam operasi melainkan menyaring ekor kegagalan
• Tugas robot awal harus membatasi variabilitas lingkungan demi kelayakan komersial, sehingga dimensi intrinsik dan kemungkinan transfer menjadi rendah; flywheel produksi yang mengklaim pendapatan deployment akan memperbaiki model umum sulit bekerja tanpa cakupan observasi eksternal dan keberagaman intervensi
• Anggaran data harus dialokasikan dengan memperluas cakupan melalui data observasi berbiaya rendah, mengumpulkan teleoperasi berbiaya tinggi hanya sampai titik jenuh per tugas, dan pada telemetri produksi hanya menyaring kegagalan OOD

---

Physical AI yang Salah Menetapkan Harga pada Volume Data

• Pada 2002, Oakland Athletics meraih 103 kemenangan dengan total gaji terendah ketiga di MLB, memanfaatkan salah harga pasar pemain dengan menemukan on-base percentage yang benar-benar berkorelasi dengan perolehan run, alih-alih mengandalkan estetika subjektif, pencurian base, atau batting average
• Di Physical AI, total jam operasi kumulatif juga dianggap penting karena merupakan metrik yang mudah dilihat dan mudah didanai, tetapi korelasinya dengan kinerja model hilir yang sesungguhnya lemah
• Data robot tidak bisa ditambang dari korpus yang sudah ada seperti data teks, dan setiap jam data yang berguna harus dibayar, sehingga seiring volume koleksi naik, biaya juga meningkat secara linear
  • Ken Goldberg memperkirakan model robotika terdepan mungkin membutuhkan sekitar 100 ribu tahun data
  • Pendekatan memasok data supervisi yang dibutuhkan untuk AGI hanya dengan infrastruktur teleoperasi manual berskala besar tidak berkelanjutan
• Bahkan pada pendekatan menempatkan robot di lokasi produksi dan memperoleh telemetri sebagai produk sampingan dari pendapatan operasional, kesalahan statistik yang sama bisa muncul
  • Pekerjaan ceruk yang saat ini bisa dideploy adalah area dengan variabilitas paling rendah
  • Data yang muncul di sini berentropi rendah dan saling berkorelasi, sehingga utilitas marginal-nya kecil
• Metrik yang setara dengan on-base percentage untuk Physical AI adalah penurunan loss marginal per dolar, yang sekaligus mencerminkan scaling law dan biaya akuisisi data per unit

Kepentingan yang Menggerakkan Rantai Pasok Data

• Setiap pihak memiliki sudut pandang data yang membuat area bisnisnya sendiri tampak paling bernilai
  • Laboratorium foundation model menjual skala model umum, sehingga menganggap pretraining skala besar dan peningkatan komputasi akan menghilangkan error edge case
  • Perusahaan teleoperasi mengutamakan volume data mentah karena pendapatannya bertambah sesuai jam operasi, bukan berdasarkan utilitas atau kebaruan data
  • Vendor hardware yang sudah mapan berasumsi lingkungan normal dan stabil karena solusi mereka gagal di lingkungan out-of-distribution
  • Banyak peneliti robotika akademik melihat kesenjangan bisa ditutup lewat fisika, model, dan kontrol, bukan data
• neo-integrator berupaya menghindari bottleneck pengumpulan data dengan menempatkan robot khusus ke produksi komersial dan menangani kegagalan lewat intervensi manusia
  • Evan Beard mengusulkan flywheel ekonomi bahwa telemetri produksi menciptakan kebaruan yang dibutuhkan untuk kemampuan multi-tugas
  • Kyle Vedder membantah bahwa lingkungan yang bersedia membayar adopsi robot awal pada dasarnya bervariasi rendah, sehingga muncul kendala novelty pump
• Strategi mana yang menghasilkan kemampuan model tertinggi per dolar hanya bisa dinilai dengan membandingkan scaling law empiris dan unit economics akuisisi data secara bersamaan

Tiga Jenis Data Menurut Biaya dan Cara Supervisi

• Data observasi seperti video orang pertama dan orang ketiga berbiaya rendah dan bercakupan luas, sehingga memperluas support ruang representasi, tetapi tidak bisa memberikan supervisi tindakan secara langsung
• Data intervensi seperti demonstrasi teleoperasi berbiaya tinggi dan bercakupan sempit, tetapi secara eksplisit memuat trajektori state-action, dan biayanya meningkat sebanding dengan jumlah tenaga kerja manusia
• Data deployment adalah telemetri mentah yang dihasilkan secara endogen dari sistem produksi
  • Operasinya sendiri kadang juga merugi
  • Distribusi data ditentukan oleh kondisi operasi komersial, bukan oleh desain algoritme
• Memaksimalkan data justru bisa menambah noise berentropi rendah dan menurunkan efisiensi pembelajaran
  • Pada dataset C4 untuk language model, model membaik ketika boilerplate dan duplikasi nyaris sama dihapus lalu cakupan token unik diperluas dalam anggaran tetap
• Pipeline data adalah masalah alokasi modal yang mempertanyakan apa yang didapat dari setiap 1 dolar pada tiap jenis data, di mana informasi baru muncul, dan apakah data deployment bisa memperluas cakupan tugas

Utilitas Data Dilihat dari Scaling Law

• Volume Data dan Penurunan Loss

  • Saat data, ukuran model, dan komputasi bertambah, test loss menurun sebagai hukum pangkat berbentuk garis lurus pada sumbu log-log, tetapi besarnya penurunan makin kecil dan pada akhirnya mencapai batas bawah

  • Bentuk gabungan dari Kaplan 2020 dan Hoffmann 2022 untuk ukuran model (N) dan jumlah token (D) adalah sebagai berikut

    [ L(N,D)=E+A N^{-\alpha}+B D^{-\beta} ]

  • Pada alokasi optimal komputasi, bentuk ini menyusut menjadi selubung satu dimensi terhadap data

    [ L^{*}(D)=E+\tilde B D^{-\beta} ]

• (E) adalah ketidakpastian prediksi yang tidak dapat dihilangkan oleh model, dan bentuk fungsinya konsisten tetapi nilainya merupakan pendekatan seperti dibahas oleh Besiroglu 2024

• Keragaman dan dimensi intrinsik

  • Campuran data yang beragam menghasilkan dua efek sekaligus yang independen dari jumlah data
    • Menurunkan batas bawah error asimtotik melalui transfer antar-domain dan perluasan cakupan manifold
    • Meningkatkan dimensi intrinsik dataset (d_{\text{int}})
  • Pada rentang batas resolusi untuk target yang mulus, hubungan (\beta \approx 4/d_{\text{int}}) berlaku menurut Sharma & Kaplan 2020 dan Bahri 2021
  • Jika dimensi intrinsik tugas dikurangi setengahnya, eksponen scaling kira-kira menjadi dua kali lipat sehingga loss menurun lebih cepat
  • Namun sebagai gantinya, model dapat berkumpul ke optimum yang lebih buruk dan tidak dapat digeneralisasi, sehingga dimensi intrinsik distribusi pretraining tidak boleh diturunkan secara artifisial
  • Hukum pencampuran data dari Ye et al. 2024 menguraikan loss campuran menjadi hukum pangkat per domain dan suku kopling antar-domain, dengan suku kopling menentukan transfer positif dan interferensi negatif

• Kejenuhan pengulangan dan penurunan kinerja

  • Data yang diulang menunjukkan efisiensi yang mirip dengan token baru hingga sekitar 4 epoch, tetapi setelah itu utilitasnya cepat menurun dan pada akhirnya justru menurunkan kemampuan
  • Muennighoff et al. 2023 menyesuaikan bentuk kejenuhan eksponensial dengan waktu paruh (R^{*}\approx15)
  • Pengulangan 4 kali hampir tidak menimbulkan kerugian
  • Mulai 16 kali pengulangan, tambahan komputasi masuk ke fase diminishing returns yang jelas karena tidak lagi menghasilkan informasi baru
  • Jika jumlah contoh unik adalah (U) dan jumlah pengulangan adalah (r=T/U), maka ukuran data efektif adalah (D_{\text{eff}}=U\cdot f(r)), dan (f(r)) jenuh secara eksponensial
  • Menurut Hernandez et al. 2022, jika sebagian kecil data yang sempit diulang secara berlebihan, local double descent muncul pada test loss, dan induction head serta copying head yang diperlukan untuk in-context learning menjadi rusak
  • Saat 0,1% dari seluruh korpus diulang 100 kali, kinerja sub-tugas model berparameter 800 juta turun ke tingkat model berparameter 400 juta

• Duplikasi dekat dan kejenuhan lokal

  • Duplikasi dekat memiliki utilitas yang kontinu di antara pengulangan sempurna dan sampel yang sepenuhnya baru
  • Lee et al. 2021 menemukan kasus di C4 di mana kalimat yang sama muncul lebih dari 60 ribu kali
  • Deduplikasi mengurangi hafalan verbatim dan mempercepat konvergensi dengan mengalokasikan anggaran token ke manifold yang berbeda
  • Perubahan kecil (\varepsilon) memetakan (x) dan (x+\varepsilon) ke target yang sama sehingga bertindak sebagai regularisasi konsistensi implisit
    • Perubahan yang sangat kecil memiliki utilitas rendah
    • Perubahan berukuran sedang berguna untuk regularisasi
    • Jika perubahan cukup besar, ia menjadi data yang terpisah
  • Jika tetangga sempit disampling secara padat, kapasitas lokal cepat jenuh dan merusak kinerja model

• Kejadian langka dan ekor panjang

  • Kejadian langka out-of-distribution (OOD) membentuk ekor kegagalan yang membatasi kinerja model pada batas scaling, sehingga memiliki utilitas marjinal yang besar
  • Distribusi fisik dunia nyata memiliki ekor panjang, dan menurut Michaud et al. 2023, kemampuan makroskopik muncul ketika sub-keterampilan yang mengikuti distribusi Zipf diperoleh menurut urutan frekuensi
  • Menurut Feldman 2020, untuk mencapai akurasi frontier diperlukan pembelajaran atas subpopulasi langka yang mencakup porsi besar dari seluruh densitas operasional
  • Sorscher et al. 2022 menunjukkan bahwa dengan menyeleksi sampel yang sulit dan jarang, kendala hukum pangkat yang umum dapat diakali
  • Edge case yang muncul dari probabilitas dunia nyata sulit direproduksi melalui generasi sintetis atau staging terstruktur
  • Semakin luas distribusi yang diketahui, semakin eksponensial kelangkaan variasi baru yang tersisa, sehingga biaya penemuannya melonjak

Ekonomi utilitas marjinal per dolar

• Loss per tugas dan alokasi modal

  • Pada language model, komputasi adalah kendala dan data melimpah, tetapi pada robotika, biaya perolehan data yang berguna adalah kendala langsung

  • Target kemampuan keseluruhan dimodelkan sebagai gabungan klaster tugas (j) dengan bobot prior (\pi_j), dan loss tiap klaster mengikuti bentuk berikut

    [ L_j=A_j(\phi)+B_j(\phi)D_j^{-\beta_j} ]

  • (A_j(\phi)) adalah batas bawah pada konfigurasi sensing (\phi), (D_j) adalah jumlah data, dan (\beta_j\approx4/d_j) adalah eksponen berdasarkan dimensi intrinsik (d_j)

  • Untuk mengalokasikan modal terbatas secara optimal, pengeluaran harus dilakukan sedemikian rupa sehingga nilai marjinal per dolar dari semua kanal pengumpulan dan pemurnian menjadi sama

  • Kanal intervensi memiliki premi pada supervisi tindakan langsung, tetapi karena jumlah datanya cepat jenuh, utilitas ekonomi utamanya berasal dari transfer keterampilan antar-tugas

  • Biaya kanal (i) dinyatakan sebagai (c_i), fungsi kejenuhannya sebagai (g_i(n_i)), dan proyeksi transfer ke tugas (j) sebagai (w_{ij})

  • Ketika volume pengumpulan meningkat dan (g_i'(n_i)) mengecil, utilitas per dolar juga menurun

  • Kanal observasi memperbaiki ruang representasi tanpa label tindakan, dan memengaruhi batas bawah error (A_j) serta koefisien scaling (B_j)

• Batas bawah error yang ditentukan sensor

  • Error stokastik bukan nilai yang mutlak tetap, melainkan relatif terhadap keadaan informasi yang diamati sensor robot tertentu

  • Batas bawah untuk tugas (j) pada konfigurasi sensing (\phi) dapat dinyatakan sebagai entropi kondisional (A_j(\phi)=E[H[a|s_\phi]])

    [ A_j(\phi)=A_j^{\min}+\left(A_j(\phi)-A_j^{\min}\right) ]

  • (A_j^{\min}) adalah batas fisik yang tidak dapat dihilangkan oleh sensor apa pun, sedangkan sisanya adalah bagian yang dapat dikurangi dengan sensing yang lebih baik

  • Variasi lingkungan yang tidak dapat dibedakan oleh sensor beresolusi rendah muncul bagi model sebagai noise aleatorik, tetapi sensor beresolusi tinggi mengubahnya menjadi error epistemik yang dapat dipelajari

  • Data tindakan mendekatkan loss ke (A_j(\phi)), dan sensor yang lebih baik menurunkan (A_j(\phi)) itu sendiri

  • Agar deployment memungkinkan, terhadap loss titik impas tugas (L_{\text{neutral}}), harus berlaku (A_j(\phi)\ll L_{\text{neutral}})

  • Jika bahkan pada sensing optimal (A_j^{\min}\ge L_{\text{neutral}}), memperbesar jumlah data tidak akan efektif

  • Dalam kasus ini, konfigurasi hardware harus diubah atau tugas operasional lain harus dipilih

Kurva pengurangan data deployment dan jebakan konvergensi

• Telemetri produksi terkuras seperti sumur minyak

  • Pada awal produksi, mode kegagalan berentropi tinggi muncul, tetapi seiring anomali diselesaikan, data berubah menjadi duplikasi dekat dan pengulangan sehingga utilitasnya menurun tajam

  • Utilitas efektif distribusi lokal jenuh secara eksponensial seperti (U_{\text{eff}}(n)=U_0+\Delta U(1-e^{-n/n_c}))

  • Setelah melampaui titik kejenuhan atau covering number (n_c), stream produksi berkumpul pada data berulang berutilitas rendah

  • Nilai tinggi terkonsentrasi pada ekor kegagalan, sedangkan keberhasilan rutin tidak memiliki utilitas marjinal

  • Biaya bersih data deployment bergantung pada tingkat error, biaya kehilangan intervensi dan throughput, serta nilai penyelesaian tugas

    [ c_{\text{dep}}(L)=\rho(L)(\kappa_{\text{int}}+\kappa_{\text{prod}})-\nu ]

• Sebelum titik impas saat (c_{\text{dep}}\approx0), pengumpulan data masih merugi, sehingga pada tahap deployment awal perlu memasukkan modal eksternal bukan sebagai pendapatan operasional melainkan sebagai aset R&D

  • Umumnya deployment mulai dilakukan dengan intervensi pada performa 95% dan baru menjadi menguntungkan pada 99,5%, tetapi data yang dibutuhkan dari (L_{\text{start}}) ke (L_{\text{neutral}}) dapat meningkat beberapa orde besaran karena hukum pangkat
  • Jika target impas mendekati batas bawah error sehingga (\Delta_{\text{safe}}=L_{\text{neutral}}-A_j(\phi)\to0), data dan biaya yang dibutuhkan akan divergen secara superlinear
  • Tugas dengan (L_{\text{neutral}}\approx A_j(\phi)) menjadi capital sink
  • Sebelum memperbesar skala deployment, cakupan data dan sensing harus ditingkatkan

• Benturan antara konvergensi komersial dan generalisasi

  • Untuk men-deploy foundation model yang belum optimal secara komersial, variasi lingkungan harus dibatasi secara artifisial agar dimensi intrinsik tugas menurun
  • (d_j) yang rendah menghasilkan (\beta_j) yang besar sehingga laju konvergensi meningkat, tetapi menuju manifold yang sempit dan tidak dapat ditransfer
  • Data berentropi rendah dan berkorelasi yang diperoleh dari sel operasi terstruktur tidak memperluas batas generalisasi model umum, sehingga sistem tetap terikat pada niche awalnya
  • Setiap tugas yang terfragmentasi dan bervariasi rendah menimbulkan biaya non-recurring engineering (NRE), dan untuk mencapai margin seperti software, biaya integrasi marginal dari tugas baru yang ditambahkan secara berurutan harus mendekati 0
  • Dua jenis bias data menciptakan keterbatasan yang berbeda
    • Bias staging: data intervensi memiliki kepadatan perilaku tinggi, tetapi terstruktur secara artifisial seperti simulasi atau laboratorium sehingga gagal menangkap ekor kegagalan stokastik di lingkungan fisik nyata
    • Bias distribusi: data deployment berasal dari lingkungan nyata, tetapi demi kelangsungan komersial dibatasi pada niche bervariasi rendah sehingga mensampling campuran distribusi yang keliru
  • Strategi memperluas secara berurutan dari tugas sempit ke tugas luas hanya ekonomis jika laju pertambahan tugas yang bisa di-deploy lebih cepat daripada defisit NRE kumulatif
  • Karena ekspansi ini sulit dicapai hanya dengan data deployment dari niche komersial, cakupan observasi yang menurunkan batas bawah error dan keragaman intervensi yang memperluas batas generalisasi harus dipasok dari luar agar flywheel produksi dapat bekerja

Indikator kepadatan informasi yang menggantikan jam operasi

• Biaya integrasi marginal per tugas melacak biaya NRE yang muncul untuk setiap tugas baru melalui akuntansi proyek
  • Jika biaya tidak turun meski portofolio tugas membesar, berarti lapisan model belum mampu mengakumulasi representasi lintas tugas
  • Struktur bisnisnya juga lebih mirip integrasi sistem linear daripada software yang dapat diskalakan
• Titik saturasi (n_c) per tugas mengidentifikasi titik saat kurva pembelajaran per tugas dan lingkungan mulai mendatar
  • Menghentikan pengumpulan pada titik ini dapat mengurangi pemborosan utama pada anggaran teleoperasi manual
• Laju pergeseran distribusi (v_j) melacak kecepatan munculnya input OOD dan frekuensi retraining
  • Karena distribusi target yang non-stasioner terus menciptakan mode kegagalan baru, telemetri deployment yang berkelanjutan adalah satu-satunya kondisi operasional yang dapat mempertahankan keunggulan data
• Cakupan klaster mengukur jumlah klaster tugas, objek, dan lingkungan yang saling ortogonal dalam embedding data terstandar, bukan jumlah episode mentah
  • Ekspansi klaster dari waktu ke waktu menjadi indikator proksi generalisasi lintas domain
• Kepadatan kebaruan data memperkirakan kepadatan informasi dari stream masuk dengan heuristik active learning seperti ketidakselarasan ensemble atau varians prediksi pada state yang terekam
  • Ini menyaring keberhasilan rutin berentropi rendah dan memprioritaskan ekor kegagalan dengan utilitas tinggi
• Batas bawah error insidental (A_j(\phi)) yang menentukan kelayakan tidak dapat diukur secara langsung
  • Kita bisa mengestimasi nilai asimtotik (E) dengan menyesuaikan (L(D)=E+BD^{-\beta}), tetapi error aproksimasi besar sehingga sulit dipakai sebagai indikator operasional langsung

Ekosistem robotika yang dibedakan berdasarkan strategi data

• Lab yang mengutamakan model melakukan pretraining dengan menyaring dan membersihkan korpus observasi lintas bentuk robot dalam skala besar, lalu berupaya memperoleh generalisasi kumulatif dari cakupan itu
  • Lab world model bertaruh pada pembuatan data intervensi murah dengan model yang telah dipelajari
  • Baik pretraining statis maupun simulasi sintetis tidak mampu mereplikasi secara akurat ekor kegagalan edge case insidental dari deployment nyata
• Perusahaan terintegrasi vertikal melakukan sendiri pengumpulan dan kurasi data pada hardware proprietari
  • Data yang selaras dengan hardware memang efisien
  • Namun kecuali pada domain yang secara inheren sangat bervariasi seperti autonomous driving, pembatasan ke lingkungan bervariasi rendah demi komersialisasi membuat mereka terjebak dalam lingkaran minim kebaruan
• Neo-integrator berada pada posisi yang baik untuk mengamankan keragaman tugas karena memiliki basis operasi yang dangkal namun luas di berbagai lingkungan industri
  • Model bisnis yang memperlakukan ini hanya sebagai area operasi yang bisa ditagih, bukan sebagai lingkungan data yang harus dikurasi secara aktif, adalah kesalahan strategis
• Perusahaan teleoperasi menjual jam operasi, sehingga insentifnya adalah memaksimalkan volume data mentah, bukan cakupan sampel yang unik
  • Mereka terus menghasilkan data bahkan setelah melewati titik saturasi (n_c) per tugas, dan meski menyediakan alat infrastruktur yang menghasilkan pendapatan lokal, mereka tidak menciptakan keunggulan skala
• Vendor hardware lama mempertahankan pasar bervariasi rendah yang menguntungkan dan dioptimalkan untuk replay perilaku deterministik
  • Mereka hampir tidak mengumpulkan data untuk pembelajaran sehingga tidak punya jalur untuk naik mengikuti kurva scaling
• Dalam Physical AI, kemampuan yang paling langka adalah mengidentifikasi dan menangkap kebaruan data, dan nilainya terakumulasi pada tim operasi yang dapat memilih variasi OOD, terlepas dari batas organisasi tradisional antara riset dan rekayasa hardware

Perbedaan antara Physical AI dan aplikasi LLM

• Aplikasi software seperti Cursor dan Harvey meminjam foundation model per token, tetapi tetap menangkap nilai ekonomi melalui integrasi workflow dan distribusi proprietari
• Penangkapan nilai ekonomi dan kemampuan model adalah variabel yang terpisah, dan kondisi Physical AI berbeda dari aplikasi software pada tiga sumbu

• Dimensi tugas dan kecepatan saturasi

  • Pengembangan software memiliki dimensi intrinsik tinggi sehingga feedback workflow yang berkelanjutan terus memberi utilitas marginal
  • Tugas fisik seperti structured warehouse picking memiliki dimensi intrinsik rendah sehingga stream data per tugas cepat jenuh dan masuk ke fase diminishing returns

• Asimetri lapisan foundation

  • Aplikasi software beroperasi di hilir foundation model yang umum dipakai dan disubsidi besar-besaran
  • Physical AI tidak memiliki lapisan foundation umum setara yang bisa dipinjam, sehingga deployment robot saat ini harus mengurangi variabilitas lingkungan secara artifisial demi kelayakan operasional
  • Subdistribusi khusus yang dikumpulkan dengan cara ini tidak menghasilkan generalisasi yang lebih luas

• Biaya telemetri dan margin

  • Software dapat mengamati seluruh loop operasi secara lengkap dengan biaya rendah, termasuk source code, edit pengguna, dan hasil kompilasi
  • Telemetri fisik mahal untuk dikumpulkan dan karena resolusi sensor, selalu ada bagian yang secara inheren tidak teramati
  • Jika data observasi dasar Physical AI tetap menjadi aset yang kompetitif dan proprietari, leverage akan terkonsentrasi pada lapisan model hulu
  • Penyedia infrastruktur akan mempertahankan daya penetapan harga proprietari, dan margin aplikasi hilir akan tertekan

Cara mengalokasikan anggaran data

• Jam operasi kumulatif harus dikeluarkan dari metrik utama performa model, dan efisiensi engineering serta scaling harus dievaluasi dengan biaya integrasi marginal per tugas, ambang saturasi, cakupan klaster embedding, dan laju pergeseran distribusi
• Baik data intervensi yang di-staging maupun data deployment yang sempit tidak dapat secara mandiri memperluas foundation model
  • Staging berkapasitas tinggi cepat mencapai saturasi cakupan per tugas sehingga memasuki diminishing returns
  • Deployment komersial kekurangan kebaruan dalam niche yang bisa menghasilkan laba, dan menimbulkan biaya NRE untuk penanganan error di setiap lingkungan
• Cakupan observasi harus diprioritaskan untuk data berbiaya rendah dan berkeragaman tinggi agar menurunkan batas bawah error insidental dan memperluas batas kemampuan dasar
• Staging intervensi hanya boleh dilakukan sampai titik saturasi (n_c) suatu tugas, dan sisa anggaran harus dialihkan ke keragaman tugas, bukan pengulangan tugas yang sama
• Dalam telemetri deployment, edge case OOD dan mode kegagalan harus dipisahkan, dan keberhasilan rutin dalam jumlah besar yang tidak punya kepadatan informasi harus dibuang
• Meskipun deployment awal dapat menghasilkan beberapa sinyal yang berguna, operasi berkelanjutan sebelum titik impas tetap menghabiskan modal
• Efisiensi modal Physical AI tidak diskalakan dengan memaksimalkan volume data, tetapi dengan kemampuan memberi harga yang akurat pada kebaruan data