- CEO Nvidia Jensen Huang tampil di podcast All-In dan membahas berbagai topik luas seperti akuisisi Groq, ledakan inferensi, AI fisik, komputasi agen, serta krisis PR industri AI
- Nvidia telah berevolusi dari perusahaan GPU menjadi perusahaan pabrik AI, serta menambahkan Groq LPU, BlueField, CPU, dan prosesor jaringan ke arsitektur komputasi heterogen untuk pemrosesan agen
- Ia menilai Open Claw sebagai cetak biru sistem operasi komputasi AI modern, dan mendefinisikannya sebagai komputer AI personal pertama yang memiliki sistem memori, skill, penjadwalan, dan subsistem IO
- AI fisik adalah pasar senilai 50 triliun dolar yang untuk pertama kalinya ditangani industri teknologi, dan kini sedang tumbuh secara eksponensial menjadi bisnis yang mendekati 10 miliar dolar per tahun
- Terkait krisis PR industri AI, ia memperingatkan dampak negatif pernyataan ekstrem dan apokaliptik dari para pemimpin teknologi terhadap pembuat kebijakan dan publik, serta menekankan perlunya komunikasi yang lebih terkendali dan seimbang
Akuisisi Groq dan ledakan inferensi
- Teknologi inti dari sistem operasi pabrik AI Dynamo yang diperkenalkan 2 tahun setengah lalu adalah disaggregated inference, yaitu membagi pipeline pemrosesan inferensi agar berjalan di GPU yang berbeda
- Konsep komputasi terdisagregasi ini mendorong akuisisi Mellanox, dan kini komputasi Nvidia tersebar di GPU, CPU, switch, switch scale-up/scale-out, serta prosesor jaringan
- Dengan penambahan Groq, terbentuk struktur yang menempatkan workload yang tepat pada chip yang tepat
- Saat beralih ke era pemrosesan agen, kebutuhan akan working memory, memori jangka panjang, penggunaan alat, dan storage meningkat tajam
- Berbagai tipe model kini hidup berdampingan di data center, seperti model besar, model kecil, model diffusion, dan model autoregresif
- Vera Rubin adalah sistem yang dirancang untuk menjalankan workload yang sangat beragam ini
- Dari konfigurasi 1 rack yang ada, ditambah 4 rack lagi, sehingga TAM Nvidia meningkat sekitar 33~50%
- Tambahan tersebut terdiri dari prosesor storage (BlueField), prosesor Groq, CPU, dan prosesor jaringan
- Harga data center tidak boleh disamakan dengan biaya token
- Pabrik 50 miliar dolar dapat menghasilkan token dengan biaya terendah karena memiliki efisiensi throughput 10x
- 20 miliar dolar merupakan biaya lahan, listrik, dan shell, sementara storage, jaringan, CPU, server, dan pendinginan tetap diperlukan
- Perbedaan harga GPU 1x vs 0.5x hanya kira-kira setara dengan 50 miliar vs 40 miliar, dan bukan proporsi besar dibanding throughput 10x
- Tahun lalu ia mengatakan inferensi akan meningkat 1.000x, tetapi kini levelnya akan menuju 1 juta x hingga 1 miliar x
- Saat itu dunia berfokus pada pre-scaling dan pelatihan, tetapi kini inferensi meningkat eksplosif sehingga berada dalam kondisi inference constrained
Pengambilan keputusan di perusahaan paling bernilai di dunia
- Peran CEO adalah mendefinisikan visi dan strategi, lalu membentuk masa depan berdasarkan masukan dari ilmuwan komputer dan teknolog yang hebat
- Kriteria utama: apakah ini sangat sulit, apakah ini belum pernah berhasil dilakukan sebelumnya, dan apakah ini sesuai dengan superpower unik Nvidia
- Jika mudah, pesaing akan terlalu banyak sehingga harus dihindari
- Pekerjaan yang sangat sulit selalu disertai penderitaan, jadi prosesnya harus bisa dinikmati
Pasar 50 triliun dolar untuk AI fisik dan Open Claw
- AI fisik adalah peluang pertama bagi industri teknologi untuk menangani industri senilai 50 triliun dolar
- Dimulai 10 tahun lalu, dan sekarang tumbuh eksponensial menjadi bisnis yang mendekati 10 miliar dolar per tahun
- Tiga jenis sistem komputasi
- Pertama: komputer untuk pelatihan dan pengembangan model AI
- Kedua: komputer evaluasi — mengevaluasi robot dan mobil di lingkungan virtual yang mengikuti hukum fisika (Omniverse)
- Ketiga: komputer robotika edge — untuk mobil otonom, robot, teddy bear, dan sebagainya
- Sedang dilakukan upaya untuk mengubah menara base station komunikasi menjadi bagian dari infrastruktur AI
- Industri telekomunikasi senilai 2 triliun dolar akan menjadi perluasan dari infrastruktur AI
- Biologi digital sedang mendekati momen ChatGPT
- Pemahaman atas ekspresi dan dinamika gen, protein, serta sel akan dimungkinkan dalam 2~5 tahun
- Dalam 5 tahun, biologi digital akan mencapai titik belok di industri kesehatan
- Open Claw adalah titik belok ketiga dari tiga titik belok dalam 2 tahun terakhir
- Pertama: ChatGPT — membawa AI generatif ke kesadaran publik
- Kedua: o1/o3 — reasoning, informasi berbasis bukti, dan titik belok model ekonomi
- Ketiga: Claude Code — sistem agen berguna pertama, tetapi terbatas untuk enterprise, sementara Open Claw menanamkan konsep agen AI ke kesadaran publik
- Struktur model komputasi Open Claw
- Sistem memori: scratchpad (memori jangka pendek), file system
- Skill: menjalankan berbagai jenis aplikasi melalui API
- Manajemen resource dan penjadwalan: cron job, spawn agen, dekomposisi tugas
- Subsistem IO: input/output, koneksi WhatsApp, dan lain-lain
- Keempat elemen ini pada dasarnya mendefinisikan komputer → komputer AI personal open-source pertama
- Kontribusi pada governance dan keamanan perangkat lunak agen
- Kebijakan yang tidak mengizinkan akses informasi sensitif, eksekusi kode, dan komunikasi eksternal secara bersamaan
- Peter Steinberger dan para engineer Nvidia berkontribusi memperkuat keamanan
Krisis PR AI dan masalah komunikasi Anthropic
- AI adalah perangkat lunak komputer, bukan makhluk biologis, bukan alien, dan bukan sesuatu yang sadar
- Pernyataan bahwa "kita sama sekali tidak memahaminya" tidak benar, karena kita memahami banyak hal tentang teknologi ini
- Pembuat kebijakan harus terus diberi informasi, dan apokaliptisisme serta ekstremisme tidak boleh memengaruhi pengambilan kebijakan
- Pada saat yang sama, karena teknologi bergerak sangat cepat, kebijakan juga tidak boleh terlalu jauh mendahului teknologi
- Kekhawatiran keamanan nasional terbesar bagi AS: negara lain mengadopsi AI sementara AS justru marah, takut, atau paranoid terhadap AI dan gagal mengadopsinya
- Tentang Anthropic: teknologinya hebat, dan fokusnya pada keamanan serta keselamatan patut dihormati
- Namun memperingatkan risiko teknologi itu baik, sementara menakut-nakuti tidak terlalu baik
- Pernyataan ekstrem dan katastrofik tanpa bukti dapat lebih berbahaya daripada yang dibayangkan orang
- Sebagai pemimpin teknologi, mereka harus menyadari bobot kata-kata mereka dan bersikap lebih terkendali, moderat, seimbang, dan penuh pertimbangan
- Popularitas AI di AS hanya 17%, dan ada risiko menempuh jalan seperti industri nuklir yang akhirnya mengalami shutdown
- Saat China membangun 100 reaktor fisi, AS membangun 0
- Bahkan mulai muncul pembicaraan tentang moratorium data center
Kemampuan pendapatan, alokasi token karyawan, dan masa depan agen
- Peringkat penggunaan model AI: peringkat 1 OpenAI, peringkat 2 open-source (selisih sangat besar), peringkat 3 Anthropic
- Peningkatan permintaan komputasi
- Generatif → reasoning: sekitar 100x
- Reasoning → agen: sekitar 100x
- Dalam 2 tahun, komputasi meningkat 10.000x
- Orang membayar untuk informasi, tetapi mereka membayar lebih besar untuk pekerjaan
- Sistem agen menyelesaikan pekerjaan → konsumsi saat ini meningkat sekitar 100x, dan scaling bahkan belum benar-benar dimulai
- Dari 43.000 karyawan Nvidia, sekitar 38.000 adalah engineer
- Engineer bergaji 500.000 dolar yang hanya menghabiskan 5.000 dolar per tahun untuk token adalah masalah besar
- Harapannya adalah menghabiskan setidaknya 250.000 dolar untuk token
- Situasinya seperti perancang chip yang berkata, "Saya hanya akan memakai kertas dan pensil, saya tidak perlu alat CAD"
- Kasus Auto Research
- Riset yang dikerjakan dalam 30 menit di desktop setara dengan disertasi PhD yang biasanya memakan 7 tahun
- Diunduh dari GitHub dan dijalankan secara lokal, dengan hasil setara jurnal ilmiah
- Alat yang dirilis saat akhir pekan dengan 600 baris kode
- Cara kerja masa depan: alih-alih menulis kode langsung, orang akan menulis ide, arsitektur, dan spesifikasi, mengorganisasi tim, dan mendefinisikan kriteria evaluasi
- Semua engineer akan memiliki 100 agen
Masa depan perangkat lunak enterprise
- Bantahan terhadap pandangan bahwa industri perangkat lunak enterprise IT akan dihancurkan
- Perangkat lunak enterprise selama ini dibatasi oleh jumlah orang dan kursi (butts and seats)
- Segera akan ada 100x lebih banyak agen yang memakai alat yang sudah ada seperti SQL, vector database, Blender, dan Photoshop
- Alat-alat yang ada sudah bagus untuk menyelesaikan pekerjaan, serta berfungsi sebagai saluran untuk menampilkan hasil akhir dalam bentuk yang dapat dikendalikan pengguna
Open-source, ekspansi global, dan rantai pasok Iran/Taiwan
- Model adalah teknologi, bukan produk, dan bukan layanan
- Model proprietary dan model open-source keduanya sama-sama dibutuhkan (bukan A or B, tetapi A and B)
- Konsumen umum akan memilih kecerdasan umum di layer horizontal seperti ChatGPT, Claude, dan Gemini
- Keahlian domain dan spesialisasi industri hanya mungkin dilakukan dengan model terbuka
- Model open-source kini mendekati frontier, dan bahkan jika mencapai frontier pun model berbasis layanan akan tetap berkembang
- Status ekspansi global
- Aturan ekspansi era Biden adalah kebijakan ekspansi AI yang anti-Amerika
- Presiden Trump menginginkan kepemimpinan global industri teknologi AS dan penyebaran teknologi
- Nvidia telah melepaskan pangsa pasar 95% di pasar nomor 2 dunia, China, dan kini berada di 0%
- Nvidia telah memperoleh lisensi yang disetujui oleh Secretary Lutnik, menerima purchase order dari perusahaan-perusahaan China, dan sedang menyalakan kembali rantai pasok
- Dari sudut pandang keamanan nasional
- Jika tidak mengendalikan motor kecil, mineral rare earth, jaringan komunikasi, dan energi berkelanjutan, keamanan nasional akan melemah
- Industri AI tidak boleh bernasib seperti solar, rare earth, magnet, motor, dan telekomunikasi
- Akan lebih baik jika stack teknologi AS (dari chip hingga sistem komputasi dan platform) mencakup 90% dunia
- Taiwan: reindustrialisasi AS harus didorong secepat mungkin, sambil mengamankan kemitraan strategis dan persahabatan dengan rantai pasok Taiwan agar manufaktur di Arizona, Texas, dan California bisa dipercepat
- Rantai pasok juga perlu didiversifikasi ke Korea, Jepang, dan Eropa
- Selama proses diversifikasi dan peningkatan resiliensi, dibutuhkan kesabaran dan pengendalian diri
- Helium: bisa menjadi masalah, tetapi kemungkinan ada buffer yang cukup dalam rantai pasok
Platform kendaraan otonom dan persaingan
- "Segala sesuatu yang bergerak suatu hari nanti akan menjadi sepenuhnya atau sebagian otonom"
- Nvidia tidak membuat mobil otonom sendiri, tetapi membantu semua perusahaan otomotif membuatnya
- Nvidia membangun ketiganya: komputer pelatihan, komputer simulasi/evaluasi, dan komputer kendaraan
- Mobil otonom berbasis inferensi pertama di dunia — sistem Alpommyo yang menavigasi dengan memecah skenario kompleks menjadi skenario sederhana
- Tesla hanya membeli komputer pelatihan, sementara perusahaan lain menggunakan seluruh stack, menunjukkan model kerja sama yang fleksibel
- Pelanggan sekaligus pesaing seperti Google TPU dan Amazon Inferentia/Tranium
- Keyakinan Nvidia: selama bersaing dengan teknologi terbaik dan bergerak cepat, membeli dari Nvidia adalah pilihan paling ekonomis
- Satu-satunya arsitektur yang hadir di semua cloud — dari cloud ke on-premise, kendaraan, wilayah mana pun, hingga luar angkasa
- Sekitar 40% bisnis tidak bisa dimanfaatkan pelanggan jika tidak ada full stack untuk membangun seluruh pabrik AI
- Alasan kenaikan pangsa pasar
- Anthropic pindah ke Nvidia, Meta juga pindah ke Nvidia, dan pertumbuhan model terbuka — semuanya berbasis Nvidia
- Pertumbuhan enterprise, industri, dan edge di luar cloud
- AWS mengumumkan pembelian 1 juta chip dalam beberapa tahun ke depan
- Tentang prediksi analis mengenai perlambatan pertumbuhan (30% tahun depan, lalu 20%, lalu 7% pada 2029)
- Mereka tidak memahami skala dan cakupan AI
- Kebanyakan orang berpikir AI hanya ada di 5 hyperscaler teratas, padahal kenyataannya jauh lebih luas
Data center luar angkasa, AI healthcare, dan robotika
- Data center luar angkasa
- Nvidia sudah masuk ke luar angkasa — CUDA yang telah dibuat radiation-hardened sudah melakukan imaging dan pemrosesan gambar AI di satelit di seluruh dunia
- Alih-alih mengirim semua data ke Bumi, lebih masuk akal memproses imaging langsung di luar angkasa
- Energi di luar angkasa melimpah, tetapi pendinginan dengan konduksi dan konveksi tidak mungkin dilakukan → hanya radiasi yang memungkinkan, sehingga dibutuhkan luas permukaan yang sangat besar
- Eksplorasi arsitektur data center luar angkasa diperkirakan akan memakan waktu bertahun-tahun
- Tiga area AI healthcare
- AI biology: merepresentasikan dan memprediksi perilaku biologis dengan AI → penemuan obat
- AI agents: bantuan diagnosis dan sebagainya — contoh seperti Open Evidence dan Hypocratic
- AI fisik: AI yang memahami hukum fisika → operasi robotik dan lain-lain
- Di masa depan, semua peralatan rumah sakit seperti ultrasound dan CT akan menjadi agen — versi aman dari Open Claw akan tertanam di semua peralatan
- Robotika
- AS menemukan sebagian besar industri ini, tetapi kehabisan tenaga sekitar 5 tahun sebelum munculnya teknologi inti (otak = AI)
- Dari existence proof dengan fungsi tinggi hingga menjadi produk yang masuk akal, teknologi biasanya tidak butuh lebih dari 2~3 siklus (3~5 tahun)
- China adalah yang terbaik di dunia dalam mikroelektronika, motor, rare earth, dan magnet, sehingga industri robotika global sangat bergantung pada ekosistem dan rantai pasok China
- Robot akan menjadi unlock terbesar bagi mobilitas ekonomi dan kemakmuran, dengan memungkinkan hal-hal yang tidak bisa dilakukan individu secara mandiri
- Saat ini AS kekurangan jutaan tenaga kerja, sehingga robotika sangat dibutuhkan
- Virtual presence melalui robot, bergerak secepat cahaya, dan menjadi sarana utama kolonisasi Bulan dan Mars
Potensi pendapatan OpenAI/Anthropic dan moat AI
- Dario Amodei memprediksi pendapatan AI non-infrastruktur sebesar ratusan miliar dolar pada 2027~28 dan 1 triliun dolar pada 2030
- Jensen menilai ini sangat konservatif, dan berharap Anthropic akan tampil jauh lebih baik daripada itu
- Bagian yang belum diperhitungkan: semua perusahaan perangkat lunak enterprise akan menjadi reseller bernilai tambah untuk token Anthropic dan OpenAI
- Go-to-market diperkirakan akan meluas secara logaritmik
- Moat di era AI adalah spesialisasi mendalam
- Model umum akan terhubung ke sistem agen, dan banyak model akan menjadi sub-agen khusus yang dilatih sendiri oleh perusahaan
- Pesan untuk entrepreneur: pahami vertikal Anda lebih dalam daripada siapa pun, lalu suntikkan pengetahuan itu saat alat makin berkembang
- Semakin cepat agen terhubung ke pelanggan, semakin cepat flywheel bekerja dan agen menjadi lebih baik
- Berbeda dari platform horizontal saat ini dan model kustomisasi, perusahaan platform justru punya peluang menjadi pakar domain vertikal
Saran bagi anak muda di era AI
- Ia merekomendasikan sains mendalam, matematika mendalam, dan kemampuan bahasa
- Karena bahasa adalah bahasa pemrograman AI, lulusan sastra Inggris bisa jadi yang paling sukses
- Apa pun pendidikannya, orang harus menjadi pengguna AI yang sangat ahli
- Tidak terlalu mengarahkan secara berlebihan dan tetap memberi ruang bagi AI untuk berinovasi dan mencipta sambil mengarahkannya ke hasil yang diinginkan adalah sebuah seni
- Kasus radiolog
- 10 tahun lalu diprediksi computer vision akan sepenuhnya menggantikan radiologi → computer vision kini terintegrasi 100%
- Namun jumlah radiolog justru meningkat, karena permintaan melonjak
- Scan menjadi lebih cepat, jumlah scan bertambah, lebih banyak pasien ditangani, dan pendapatan rumah sakit meningkat
- Task dalam sebuah profesi berubah, tetapi purpose-nya tetap sama
- Jika produktivitas meningkat, negara akan menjadi lebih makmur dan bisa menempatkan lebih banyak guru di ruang kelas, serta memberi kurikulum yang dipersonalisasi kepada setiap siswa
- Transisi pekerjaan tak terhindarkan, seperti perubahan pada 10~15 juta pekerjaan pengemudi akibat kendaraan otonom
- Sopir bisa berevolusi menjadi asisten mobilitas — melakukan berbagai tugas untuk penumpang saat mobil menyetir sendiri
- Mirip seperti autopilot pesawat yang justru menciptakan lebih banyak pilot
3 komentar
Mulai dari 24:28 sangat mengesankan.
Mari lakukan eksperimen pikiran seperti ini.
Bayangkan ada seorang software engineer atau peneliti AI yang menerima gaji tahunan $500.000. Kasus seperti ini biasa bagi kami.
Kepada engineer dengan gaji $500.000 itu, di akhir tahun saya akan bertanya.
“Berapa banyak yang Anda habiskan untuk token tahun ini?”
Lalu kalau orang itu menjawab, “Saya menghabiskan $5.000,” saya akan benar-benar tercengang.
Kalau engineer bergaji $500.000 itu bahkan tidak memakai token senilai minimal $250.000, saya akan menganggapnya sangat serius.
Ini tidak berbeda dengan salah satu chip designer kami yang berkata,
“Saya akan pakai kertas dan pensil saja. Sepertinya saya tidak butuh tool CAD.”
Artinya, cara kita memandang talenta terbaik kini sedang berubah total.
Ini mirip dengan pelajaran yang kita dapat saat LeBron James di NBA mulai menghabiskan $1 juta setiap tahun untuk merawat tubuhnya dan menjaga kondisinya.
Mengapa kita tidak memberikan kemampuan supermanusia kepada para knowledge worker yang luar biasa ini?
Kalau begitu, saat melihat 2~3 tahun ke depan,
seberapa efisien satu talenta terbaik di Nvidia akan bekerja?
dan sampai sejauh mana mereka akan mampu melakukannya?
Pertama, pikiran seperti “Wah, ini terlalu sulit” akan hilang.
Pikiran “Ini memakan waktu terlalu lama” juga akan hilang.
Pikiran “Butuh terlalu banyak orang” juga akan hilang.
Terlalu besar, terlalu berat, terlalu lama.
Semua pikiran seperti ini akan lenyap.
Pada akhirnya yang tersisa adalah kreativitas.
Yang tersisa hanyalah apa yang bisa Anda bayangkan.
Kalau begitu, sekarang pertanyaannya adalah ini.
Bagaimana kita akan bekerja bersama agent-agent ini?
Itu pada akhirnya adalah cara baru dalam melakukan computer programming.
Dulu kita menulis kode sendiri.
Ke depannya, kita akan menulis ide, menulis arsitektur, dan menulis spesifikasi.
Kita akan mengorganisasi tim,
menentukan cara menilai hasil yang baik dan hasil yang buruk,
menetapkan apa yang merupakan hasil yang luar biasa,
menentukan bagaimana kita akan melakukan iterasi bersama,
dan menentukan bagaimana kita akan brainstorming bersama.
Itulah hal-hal yang benar-benar penting.
Dan menurut saya,
ke depannya setiap engineer akan memimpin seratus agent.
Saya paham maksudnya, tetapi menilai engineer berdasarkan jumlah baris kode memang tindakan bodoh. Sepertinya sangat sulit menemukan metrik yang benar-benar baik.
Alih-alih bertanya kepada engineer bergaji 500 ribu dolar, "Berapa banyak token yang Anda pakai?",
seharusnya kita bertanya, "Apa yang Anda kembangkan tahun ini, dan bagaimana hal itu berkontribusi pada laba operasional perusahaan?"