Masa Depan Komputasi: Mahkota Nvidia Mulai Goyah

• NVIDIA tumbuh pesat berkat ledakan AI dan dominasi GPU, tetapi posisi jangka panjangnya kini terancam oleh pengembangan chip internal dan strategi integrasi vertikal dari raksasa cloud
• Permintaan GPU dari startup dan penyedia cloud independen sedang menurun, dan memburuknya profitabilitas model bisnis yang sangat bergantung pada NVIDIA mulai terlihat
• Google, Amazon, Microsoft, dan Meta dengan cepat mengurangi ketergantungan pada NVIDIA melalui chip kustom berperforma tinggi dan sistem yang terintegrasi secara vertikal
• Infrastruktur terdistribusi dan optimasi berbasis koneksi klaster menjadi elemen inti pelatihan AI, dan ini merupakan perubahan struktural yang sulit direspons NVIDIA
• NVIDIA sedang mencoba meningkatkan hardware dan software, tetapi ada kemungkinan daya saingnya melemah dibanding strategi integrasi vertikal mendalam milik hyperscaler

---

Dari dominasi ke krisis bagi NVIDIA: gejolak besar di pasar komputasi AI

• NVIDIA tumbuh cepat melalui ledakan AI, dominasi GPU, dan pasokan server DGX, mencatat pencapaian luar biasa berupa kenaikan kapitalisasi pasar sebesar 2 triliun dolar dalam 13 bulan
• Namun, generasi H100 adalah puncak profitabilitas, sementara seri B200 yang dirilis setelahnya diiringi oleh penurunan profitabilitas dan kenaikan biaya produksi
• Dalam jangka panjang, struktur monopoli NVIDIA mulai goyah karena para hyperscaler mengonsolidasikan permintaan dan membangun daya saing lewat pengembangan chip kustom

Restrukturisasi permintaan AI dan menyusutnya pasar startup

• Lebih dari setengah permintaan data center NVIDIA berasal dari hyperscaler seperti Google, Microsoft, Amazon, dan Meta
• Sisa permintaan datang dari startup, VC, dan perusahaan cloud kecil-menengah, tetapi pembelian GPU berlebih membuat ROI rendah, dan bisnis penyewaan GPU berada dalam kondisi merugi
• Model kustom skala kecil seperti BloombergGPT kesulitan di pasar, sementara model tertutup berbasis API besar menjadi standar
• Cloud independen seperti Coreweave dan Lambda berada dalam krisis karena kurang ekonomis, profitabilitas menurun, dan permintaan melambat, meski mendapat dukungan NVIDIA
• Harga sewa GPU turun tajam menjadi $1.99 per jam, dengan ROE di bawah 10%, level yang tidak berkelanjutan

Strategi pengembangan chip kustom para hyperscaler

• Google TPU telah mencapai generasi ke-6 dan sepenuhnya menggantikan NVIDIA pada model seperti Gemini-Ultra, DeepMind, dan YouTube
• Trainium dan Inferentia milik Amazon melalui kolaborasi dengan Anthropic menggantikan inferensi dan pelatihan model besar, serta menyediakan Neuron SDK yang berjalan tanpa CUDA
• Akselerator Maia dan CPU Cobalt dari Microsoft digunakan untuk workload AI internal, dan dengan SDK berbasis Triton peluang penggantian CUDA makin besar
• Meta menjalankan fitur AI di Instagram dan WhatsApp dengan chip MTIA miliknya sendiri, dan sebagian pelatihan Llama 3.1 juga dilakukan berbasis chip internal
• Arah ini lebih cocok dengan struktur pasar AI yang berpusat pada inferensi, dan ke depan inferensi berbasis GPU berpotensi tersisih oleh chip kustom, bahkan solusi berbasis CPU

Peralihan ke arsitektur berpusat pada sistem dan keterbatasan NVIDIA

• Para hyperscaler lebih fokus pada optimasi keseluruhan sistem daripada performa chip tunggal
• Google menghubungkan banyak TPU kecil, dan memakai jaringan optik internal (Apollo) serta topologi jaringan torus untuk meminimalkan daya dan latensi
• Microsoft membangun jaringan serat optik dan transceiver ColorZ untuk memungkinkan pelatihan lintas banyak data center, sekaligus menghadirkan infrastruktur berperforma tinggi dengan biaya lebih rendah dibanding NVIDIA
• Karena itu, arsitektur terdistribusi yang menghubungkan beberapa data center skala kecil melalui jaringan untuk pelatihan makin menjadi arus utama
• Untuk menembus keterbatasan daya dan ekspansi infrastruktur, mereka juga mencoba menghubungkan data center secara nasional (misalnya reaktivasi Three Mile Island oleh Microsoft, akuisisi pembangkit listrik tenaga nuklir oleh AWS, dan lain-lain)

Respons hardware dan software NVIDIA serta kesulitan strukturalnya

• NVIDIA mencoba merespons dengan server GB200, Spectrum-X, DCGM, dan RAS
• Desain jaringan berbasis Infiniband rentan pada klaster berskala besar dan kurang matang dalam desain toleransi gangguan
• Pathways milik Google dan Singularity milik Microsoft unggul dalam sistem fault-tolerant internal dan deteksi kesalahan memori GPU
• BaseCommand milik NVIDIA yang berbasis Kubernetes kalah dalam skalabilitas dan integrasi dibanding Borg, MegaScaler, dan lainnya milik hyperscaler
• Sebagai pendatang terlambat di sistem pendingin, NVIDIA juga tertinggal dari Google dalam efisiensi daya, umur pakai, dan efisiensi ruang (misalnya Google PUE 1.1 vs NVIDIA 1.4 atau lebih)

Kesimpulan

• NVIDIA masih memiliki performa GPU yang kuat, tetapi dalam optimasi sistem, integrasi infrastruktur, dan efisiensi biaya terdapat batasan struktural yang membuatnya tertinggal dari hyperscaler
• Para hyperscaler telah menyelesaikan integrasi vertikal dari chip hingga infrastruktur dan software, sehingga peluang untuk menggantikan NVIDIA sepenuhnya sudah terbentuk
• Jika tidak keluar dari strategi lama yang berpusat pada GPU dan melakukan inovasi menyeluruh di tingkat sistem, NVIDIA berisiko kesulitan mempertahankan kepemimpinan yang berkelanjutan di pasar komputasi AI ke depan

[kandk]

Satu orang yang tidak membeli saham Nvidia karena Google Tensor, Tesla Dojo, dan AMD..

[kimjoin2]

Saya juga penasaran dengan kekurangan dari "chip kustom milik hyperscaler"
Karena rasanya digambarkan seolah-olah lebih unggul dalam segala hal

[GN⁺]

Komentar Hacker News

• Ada pendapat bahwa ini adalah artikel lain yang didasarkan pada asumsi bahwa sementara Nvidia tidak melakukan apa-apa, para pesaing tiba-tiba akan berhasil dan mengancam Nvidia

  • Para pesimis terhadap Nvidia mungkin suatu hari akan benar, tetapi sejauh ini mereka sering gagal

• Meskipun harga saham Marvell telah turun lebih dari 50% tahun ini, permintaan terhadap GPU Nvidia tetap kuat

  • Ditekankan bahwa GPU tidak dapat menggantikan kemampuan yang disediakan cloud
  • Setuju dengan visi Jensen bahwa Nvidia akan menjadi perusahaan bernilai 10 triliun dolar
  • Disebutkan kemungkinan Nvidia meluncurkan ponsel AI, layanan pesaing LLM, AI PC, mobil otonom, robot, dan lainnya
  • Dipandang bahwa situasi serupa juga terjadi sekarang, seperti Warren Buffet yang menyesal tidak berinvestasi di Google dan Apple

• Ada pendapat bahwa layanan akan melindungi Nvidia

  • Nvidia menguasai ekosistem dengan CUDA, Infiniband, NGC, NVLink, dan perlu memperluasnya melalui aplikasi tambahan seperti AI Foundry
  • Dapat menghasilkan pendapatan saat pasar melambat melalui desain kustom dan konsultasi proyek GPU

• Ada pendapat bahwa posisi strategis Nvidia sedang diremehkan

  • Nvidia tidak perlu menang selamanya dalam permainan hardware, dan sedang membangun seluruh AI stack
  • Ini adalah satu-satunya perusahaan yang menyediakan hardware, networking, software, model, dan alat pengembang secara menyeluruh
  • Nvidia sedang membangun platform terintegrasi, dan ini akan menjadi standar industri

• Ada pendapat bahwa AMD diam-diam membuat situasi ini dengan sengaja melalui perjanjian rahasia dengan Nvidia

  • Nvidia berbagi posisi eksklusif dengan Apple di TSMC

• Nvidia sedang beralih dari monopoli fungsional ke situasi di mana harus bersaing

  • Ini tidak ideal, tetapi bukan pukulan yang fatal

• Ada pendapat bahwa generasi H100 menunjukkan daya penetapan harga tertinggi, dan akan terus menghasilkan keuntungan karena kurangnya alternatif

  • Ada pertanyaan tentang daya tahannya dalam jangka panjang
  • Para hyperscaler sedang mengonsolidasikan permintaan AI dan mengembangkan chip yang kompetitif
  • Ada juga perusahaan lain yang membangun farm GPU skala besar

• Ada pendapat bahwa kontrol kualitas driver GPU Nvidia sedang menurun

  • Namun, sulit mengatakan bahwa kontrol kualitas menurun karena produknya sudah terjual habis selama beberapa tahun terakhir