Gelembung GPU H100 Pecah: Mengapa harga GPU turun dari $8 menjadi $2

• Setelah peluncuran ChatGPT pada November 2023, lonjakan permintaan GPU H100 membuat tarif sewa per jam melonjak dari $4.70 menjadi lebih dari $8
• Penyedia pusat data memperkirakan periode pengembalian investasi kurang dari 2 tahun jika menyewakan H100 pada harga di atas $4.50 per jam
• Namun, per Agustus 2024, tarif sewa GPU H100 untuk klaster kecil turun ke kisaran $1~$2

Batas profitabilitas investasi H100 di pusat data

• Di atas $2.85 per jam: berpotensi mengungguli tingkat pengembalian S&P500
• Di bawah $2.85 per jam: berada di bawah tingkat pengembalian S&P500
• Di bawah $1.65 per jam: diperkirakan merugi dalam horizon 5 tahun

Penyebab utama anjloknya harga pasar GPU H100

• Kebangkitan model open-weight mendorong kenaikan permintaan inferensi dan fine-tuning
• Sementara itu, pasar pembuat foundation model skala kecil dan menengah menyusut
  • Banyak perusahaan dan startup menyadari bahwa melakukan fine-tuning pada model open-weight yang sudah ada lebih ekonomis dan efektif daripada melatih model sendiri
  • Startup dan perusahaan tanpa rencana melatih model besar 70B ke atas menarik kembali investasinya
• Banyak penyedia infrastruktur mengamankan keuntungan lewat kontrak jangka panjang 3-5 tahun
  • Ini didorong oleh berbagai perusahaan foundation model selama puncak AI pada 2023
  • Mulai menjual kembali kapasitas node yang dipesan namun tidak terpakai
• Pembangunan klaster internal oleh pembuat model besar seperti Facebook dan Microsoft mengurangi permintaan terhadap klaster yang sudah ada
• ChatGPT diluncurkan pada November 2022 dengan seri A100, dan H100 diperkenalkan pada Maret 2023. H100 tiga kali lebih kuat daripada A100, tetapi harganya hanya dua kali lipat
• Munculnya GPU alternatif untuk H100 seperti AMD MI300 dan Intel Gaudi3
• Permintaan penambangan berbasis GPU menurun akibat transisi Ethereum ke proof-of-stake dan dominasi ASIC dalam penambangan Bitcoin

Implikasi

• Biaya rata-rata H100 berada di atas $50k, dan dengan asumsi umur pakai 5 tahun, terdapat berbagai model penyewaan
  • Jika di atas $2.85 per jam, masih bisa mengalahkan IRR pasar saham, tetapi jika turun di bawah itu, kerugian dapat terjadi
• Investasi baru pada perangkat keras H100 sangat mungkin menimbulkan kerugian
  • Kecuali pada situasi khusus seperti H100 diskon, tarif listrik, atau kebutuhan pelanggan yang spesifik
• Sebaliknya, turunnya harga H100 akan menjadi katalis bagi penyebaran AI open-weight
  • Diharapkan mendorong eksperimen model terbuka dan pengembangan aplikasi oleh developer dan engineer
• Featherless.AI menyediakan inferensi instan untuk lebih dari 2.000 model AI open-source dengan harga tetap $10 per bulan
  • Untuk memastikan profitabilitas perangkat keras, optimasi di semua lapisan dan pemilihan GPU yang disesuaikan sangat penting

Opini GN⁺

• Perubahan pasar GPU: Penurunan harga GPU H100 menunjukkan betapa cepatnya pasar GPU berubah. Ini berdampak besar bagi investor dan penyedia infrastruktur
• Pengaruh model open-source: Kemunculan model open-source seperti Llama 3 meningkatkan permintaan fine-tuning dan inference. Ini menurunkan permintaan untuk pelatihan model berskala besar
• Kebangkitan GPU alternatif: GPU dari AMD dan Intel muncul sebagai alternatif H100, sehingga persaingan pasar makin ketat. Ini dapat memberi tekanan tambahan pada penurunan harga GPU
• Peluang aplikasi AI: Turunnya biaya GPU menurunkan hambatan masuk untuk pengembangan aplikasi AI dan dapat mendorong lebih banyak inovasi
• Perlu meninjau ulang strategi investasi: Investasi pada infrastruktur GPU memerlukan pendekatan yang hati-hati, dan tren pasar perlu dipantau dengan cermat

[readiz]

Efek kupu-kupu yang dipicu oleh llama... menarik ya. hehe

[GN⁺]

Komentar Hacker News

• Layanan yang menawarkan GPU seharga $2 dapat membahayakan bisnis karena bergantung pada komputasi yang tidak andal. AWS telah meningkatkan keandalan infrastruktur GPU enterprise kelas atas.

  • Mustahil menghasilkan keuntungan dengan menawarkan H100 seharga $2.

• Pusat data yang sudah memiliki infrastruktur bisa meraih keuntungan besar lewat H100. Namun, di pasar yang efisien, peluang seperti ini tidak berlangsung selamanya.

  • Pada harga $2.00 masih tetap menguntungkan, tetapi membutuhkan listrik/infrastruktur/tenaga kerja yang murah.

• Keuntungan sebenarnya ada pada penyewaan klaster InfiniBand, bukan GPU atau mesin individual.

  • Klaster Lambda One Click mencantumkan harga $4.49/H100/jam.

• Secara global, jumlah tim yang membutuhkan 16 node H100 kurang dari 50. Banyak tim kemungkinan tidak akan menghasilkan keuntungan.

  • Bahkan perusahaan pengembangan perangkat lunak tradisional pun memiliki tingkat keberhasilan yang rendah.

• Banyak pendiri startup mencoba melatih model untuk meyakinkan investor, tetapi jarang ada kasus yang benar-benar berhasil melatih model yang bernilai.

  • Bahkan OpenAI pun kesulitan menghentikan arus keluar dana.
  • Ada kekhawatiran tentang kemungkinan munculnya kemajuan teknologi atau pesaing murah.

• Diungkapkan kesedihan laboratorium universitas yang tidak bisa membeli sumber daya komputasi saat riset AI sedang sangat aktif.

  • Saat musim dingin AI datang, biaya komputasi akan kembali murah.

• Situasi ini mengingatkan pada siklus boom dan bust minyak yang dijelaskan dalam 'The Prize: The Epic Quest for Oil, Money & Power'.

• OpenAI harus terus meningkatkan modelnya sebagai respons terhadap kemajuan model open source.

  • Seiring waktu, keunggulan OpenAI mungkin tidak lagi penting bagi kebanyakan orang.

• Ini terdengar seperti kabar buruk bagi ladang penyewaan GPU.

• Dibagikan pendapat bahwa posisi short pada NVDA sedikit ditambah.

  • Dinilai bahwa puncaknya sudah dekat.