Cloud alternatif tumbuh pesat seiring perusahaan menuntut akses GPU yang lebih murah

Pertumbuhan platform cloud alternatif

• Permintaan terhadap platform cloud alternatif meningkat lebih besar daripada sebelumnya
• CoreWeave baru-baru ini memperoleh investasi baru sebesar $1,01 miliar, sehingga valuasi perusahaannya mencapai $19 miliar
• Lambda Labs juga mendapatkan pembiayaan bertujuan khusus sebesar $500 juta, dan Voltage Park sedang menginvestasikan $500 juta ke pusat data berbasis GPU
• Together AI menerima investasi sebesar $106 juta yang dipimpin oleh Salesforce

Peningkatan permintaan untuk AI generatif

• Seiring ledakan AI generatif terus berlanjut, permintaan perangkat keras untuk menjalankan dan melatih model AI generatif dalam skala besar juga meningkat
• GPU mencakup ribuan core yang dapat memproses persamaan aljabar linear yang membentuk model generatif secara paralel, sehingga menjadi pilihan ideal untuk pelatihan model, fine-tuning, dan inferensi
• Namun, biaya pemasangan GPU tinggi sehingga sebagian besar pengembang dan organisasi beralih ke cloud

Keunggulan platform cloud alternatif

• Penyedia komputasi cloud yang sudah mapan seperti AWS, Google Cloud, dan Microsoft Azure menyediakan GPU serta instance perangkat keras khusus yang dioptimalkan untuk workload AI generatif
• Namun, untuk sebagian model dan proyek, cloud alternatif bisa lebih murah dan memiliki ketersediaan yang lebih baik
• Menyewa Nvidia A100 40GB di CoreWeave berbiaya $2.46 per jam, atau setara $1,771 per bulan. Di Azure, GPU yang sama berharga $3.40 per jam atau $2,448 per bulan, sedangkan di Google Cloud harganya $3.67 per jam atau $2,642 per bulan

Tantangan platform cloud alternatif

• Kuncinya adalah apakah penyedia cloud alternatif dapat terus menyediakan GPU dalam jumlah besar secara online dan menawarkannya dengan harga yang kompetitif
• Bisa jadi akan sulit bersaing dalam harga ketika pemain mapan seperti Google, Microsoft, dan AWS meningkatkan investasi pada perangkat keras kustom untuk menjalankan dan melatih model
• Banyak workload AI generatif berjalan paling baik di GPU, tetapi untuk tugas yang tidak sensitif terhadap waktu, GPU belum tentu diperlukan
• Jika gelembung AI generatif pecah, ada risiko kelebihan pasokan GPU dan penurunan permintaan yang signifikan

Opini GN⁺

• Ledakan permintaan GPU dapat semakin memperbesar pengaruh pemasok GPU utama seperti Nvidia. Nvidia dilaporkan memberikan prioritas pasokan GPU kepada penyedia cloud alternatif, yang tampak sebagai strategi untuk memperkuat dominasinya di pasar
• Jika penyedia cloud berhasil mengamankan klaster GPU berskala besar, mereka dapat memperoleh keunggulan kompetitif dalam menarik proyek AI besar. Contoh representatifnya adalah kontrak bernilai miliaran dolar antara Microsoft dan CoreWeave untuk memasok daya komputasi GPU bagi OpenAI
• Namun, dalam jangka panjang, peta industri cloud dapat berubah besar dengan pengembangan silikon kustom khusus AI seperti Google TPU, MS Azure Maia/Cobalt, dan AWS Trainium. Para hyperscaler tampaknya akan berupaya mengurangi ketergantungan pada Nvidia
• Cloud alternatif memang muncul sebagai opsi baru, tetapi pelanggan yang memiliki kemampuan keamanan, kepatuhan, dan pengelolaan multi-cloud akan tetap terbatas. Dominasi pasar penyedia cloud mapan masih sangat kuat

[GN⁺]

Komentar Hacker News

Ringkasan:

• Model bisnis AWS tampaknya membuat penetapan harga membingungkan sehingga biaya baru diketahui setelah pemakaian
• Hasil analisis biaya bulanan untuk tipe instance baru GCP, n4-standard-2, menunjukkan biaya vCPU dan memori cukup tinggi, yaitu $69 per bulan, dan harga SSD juga tergolong mahal
• Dalam 10 tahun ke depan, penyedia cloud besar diperkirakan akan menghadapi kesulitan. Biaya dan kompleksitas membangun sistem berskala planet terlalu mahal dan sulit dibenarkan
• Ada kesalahan perhitungan dalam artikel yang membandingkan biaya sewa GPU Nvidia A100 40GB dari CoreWeave, Azure, dan Google Cloud. Biaya bulanan CoreWeave berbeda sekitar 30%
• fly.io direkomendasikan sebagai alternatif yang cocok untuk workload GPU. Fitur autoscaling-nya bagus
• Model bisnis AWS tampaknya menghasilkan banyak keuntungan dari startup tahap awal yang tumbuh menjadi perusahaan besar. Namun, dengan berakhirnya ZIRP dan makin sulitnya pendanaan VC, jumlah startup yang bisa membakar banyak uang demi pertumbuhan eksplosif diperkirakan akan menurun
• Muncul pertanyaan tentang pengalaman menggunakan cloud GPU alternatif untuk workload inferensi. Latensi penting, dan komunikasi antara infrastruktur AWS dan GPU di tempat lain bisa jadi sulit
• Core Weave dan Lambda Labs memiliki kebijakan harga yang predatoris karena GPU tidak bisa disewa tanpa kontrak tahunan. Ada juga perusahaan seperti sfcompute yang menawarkan komputasi per jam
• “Berhasil mendapatkan H100s/A100s dalam jumlah kecil” itu sendiri bisa menjadi model bisnis teknologi yang menguntungkan
• Crusoe Cloud menawarkan H100s, A100s, dan L40s dengan harga sangat murah, dan juga tidak mengenakan biaya penggunaan jaringan. Harga per FLOP-nya tak tertandingi