Boom investasi AI

Pengumuman Microsoft bulan lalu

• Microsoft adalah investor utama dan penyedia komputasi untuk OpenAI
• Microsoft mengumumkan akan mendanai pengaktifan kembali reaktor Unit 1 di pembangkit listrik tenaga nuklir Three Mile Island
• Ini dilakukan untuk memenuhi lonjakan permintaan listrik dari pusat data
• Dengan demikian, Microsoft menjadi perusahaan teknologi besar AS kedua setelah Amazon yang bergantung pada pembangkit nuklir lama

Kondisi penggunaan produk AI saat ini

• Digunakan secara luas untuk pembuatan kode, teks, gambar, analisis data, otomatisasi tugas, serta peningkatan platform online
• Model mutakhir membutuhkan sumber daya komputasi yang sangat besar untuk pelatihan dan inferensi
• Diperlukan susunan perangkat keras canggih berskala besar yang ditempatkan di fasilitas skala industri
• Fasilitas ini memerlukan akses ke listrik, air, broadband, dan infrastruktur lain dalam jumlah sangat besar untuk beroperasi

Dampak lanjutan dari boom AI

• Terjadi lonjakan tajam investasi tetap di AS untuk memenuhi peningkatan permintaan komputasi
• Puluhan miliar dolar dialokasikan ke komputer canggih, fasilitas pusat data, pembangkit listrik, dan lainnya
• Pembangunan pusat data di AS mencapai rekor tertinggi sepanjang masa, yakni 28,6 miliar dolar per tahun
• Angka ini hampir setara dengan gabungan belanja AS untuk pembangunan restoran, bar, dan toko ritel

Skala investasi pusat data

• Angka konstruksi hanya mencakup bangunan fisik, tidak termasuk komputer, kabel, kipas, dan sebagainya
• Dalam setahun terakhir, lebih dari 6,5 miliar dolar komputer besar dan komponennya telah diimpor
• Perusahaan teknologi informasi membeli sebagian besar pusat data dan peralatan baru tersebut
• Dalam setahun terakhir, kepemilikan bersih atas properti, pabrik, dan peralatan meningkat ke rekor tertinggi lebih dari 95 miliar dolar

Perubahan dibandingkan 10 tahun lalu

• Facebook mengakuisisi Instagram seharga 1,2 miliar dolar dan WhatsApp seharga 15 miliar dolar
• Pada saat itu, ini termasuk beberapa akuisisi terbesar dalam sejarah teknologi
• Instagram hanya memiliki 13 karyawan, WhatsApp 55 karyawan, dan hampir tidak memiliki jejak fisik
• Kini Meta menghabiskan 15,2 miliar dolar untuk belanja modal hanya pada paruh pertama 2024
• Boom AI jauh lebih intensif terhadap perangkat keras dibanding kapan pun sebelumnya dalam sejarah

Dampak boom AI terhadap investasi

• Investasi perusahaan AS pada komputer dan peralatan terkait melonjak ke level tertinggi sepanjang masa
• Setelah mengalami stagnasi relatif sepanjang dekade 2010-an, angka ini naik 16,6% dalam setahun terakhir
• Sebelumnya hanya sempat dilampaui oleh boom kerja jarak jauh di era pandemi
• Investasi komputer sempat agak menurun pada 2022, tetapi kembali melonjak pada akhir 2023 karena boom AI

Peningkatan permintaan semikonduktor TSMC

• TSMC adalah produsen semikonduktor canggih terdepan di dunia
• Permintaan komputasi AI meningkatkan impor chip, komputer, dan komponen terkait dari Taiwan
• Dalam setahun terakhir nilainya melampaui 38 miliar dolar, naik lebih dari 140% dibanding tahun sebelumnya
• Impor langsung chip logika naik dari level yang relatif kecil menjadi hampir 5 miliar dolar per tahun
• Komponen dan suku cadang komputer masih menjadi pos impor terbesar

Analisis data investasi hingga 2023

• Pemroses data dan perusahaan pencarian web seperti Amazon/Google mempertahankan tingkat investasi terbesar di sektor teknologi
• Pengembang perangkat lunak menunjukkan pertumbuhan investasi tercepat
• Investasi riil pada kekayaan intelektual perusahaan perangkat lunak naik 40% sejak 2021
• Investasi riil pada peralatan seperti komputer naik 96%
• Perusahaan perangkat lunak kini bersaing dalam seberapa cepat mereka dapat membangun kapabilitas perangkat keras

Ketimpangan regional dalam pembangunan pusat data

• Pusat data perlu didistribusikan sampai tingkat tertentu untuk memenuhi kebutuhan jaringan dan menghindari keterbatasan infrastruktur
• Namun, memusatkannya dalam klaster besar membantu memaksimalkan efektivitas serta menurunkan biaya dan latensi
• Data konstruksi resmi hanya memberikan rincian belanja pusat data pada tingkat wilayah
• Pembangunan pusat data paling aktif terjadi di klaster historis di wilayah selatan AS
• Pertumbuhan jauh lebih cepat terjadi di pasar kawasan Midwest dan Pantai Barat
• Wilayah timur laut secara fungsional hampir tidak terdampak

Dampak pusat data terhadap permintaan listrik

• Energy Information Administration (EIA) berulang kali menaikkan proyeksi pertumbuhan beban berdasarkan permintaan pusat data
• Konsumsi listrik sektor komersial diperkirakan naik 3% tahun ini dan 1% tahun depan
• Pengguna komersial merupakan pendorong pertumbuhan konsumsi listrik yang lebih kecil dibanding elektrifikasi rumah tangga dan reshoring industri
• Namun, dari 2007 hingga 2023, konsumsi listrik komersial secara total hanya meningkat 5%
• Estimasi sebelum era AI menunjukkan komputer dan peralatan kantor hanya menyumbang 11,4% dari konsumsi listrik komersial

Kondisi konsumsi listrik pusat data per negara bagian

• Konsumsi listrik komersial North Dakota naik lebih dari 45% setelah pembukaan pusat data besar pada 2022
• Namun, North Dakota adalah pasar listrik dan komputasi yang relatif kecil
• Kenaikan permintaan listrik terbesar terjadi di klaster pusat data besar seperti Virginia dan Texas
• Konsumsi energi komersial Virginia naik 30% sejak 2019 dan mencatat kenaikan permintaan listrik komersial terbesar secara nasional
• Texas mencatat kenaikan konsumsi listrik komersial sebesar 10% sejak 2019, dengan pertumbuhan yang diperkirakan jauh lebih besar dalam beberapa tahun mendatang

Tren investasi listrik perusahaan AI

• Perusahaan AI berupaya terkonsentrasi di dekat sumber daya listrik berskala besar
• Karena itu, minat terhadap energi nuklir kembali mengemuka
• Seiring perusahaan teknologi membangun kapabilitas komputasi, keinginan untuk berinvestasi langsung pada infrastruktur pembangkitan listrik juga meningkat
• Pendapatan sektor teknologi informasi bangkit kembali setelah perlambatan pada 2022 dan 2023
• Pendapatan pengembang perangkat lunak, portal pencarian web, dan penyedia infrastruktur komputasi naik 12~15% dalam setahun terakhir

Lemahnya perekrutan teknologi meski ada boom AI

• AS hanya menambah 32 ribu lapangan kerja teknologi dalam setahun terakhir
• Ini lebih rendah dibanding kapan pun pada 2021, 2022, maupun sembilan tahun sebelum pandemi
• Bahkan perusahaan perangkat lunak dan industri infrastruktur komputasi yang berada di pusat boom AI mutakhir juga tidak mencatat pertumbuhan lapangan kerja yang berarti dalam setahun terakhir
• Pasar kerja yang lesu dan membebani lulusan baru teknik komputer belakangan ini belum banyak membaik

Dampak boom investasi AI pada pasar tenaga kerja

• Total kompensasi di industri manufaktur semikonduktor naik 25% dari kuartal I 2023 ke kuartal I 2024
• Pekerja di perusahaan seperti NVIDIA menerima stock option yang jauh lebih bernilai
• Penambahan 30 ribu pekerjaan konstruksi komersial dalam setahun terakhir merupakan dampak dari permintaan pusat data
• Ada juga boom pekerjaan konstruksi industri di pabrik semikonduktor dan sektor manufaktur lainnya, serta peningkatan perekrutan untuk pembangunan listrik dan infrastruktur
• Namun sejauh ini, dinamika lapangan kerja dari boom AI sangat berbeda dari pasar tenaga kerja teknologi selama 10 tahun terakhir
• Fokusnya lebih pada investasi perangkat keras, perusahaan manufaktur/desain, dan pembangunan infrastruktur daripada programmer tradisional

Persaingan para pengembang AI dan pandangan para pembuat kebijakan

• Para pengembang AI bersaing ketat dengan harapan dapat membenarkan skala investasi saat ini melalui peningkatan produk dan komersialisasi
• Dalam jangka pendek, investasi diperkirakan akan terus meningkat seiring dikembangkannya model yang lebih maju dan meluasnya penggunaan AI ke lebih banyak aplikasi nyata
• Para pembuat kebijakan memandang AI sebagai inti ekonomi masa depan AS
• Pengembangan AI dan kapasitas pusat data adalah industri maju di mana AS memegang keunggulan yang signifikan
• Boom AI kemungkinan telah memberi manfaat pada investasi AS lebih besar daripada negara lain mana pun

Potensi memanasnya persaingan geopolitik atas kapasitas perangkat keras

• Undang-Undang CHIPS dimaksudkan untuk mengurangi ketergantungan pada impor dari Taiwan, tetapi meningkatnya permintaan semikonduktor canggih justru memperdalam ketergantungan tersebut
• Untuk memenuhi pasokan berskala pusat data, AS masih bergantung pada China
• AS kemungkinan besar akan terus membatasi akses China ke chip canggih guna menahan perkembangan AI China
• China terus membangun kapabilitas manufaktur chip untuk mengurangi ketergantungan impor
• Jika boom investasi AI berlanjut, hal ini diperkirakan akan makin menyeret situasi ke garis depan perang chip yang sedang berlangsung

Opini GN⁺

• Membangun daya saing semikonduktor di era AI adalah tugas yang sangat penting
• Permintaan terhadap semikonduktor canggih melonjak tajam, sehingga sulit membuat model AI yang kompetitif tanpa teknologi semikonduktor yang kuat
• Selain kepemimpinan teknologi, kapabilitas semikonduktor juga berperan penting dalam kekuatan militer dan ekonomi
• Persaingan semikonduktor antara AS dan China akan makin sengit, dan keduanya tampaknya akan fokus mengamankan kapasitas produksi domestik
• Kerja sama dan perdagangan antara kedua negara juga kemungkinan akan menghadapi sebagian pembatasan
• Diperlukan upaya untuk mengurangi ketergantungan pada satu sisi rantai pasok semikonduktor dan melakukan diversifikasi
• Investasi R&D besar-besaran dan tenaga kerja terampil sangat penting untuk pengembangan semikonduktor canggih baru
• Peran negara-negara Asia seperti Korea Selatan, Taiwan, dan Jepang juga perlu diperhatikan
• Dalam jangka panjang, ini diperkirakan akan menjadi salah satu bidang inti dalam persaingan perebutan hegemoni teknologi antara AS dan China

[GN⁺]

Opini Hacker News

• Seorang pengguna memperkirakan bahwa dalam sejarah Amerika Serikat, ledakan investasi modal besar seperti rel kereta api, perusahaan otomotif, dan boom serat telekomunikasi akan terulang lagi. Ia percaya bahwa meski pada awalnya banyak perusahaan akan bangkrut, investasi semacam ini pada akhirnya akan membawa manfaat besar bagi ekonomi dan masyarakat. Ia juga menilai bahwa investasi energi khususnya akan membantu peralihan dari bahan bakar fosil

• Pengguna lain berpendapat bahwa membandingkan rel kereta api dengan investasi hardware saat ini tidak tepat. Rel kereta api dapat bertahan dalam jangka panjang, tetapi investasi hardware saat ini menurutnya tidak akan bernilai lagi dalam 6 tahun. Ia juga memperingatkan adanya risiko bahwa sistem AI masa depan tidak akan berjalan efisien di atas hardware saat ini

• Pengguna lain lagi menunjukkan bahwa berinvestasi besar-besaran pada LLM sambil mengklaim peduli pada kerusakan lingkungan adalah hal yang kontradiktif. Pada akhirnya, menurutnya orang harus melepaskan ekspektasi terhadap LLM atau berhenti mengklaim peduli pada kerusakan lingkungan

• Seorang pengguna berpendapat bahwa boom AI saat ini berfokus pada investasi GPU dan hardware, sementara investasi pada software dan platform AI juga layak mendapat perhatian. Menurutnya, kisah ini lebih tepat disebut sebagai 'boom investasi GPU'

• Seorang pengguna yang menyampaikan kekhawatiran soal biaya cloud bertanya-tanya bagaimana investasi besar-besaran ini akan memengaruhi biaya cloud. Biaya bisa turun karena skala ekonomi, tetapi harga juga bisa naik jika sumber daya terkuras

• Seorang pengguna yang memprediksi gelembung AI akan segera pecah membandingkan situasi saat ini dengan dot-com bubble tahun 1998. Ia menilai LLM dan AI generatif akan menjadi kata-kata populer tahun ini

• Seorang pengguna yang menyoroti masalah halusinasi pada AI berpendapat bahwa AI semacam ini tidak akan berguna di luar pasar niche

• Seorang pengguna yang melihat adanya ledakan investasi untuk kapasitas masa depan bertanya-tanya apakah permintaan akan mampu mengikutinya. Ia memperkirakan kapasitas berlebih akan dibangun, menyebabkan beberapa kebangkrutan dan biaya komputasi/AI yang lebih murah. Menurutnya, ini akan membuka peluang bagi startup atau perusahaan generasi berikutnya untuk berkembang

• Seorang pengguna yang mengingat kisah Dr. Robert Martin menyebut situasi ketika kapasitas bandwidth meningkat tanpa batas dan biayanya mendekati nol. Ia mengemukakan kemungkinan bahwa permintaan atas kecerdasan juga tak terbatas, dan bahwa biaya kecerdasan bisa mendekati biaya listrik

• Seorang pengguna mengatakan bahwa produk AI digunakan untuk berbagai keperluan seperti pembuatan kode, teks, gambar, analisis data, dan otomatisasi tugas, tetapi secara pribadi penggunaan Copilot olehnya justru menurun. Ia berpendapat bahwa AI menghasilkan bug halus sehingga debugging memakan lebih banyak waktu. Ia juga mencoba model 'chain of thought', tetapi mendapatkan hasil yang lebih buruk