Memori kini membesar hingga hampir dua pertiga dari biaya komponen chip AI

 (epoch.ai)
1 poin oleh GN⁺ 2 jam lalu | 1 komentar | Bagikan ke WhatsApp
  • HBM naik dari 52% pada kuartal 1 2024 menjadi 63% pada kuartal 4 2025 berdasarkan rata-rata tertimbang volume produksi chip AI Nvidia, AMD, Google, dan Amazon
  • Pada periode yang sama, porsi logic die hampir tetap di sekitar 13%, sementara packaging canggih turun dari 19% ke 15% dan komponen pendukung turun dari 15% ke 9%
  • Belanja HBM empat perancang chip tersebut meningkat dari sekitar US$12 miliar pada 2024 menjadi US$32 miliar pada 2025, dengan laju pertumbuhan tahunan lebih cepat daripada komponen lain
  • Total belanja komponen chip AI naik dari sekitar US$22 miliar menjadi US$52 miliar, dan HBM sendiri menyumbang sekitar US$20 miliar dari kenaikan tersebut
  • Pada 2026, tekanan biaya bisa makin besar akibat kekurangan pasokan memori dan kenaikan harga, dan Microsoft serta Meta juga menyebut kenaikan harga komponen sebagai faktor peningkatan belanja modal

Perubahan utama

  • Porsi high-bandwidth memory (HBM) dalam belanja komponen chip AI naik dari 52% pada kuartal 1 2024 menjadi 63% pada kuartal 4 2025
  • Estimasi ini merupakan rata-rata tertimbang volume produksi untuk seluruh chip AI yang dirancang oleh Nvidia, AMD, Google, dan Amazon
  • Pada periode yang sama, logic die hampir tidak berubah di kisaran 13%, packaging canggih turun dari 19% ke 15%, dan komponen pendukung turun dari 15% ke 9%
  • Belanja HBM dari keempat perancang chip tersebut meningkat dari sekitar US$12 miliar pada 2024 menjadi US$32 miliar pada 2025, sehingga pertumbuhan tahunan lebih cepat dibanding komponen lain
  • Total belanja komponen chip AI naik dari sekitar US$22 miliar pada 2024 menjadi sekitar US$52 miliar pada 2025, dan belanja HBM saja menyumbang sekitar US$20 miliar dari kenaikannya

Tekanan biaya pada 2026

Metode perhitungan dan cakupan data

  • Untuk setiap chip AI yang dirancang Nvidia, AMD, Google, dan Amazon, diestimasi biaya per chip untuk memori, logic die, packaging canggih, dan komponen pendukung
  • Total belanja komponen per kategori dihitung dengan mengalikan biaya komponen tiap chip dengan estimasi volume produksi per kuartal, lalu dihitung porsinya terhadap total belanja komponen dari kuartal 1 2024 hingga kuartal 4 2025
  • Estimasi biaya komponen diambil dari AI Chip Components explorer, yang menyusun spesifikasi komponen per chip berdasarkan pengungkapan keuangan, materi pemasok, dan laporan analis
  • Metodologi lengkap dapat dilihat di explorer’s methodology documentation

Kategori komponen

  • Memori

    • Termasuk stack HBM, dengan cakupan HBM3 dan HBM3e

  • Logika

    • Termasuk logic die proses canggih 3~5nm

  • Packaging

    • Termasuk packaging canggih TSMC CoWoS

  • Komponen pendukung

    • Termasuk substrat, catu daya, dan elemen input non-logika dan non-memori lainnya

Penanganan ketidakpastian

  • Ada ketidakpastian biaya pada biaya per unit tiap komponen seperti harga stack HBM, harga logic die, dan harga paket CoWoS
  • Biaya tiap komponen pada setiap chip dimodelkan dengan interval kepercayaan 90%
  • Karena porsi komponen adalah biaya komponen tersebut dibagi total biaya, pembilang dan penyebut sama-sama tidak pasti
  • Dua jenis rentang disajikan bersama
    • Rentang saat hanya biaya komponen terkait yang berubah: porsi ketika biaya komponen tersebut berada di persentil ke-5 atau ke-95, sementara tiga komponen lain berada di median
    • Rentang saat semua komponen berubah ke nilai ekstrem: porsi ketika komponen terkait berada di satu ujung interval kepercayaan, sementara semua komponen lain secara bersamaan berada di ujung yang berlawanan

Porsi komponen per kuartal

  • Kuartal 1 2024

    • Porsi memori adalah 52%, dengan rentang 48~56% saat hanya biaya komponen terkait berubah, dan 42~62% saat semua komponen berubah ke nilai ekstrem
    • Porsi logika adalah 14%, dengan rentang 12~17% saat hanya biaya komponen terkait berubah, dan 10~20% saat semua komponen berubah ke nilai ekstrem
    • Porsi packaging adalah 19%, dengan rentang 14~24% saat hanya biaya komponen terkait berubah, dan 12~27% saat semua komponen berubah ke nilai ekstrem
    • Porsi komponen pendukung adalah 15%, dengan rentang 13~18% saat hanya biaya komponen terkait berubah, dan 11~21% saat semua komponen berubah ke nilai ekstrem

  • Kuartal 4 2025

    • Porsi memori adalah 63%, dengan rentang 60~67% saat hanya biaya komponen terkait berubah, dan 54~73% saat semua komponen berubah ke nilai ekstrem
    • Porsi logika adalah 13%, dengan rentang 10~16% saat hanya biaya komponen terkait berubah, dan 9~19% saat semua komponen berubah ke nilai ekstrem
    • Porsi packaging adalah 15%, dengan rentang 11~19% saat hanya biaya komponen terkait berubah, dan 9~22% saat semua komponen berubah ke nilai ekstrem
    • Porsi komponen pendukung adalah 10%, dengan rentang 8~10% saat hanya biaya komponen terkait berubah, dan 7~12% saat semua komponen berubah ke nilai ekstrem

Asumsi dan keterbatasan

  • Biaya komponen dapat berbeda tergantung kontrak, pemasok, dan waktu, sehingga terdapat ketidakpastian pada estimasi biaya per chip
  • Ada juga ketidakpastian pada estimasi volume produksi chip per kuartal dan komposisi jenis chip, dan ketidakpastian ini tercermin dalam porsi yang dilaporkan

Data dan alat eksplorasi

Bacaan terkait

1 komentar

 
GN⁺ 2 jam lalu
Komentar Hacker News

  • Inferensi dan pelatihan AI tampaknya punya jalur untuk menurunkan biaya perangkat keras sekitar 3x dan biaya total sekitar 2x bahkan tanpa inovasi teknologi sama sekali
    Asalkan pasokan DRAM bisa mengejar permintaan, baik lewat ekspansi manufaktur maupun sekadar memenuhi lonjakan permintaan dengan laju produksi saat ini, ini hanya soal waktu

    • Jika turut mempertimbangkan margin keuntungan Nvidia yang menempel karena kelangkaan chip mutakhir saat ini, ruang penghematan biaya bisa jauh lebih besar lagi
      Ada banyak hal yang patut dikritik dari ucapan-ucapan yang Sam Altman sebarkan secara kultural, tetapi dalam jangka panjang, pernyataan bahwa “saat ini adalah yang terburuk dibanding masa depan” tampak seperti poin yang cukup menarik dan diremehkan
      Dalam 10 tahun, melatih LLM pada level saat ini tampaknya akan menjadi prasyarat dasar seperti menjalankan basis data sekarang. Tingkat saat ini saja sudah cukup canggih, dan terlepas dari perkembangan perangkat keras, sepertinya masih ada banyak ruang untuk naik hanya dengan membuat sistem pelatihan reinforcement learning yang lebih baik
      Sangat disarankan melihat proyek GitHub dan HF milik Allen Institute. Ada materi pelatihan open source seperti data untuk melatih LLM dari awal dengan Common Crawl dan tuning menarik untuk qwen, jadi kita bisa mendapat gambaran seperti apa proyek sampingan sore hari atau materi edukasi dalam waktu dekat
    • Perusahaan memori tidak akan banyak menambah pasokan agar sesuai dengan permintaan
      Industri ini cenderung menjaga pasar dalam kondisi kekurangan pasokan, karena kalau tidak, kelebihan pasokan yang menyusul akan menghancurkan para perusahaan itu. Sebagai gantinya, pasokan dari area yang kurang menguntungkan seperti mobile dan komputasi pribadi hanya akan dialihkan ke area yang lebih menguntungkan
    • Tampaknya langkah cerdik Sam Altman untuk menguasai pasar memori menghasilkan konsekuensi yang tak terduga
    • Jadi penasaran apakah adopsi format floating-point alternatif akan meningkat
      Floating-point IEEE terkenal buruk pada lebar bit rendah, khususnya 16-bit ke bawah. Format seperti posit jauh lebih baik pada 16-bit atau 8-bit. Jika pelatihan bisa dilakukan dengan 16 bit per nilai alih-alih 32 bit, dan kehilangan akurasinya jauh lebih kecil dibanding saat berpindah dari IEEE32 ke IEEE16, itu cukup berarti
    • Ingin tahu seperti apa umur pakai dan kemungkinan refurbish dari komponen belanja modal seperti modul “GPU” atau DRAM yang disolder di dalamnya

  • Beberapa tahun lalu saya membeli RAM 96GB sekitar 250 dolar, dan RAM yang sama sekarang harganya 1.200 dolar

    • Pada 22 Oktober tahun lalu saya membeli RAM Crucial 96GB DDR5 5600MHz SO-DIMM seharga 279 dolar
      Di Amazon, kit yang sama sekarang 1.048,90 dolar
    • Saya sangat kesal karena tidak memaksimalkan server utama saat masih sempat
      Modul memori enterprise bekas benar-benar dijual sangat murah di eBay
    • Setahun lalu saya membeli 192GB DDR3 secara harfiah seharga 60 dolar, 5 dolar per modul
      Sekarang harganya sekitar 22 dolar per modul, jadi totalnya kira-kira 350 dolar. Saya benar-benar tidak tahu siapa yang sedang melakukan apa dengan DDR3
    • Asumsi lama bahwa puluhan GB RAM bisa didapat murah benar-benar runtuh
      Nilai SSD supercepat seperti Optane bisa naik jauh lebih besar
    • Saat membereskan garasi, saya menemukan dua drive Samsung EVO 4TB yang belum dipakai

  • Dari semua yang saya baca, kapasitas RAM tampaknya akan naik sekitar 20~25% per tahun, tetapi itu rasanya tidak cukup
    Bahkan untuk penggunaan konsumen, ponsel dan laptop akan jauh lebih baik jika RAM-nya berlipat ganda, belum lagi permintaan AI yang sangat besar
    Tren ini tampaknya tidak akan hilang. Mungkin tidak akan tumbuh secepat sekarang, tetapi juga tidak akan lenyap. Saya paham kenapa perusahaan memori tidak ingin membangkrutkan diri sendiri, tetapi seharusnya ada cara untuk memindahkan risiko itu ke penyedia model atau peserta ekosistem lain sambil menaikkan kapasitas RAM mendekati 50% per tahun

    • Hanya dari kontrak OpenAI saja, pertumbuhan dua tahun bisa terserap
      Di pasar yang kompetitif, tidak efisien jika perusahaan RAM tidak menjual sambil masih menyisakan pembeli
      Saya tidak tahu berapa tingkat pertumbuhan sebenarnya sebelum Oktober, tetapi mungkin ada orang di sini yang tahu
    • Risiko terbesarnya adalah pihak CXML di Tiongkok yang justru diuntungkan, lalu mengambil pasar yang ditelantarkan perusahaan lain, dan ketika biaya mulai normal kembali mereka bisa bersaing lalu menyingkirkan pemain lama
      Soal 20~25% pertumbuhan yang dianggap tidak cukup, saya rasa itu bukan angka yang terlalu meleset jika diasumsikan rencana ekspansi data center menabrak tembok dan demam AI mereda
      Dalam jangka pendek, 20~25% mungkin tidak cukup, tetapi jika ekspansi AI berhenti tahun ini, yang terjadi bukan kekurangan pasokan melainkan kelebihan pasokan besar-besaran
    • Secara teori, pasar futures baru untuk komponen chip bisa membantu
      Karena itu memungkinkan pemasok DRAM melakukan lindung nilai atas risiko tersebut
    • Menurut artikel terbaru, HBM 3x lebih tidak efisien daripada LPDDR dari sisi luas wafer, tetapi bandwidth-nya lebih dari 3x
      Bagaimana jika semua orang membeli komputer, misalnya, 1/3 lebih lambat, lalu semuanya beralih ke HBM, dan itu ternyata lebih menguntungkan?
      Kesenjangan antara performa komputasi dan memori sudah lama makin lebar, dan mungkin beralih ke HBM, meski menyakitkan, justru memang yang dibutuhkan
      Lebih baik punya tiga komputer kelas menengah dengan bandwidth memori rendah, atau secara statistik menunggu sedikit lebih lama sehingga semua orang membeli komputer baru yang 1/3 lebih lambat dari sisi rasio area tetapi mendapatkan bandwidth jauh lebih tinggi?

  • Dengan tren sekarang, saya benar-benar penasaran bagaimana pasar konsumen seperti game atau machine learning akan bertahan
    Cloud gaming jelas akan datang di masa depan, dan mungkin hanya puris seperti saya yang akan membeli RTX 5090 lalu membayar premium untuk gaming offline

    • Dalam jangka panjang, cloud gaming tak terhindarkan
      Karena secara ekonomi lebih efisien untuk menyusutkan biaya perangkat keras yang dibutuhkan untuk rendering grafis ke banyak konsumen, tidak membiarkannya menganggur saat tidak digunakan, dan menempatkannya di POP bersama aset game
      Jika komputasi game yang cukup berjalan di edge, game yang secara teknis lebih maju namun saat ini tidak layak secara ekonomi pun bisa jadi mungkin. Menurut saya, alasan kenapa belum banyak game seperti itu sekarang adalah karena pasar dan adopsi cloud gaming masih kurang, sehingga pengetahuan teknisnya juga masih minim
      Saat biaya untuk merender game yang ingin dimainkan dengan perangkat keras konsumen jadi sulit ditanggung, kemungkinan besar orang-orang yang selama ini bertahan pun akhirnya akan terbujuk dan pendekatan ini akan mapan

  • Saya tidak akan pindah dari build DDR4 sampai harga setidaknya sedikit kembali masuk akal
    Saya masih punya memori cadangan DDR4 2133MHz 32GB yang saya beli dulu, dan sekarang memakai 3200MHz. Itu berarti pabrikan CPU juga tidak akan mendapatkan uang saya. 5800X masih cukup untuk sementara, dan tidak ada alasan membeli GPU baru. Tentu saja B580 tidak sempurna, tetapi tetap saja

    • Bagaimana kalau justru sekarang adalah harga terendah untuk masa depan?

  • Sangat ironis bahwa Iran memblokir pasokan helium
    Pada saat yang sama, Iran bergantung pada propaganda murahan buatan AI untuk mengguncang musuhnya. Rasanya seperti salah satu ironi sejarah yang baru terlihat belakangan

  • Ini masa yang benar-benar buruk bagi gamer dan pehobi PC yang tidak sepenuhnya tenggelam dalam AI

    • Ini akan 100% membunuh pasar PC rakitan rumahan
      Saat saya mulai merakit PC gaming, kartu grafis kelas atas harganya 750 dolar Selandia Baru. Sekarang GPU saja 10.000 dolar, dan RAM menambah 1.000~2.000 dolar lagi
      Dulu PC gaming adalah hobi yang masih terjangkau, sekarang sampai-sampai hobi penerbangan umum terlihat seperti alternatif
    • Saya justru melihat sebaliknya
      Dalam jangka pendek para pehobi memang tertekan, tetapi modal untuk mendorong teknologi tercanggih masih kecil dibanding perusahaan Fortune 500. Sebentar lagi pehobi juga akan ikut menikmati manfaatnya, terutama jika pasar runtuh
    • Ini juga masa yang buruk bagi orang-orang yang sepenuhnya tenggelam dalam AI

  • Saya penasaran kenapa hyperscaler tidak melakukan integrasi vertikal lebih jauh dan membangun fab mereka sendiri
    Sekalipun satu fab bernilai 1 miliar dolar, sekarang mereka menghabiskan ratusan miliar dolar untuk membeli chip dari Nvidia dan perusahaan lain

    • Saya tidak yakin mereka harus benar-benar terintegrasi vertikal, mungkin lebih baik langsung mendanai perluasan kapasitas produksi seperti yang dilakukan Apple saat memperbesar teknologi baru untuk iPhone
      Tetapi fakta bahwa hyperscaler dan perusahaan AI tidak melakukan itu mengatakan banyak hal tentang seberapa besar mereka benar-benar percaya pada permintaan AI masa depan
      Perusahaan AI mengklaim ekspansi skala sangat besar akan dibutuhkan, tetapi mereka tidak mau menanggung risiko modal yang dibutuhkan untuk ekspansi itu
      Kita sering mendengar keluhan sedih dari pihak AI bahwa produsen chip menghambat mereka, tetapi siapa sebenarnya yang punya uang untuk dengan mudah membiayai ekspansi itu? Produsen chip sudah jauh lebih lama bermain di arena ini. Ketika Sam Altman berkeliling bicara bahwa dibutuhkan fab senilai 7 triliun dolar, perusahaan AI menunjukkan bahwa mereka siap membuat klaim tak masuk akal dan kehilangan kredibilitas
      Yang dibutuhkan sekarang adalah mengalirkan sebagian sangat kecil dari kas besar yang mereka timbun langsung ke pembiayaan fab
    • Fab termasuk teknologi paling kompleks yang ada saat ini
      Ini semacam “ilmu roket” masa kini, dan tidak cukup hanya punya uang. Sangat mungkin miliaran dolar habis tanpa hasil apa pun
      Lihat saja betapa beratnya Intel bersaing dalam beberapa tahun terakhir. Mereka sudah puluhan tahun berkecimpung di bisnis ini
    • Fab butuh waktu bertahun-tahun untuk dibangun bahkan jika keahliannya sudah ada
      Kalau tidak punya keahlian itu, perlu eksperimen tambahan sebelum bisa bersaing dengan produsen yang ada. Saat akhirnya bisa memproduksi chip yang layak pakai, kekurangan pasokan mungkin sudah berakhir
    • Margin rata-rata fab sangat tipis dibanding margin perusahaan big tech, dan risikonya sepadan dengan itu
      Mungkin ini bukan bisnis yang ingin mereka integrasikan
    • Satu fab memerlukan 15~20 miliar dolar dan butuh setidaknya 5 tahun untuk dibangun
      Selain itu, dibutuhkan keahlian yang tidak dimiliki satu pun dari perusahaan-perusahaan ini

  • Seminggu lalu saya membeli server Dell bekas
    Harga seluruh perangkat dengan CPU 12-core dan RAM DDR4 ECC 32GB hampir sama dengan harga membeli RAM DDR 64GB saja. Saya berharap situasi absurd ini segera berakhir. Kalau tidak, dampaknya akan menyebar ke pasar lain juga. Belum lama ini saya membaca tulisan bahwa penjualan casing PC turun lebih dari 40%

    • Karena kenaikan harga satuan RAM, orang miskin bahkan sudah terdorong keluar dari ponsel murah
      https://www.cnet.com/tech/mobile/smartphone-sales-to-plummet...
    • Saat gelembung AI pecah nanti, rasanya pasar PC sudah akan rusak secara tak bisa dipulihkan
      Pabrikan yang tadinya membuat komponen “enterprise” tidak akan kembali ke pasar komponen konsumen. Saat itu pasar tersebut sudah tidak ada
      Dan ketika data center yang tidak bisa menghasilkan uang dari keluaran berkualitas rendah mulai berlimpah, semuanya akan didaur ulang untuk SaaS. Semacam OnShape yang meluas ke semua aplikasi
      Sebagian besar pengguna tampaknya tidak terlalu peduli jika semua yang mereka hasilkan disimpan di layanan cloud, dan itu bisa dengan mudah dijual sebagai alternatif dari memiliki perangkat keras desktop atau laptop yang “mahal”
    • Ada juga sudut pandang lain
      Jika hyperscaler memakai lebih banyak RAM dan RAM itu tidak dipasok ke konsumen, artinya semua pekerjaan berat akan terjadi di cloud
      Kenapa hyperscaler dan konsumen harus sama-sama memiliki RAM? Konsumen memang ingin lebih banyak RAM untuk menjalankan model lokal, tetapi kalau begitu kapasitas hyperscaler malah akan menganggur

  • Pabrikan memori memegang hak kekayaan intelektual setumpuk
    Jadi meskipun ada pihak yang punya kapasitas fab cadangan dan ingin masuk ke produksi memori, mereka harus melawan hambatan paten yang sangat besar
    Sebagian besar perusahaan memori punya kesepakatan belakang layar untuk saling meniadakan tuduhan pelanggaran paten satu sama lain
    Saya benar-benar tidak tahu bagaimana produsen memori baru bisa muncul tanpa tenggelam oleh biaya lisensi