- Penggunaan energi per kueri AI tampak kecil, tetapi ketika miliaran permintaan terakumulasi secara global, skalanya menjadi cukup besar untuk berdampak nyata pada jaringan listrik
- Perusahaan-perusahaan AI besar sedang mempercepat investasi bernilai puluhan triliun won dalam pusat data dan infrastruktur listrik, dan sebagian bahkan merencanakan pembangunan pembangkit listrik tenaga nuklir
- Konsumsi energi kueri AI dapat berbeda ratusan kali lipat tergantung ukuran dan kompleksitas model, dan untuk model tertutup, konsumsi pastinya hampir tidak diketahui
- Listrik yang digunakan AI sebagian besar bergantung pada jaringan listrik berbasis bahan bakar fosil, sehingga intensitas emisi karbonnya 48% lebih tinggi dari rata-rata
- Jika penggunaan AI terus meluas, pada 2028 lebih dari separuh listrik pusat data di AS diperkirakan akan digunakan untuk AI
Making the Model: Titik awal pelatihan model AI
- Model AI dilatih selama berbulan-bulan dengan menghabiskan listrik puluhan gigawatt-jam di pusat data
- Hanya untuk melatih GPT-4 dibutuhkan lebih dari 50 juta dolar AS dan 50GWh listrik, yang cukup untuk menyalakan seluruh San Francisco selama 3 hari
- Inferensi menyumbang 80~90% dari total penggunaan listrik AI, dan peran pusat data yang berfokus pada GPU menjadi sangat penting
- GPU H100 milik NVIDIA menjadi pusat pekerjaan inferensi AI, beroperasi dalam bentuk klaster yang terhubung dalam jumlah ribuan
A Query: Energi yang dikonsumsi oleh satu pertanyaan
- Bahkan untuk model AI yang sama, konsumsi energi dan emisi karbon bisa sangat berbeda tergantung jenis pertanyaan, lokasi, dan waktu
- Model Llama 3.1 8B rata-rata mengonsumsi 114 joule (J), sedangkan Llama 3.1 405B mengonsumsi 6.706 joule
- Saat membuat satu gambar dengan Stable Diffusion 3 Medium, dibutuhkan 2.282 joule; untuk gambar resolusi tinggi atau video, konsumsi bisa mencapai puluhan ribu hingga jutaan joule
- Pembuatan video menggunakan energi lebih dari 700 kali dibanding gambar, dan bila pembuatan video AI menjadi arus utama, konsumsi listrik bisa melonjak tajam
Fuel and Emissions: Asal listrik yang digunakan AI
- Pusat data AI sulit dijalankan dengan energi intermiten seperti surya dan angin, sehingga rata-rata menggunakan listrik dengan intensitas karbon yang lebih tinggi
- Contoh: pada 2024, 60% listrik AS berasal dari bahan bakar fosil, tenaga nuklir 20%, dan energi terbarukan menempati 20% sisanya
- Seperti California vs. West Virginia, terdapat perbedaan emisi karbon hampir 2 kali lipat tergantung wilayah
- Ke depan, Meta, Google, Amazon, dan lainnya telah mengumumkan investasi bersama untuk memperluas pembangkit listrik tenaga nuklir, tetapi butuh puluhan tahun hingga selesai dibangun
AI around the corner: Popularisasi AI yang makin dekat dan lonjakan energi
- ChatGPT saat ini merupakan situs ke-5 yang paling banyak dikunjungi di dunia, dengan lebih dari 1 miliar kueri per hari
- Menurut estimasi, satu kueri GPT menghabiskan 1.080 joule energi; per tahun totalnya 1.090GWh, setara listrik untuk 10.400 rumah tangga di AS selama 1 tahun
- Jika mencakup video dan gambar, ada tambahan lebih dari 35GWh per tahun, dan angka ini diperkirakan akan terus naik ketika agen AI, mode suara, dan AI berbasis pengenalan video mulai digunakan secara luas
- Masa depan ketika AI menjalankan tugas sendiri dan dipersonalisasi menggunakan data pengguna tidak lagi bisa dijelaskan kebutuhan energinya hanya dengan prediksi per kueri tunggal
The Future Ahead: Proyeksi kebutuhan energi hingga 2028
- Pusat data AI di AS menggunakan 76TWh pada 2024, setara dengan 7,2 juta rumah tangga
- Hingga 2028, penggunaan diperkirakan mencapai 165~326TWh, setara dengan 22% konsumsi listrik seluruh rumah tangga di AS
- Ini setara dengan emisi karbon dari berkendara sejauh 300 miliar mil, dan porsi penggunaan listrik pusat data diperkirakan naik tiga kali lipat dari 4,4% → 12%
- SoftBank, OpenAI, dan lainnya sedang melakukan investasi senilai 500 triliun won untuk pusat data dan infrastruktur listrik, sambil membangun infrastruktur seukuran lapangan sepak bola di berbagai belahan dunia
Transparency Gap: Ketiadaan keterbukaan angka dan beban bagi warga
- Sebagian besar perusahaan AI tidak mengungkap konsumsi energi saat inferensi model, yang berujung pada ketidakmampuan publik untuk memprediksi dampaknya
- Bahkan badan energi pemerintah AS (EIA) tidak memperlakukan AI sebagai sektor industri terpisah, sehingga statistiknya masih minim
- Menurut laporan negara bagian Virginia, biaya energi pusat data dapat menaikkan tagihan listrik rumah tangga biasa hingga US$37,5 per bulan
- Warga dapat ikut menanggung biaya infrastruktur AI, sehingga diperlukan diskusi sosial mengenai hal ini
2 komentar
Tiba-tiba terasa makin hebat ya bahwa Google Gemini berjalan di TPU milik mereka sendiri...
Komentar Hacker News
Membagikan tautan http://archive.today/mnHb8
Menyebut kabar bahwa perusahaan teknologi seperti Meta, Amazon, dan Google mengumumkan target pemanfaatan energi nuklir untuk menghadapi masalah bahan bakar fosil, serta menjelaskan bahwa ketiga perusahaan itu ikut dalam janji untuk melipatgandakan kapasitas energi nuklir global menjadi tiga kali lipat pada 2025, tetapi tanggal ini terasa agak janggal jika dilihat dari artikel kemarin, dan menunjukkan bahwa target sebenarnya adalah 2050; meski ada bagian aneh seperti ini dan penyalahgunaan sumber dari “pakar”, upaya untuk setidaknya mengkuantifikasi isu ini dinilai positif
Hal paling aneh dari artikel ini adalah fakta bahwa perusahaan big tech menolak membuka data semacam ini; para pakar tidak seharusnya dibiarkan menebak-nebak, masyarakat perlu akses informasi untuk keputusan yang berdampak pada seluruh dunia
Menyatakan rasa penasaran apakah bagian aneh seperti itu sekadar salah ketik, atau memang benar-benar dianggap aneh
Ada masa ketika saat memposting ke Usenet selalu muncul peringatan seperti “Program ini mengirim berita ke ribuan komputer di seluruh dunia. Tulisan Anda menimbulkan biaya ratusan hingga ribuan dolar pada jaringan. Mohon pikirkan baik-baik apakah Anda benar-benar ingin mengirimnya”; membayangkan apakah klien LLM sekarang juga perlu peringatan seperti ini, misalnya dalam bentuk perhitungan berapa banyak karbon siaga yang dihasilkan oleh satu permintaan
Di beberapa negara ada budaya ‘rolling coal’ (mengeluarkan asap berlebih dari mobil); ada kekhawatiran bahwa peringatan seperti ini justru bisa menimbulkan efek sebaliknya
Peringatan yang dikutip justru menyampaikan makna yang bertentangan; alasan peringatan seperti itu akhirnya hilang kemungkinan karena biayanya turun drastis, dan hal serupa bisa saja berlaku pada AI
Mengingatkan pada pesan footer besar yang meminta orang mempertimbangkan dampak lingkungan sebelum mencetak email, padahal dalam praktiknya justru menghabiskan satu halaman tambahan yang tidak perlu
Pesan peringatan ini menarik; pesan itu sendiri sebenarnya tidak menimbulkan biaya besar, tetapi komputer yang mengirimkannya adalah sumber biayanya, dan semakin banyak pesan yang dikirim, biaya per unit justru turun
Menekankan bahwa tidak adil jika hanya teknologi AI yang dikritik karena penggunaan energinya, kecuali jika peringatan semacam ini ditempelkan pada semua hal
Intinya menurut mereka adalah menginternalisasikan biaya emisi ke dalam harga listrik; kekhawatiran pengguna individual dianggap mengalihkan fokus, dan karena transportasi, pemanas, serta industri semuanya akan terelektrifikasi sehingga permintaan pasti melonjak, dekarbonisasi listrik yang cepat diperlukan
Setuju, tetapi pengurangan konsumsi atau peningkatan efisiensi juga bagian penting dari transisi energi; jika tidak digunakan, maka tidak perlu diproduksi
Untuk menginternalisasikan biaya seperti ini, masyarakat lebih dulu harus sepakat tentang apa sebenarnya “biaya” emisi itu; secara realistis, membuat listrik sangat melimpah dan efisien mungkin jalan yang lebih mudah, karena masyarakat sendiri tidak mudah diperbaiki
“DeepSeek punya 600 miliar parameter, tetapi sebenarnya memakai arsitektur mixture-of-experts sehingga hanya sekitar 12,5% yang digunakan per token (kalau ingatan saya benar)”; ada pendapat bahwa tanpa menjelaskan ini, kepercayaan pada tulisan menurun; juga dibagikan analisis yang dianggap paling tepercaya tentang penggunaan energi teks (tautan epoch.ai), dengan rata-rata tanya-jawab umum mengonsumsi 0,3Wh hingga maksimal 40Wh untuk konteks maksimum, dan karena kebanyakan penggunaan jauh di bawah itu, penggunaan energi untuk teks sendiri kecil dibanding manfaatnya; sebaliknya, pembuatan video sangat boros energi; ada rasa ingin tahu tentang analisis angka seperti ini untuk penggunaan pembuatan kode berbasis LLM
Jumlah komentar di thread ini yang membenarkan konsumsi energi besar, dan fakta bahwa saat ini teknologi ini dipakai untuk hal-hal yang sangat tidak berguna (spam teks/visual), sangat kontras dengan kontroversi energi pada era kripto; ada kesan bahwa hal ini ditoleransi karena perusahaan big tech merupakan pemberi kerja utama
AI setidaknya punya manfaat teoretis, sedangkan kripto boros secara desain; tetapi struktur biaya-manfaat AI yang nyata juga masih belum jelas
Konsumsi energi Bitcoin meningkat seiring kenaikan harga, tetapi biaya inferensi LLM sedang turun cepat (tautan referensi); Apple, Google, dan lainnya juga mencoba pusat data sendiri serta AI on-device, sambil pada saat yang sama algoritme yang lebih mahal juga terus dikembangkan; ada kemungkinan sebagian besar penggunaan akan menjadi cukup murah untuk berjalan di perangkat terbatas baterai seperti laptop dan ponsel
Titik hubung dengan ledakan kripto terasa menarik; begitu arus seperti ini mulai, sifat manusia membuatnya tidak mudah dibalikkan
Berbagi ingatan bahwa dulu suasana HN terhadap kripto tidak senegatif sekarang
Bercanda bahwa penggunaan energi kripto, terutama Bitcoin PoW, memang benar-benar pemborosan
Ironis membaca tulisan ini saat CPU saya dipakai maksimal oleh halaman ini yang sebenarnya tidak melakukan apa-apa karena JavaScript yang entah untuk apa
Ingin agar browser membatasi secara ketat berapa banyak CPU yang boleh dipakai tiap halaman, dan jika butuh penggunaan CPU tambahan, harus meminta izin eksplisit seperti kamera
Sebelum makan siang sempat membaca ini dan terpikir hal serupa; membagikan tulisan blog terkait tabdouse, serta menyebut bahwa trik seperti cgroups juga ada tetapi belum sepenuhnya memuaskan
Sekarang AI terasa seperti era awal komputer “mainframe”: mesin besar yang memenuhi satu ruangan, menghabiskan daya sangat besar, tetapi kinerjanya masih kalah dari smartphone masa kini; diyakini bahwa efisiensi model dan spesialisasi perangkat keras akan berkembang cepat ke depan, dan inferensi lokal melalui chip khusus AI akan sangat mengurangi penggunaan energi untuk sebagian besar tugas, sehingga sumber daya komputasi besar bisa difokuskan ke masalah ilmiah yang kompleks
Kurva perkembangan CPU (pertumbuhan eksponensial) sering dikutip, tetapi pada kenyataannya hampir tidak berlaku di bidang lain; semikonduktor bisa tumbuh karena kondisi keberuntungan yang sangat khusus, sedangkan baterai, fusi nuklir, komputasi kuantum, dan lain-lain tidak demikian; di ranah semikonduktor sendiri buah yang paling rendah sudah habis dipetik, jadi kecil kemungkinan efisiensi AI juga tumbuh secepat itu; yang lebih realistis adalah kemajuan lambat dan bertahap selama beberapa dekade ke depan; tidak ada jalan yang akan langsung menghapus kebutuhan miliaran parameter dan triliunan operasi, meski komputasi fotonik mungkin punya potensi
Secara pribadi tidak terlalu paham dengan pembicaraan tentang “chip khusus AI”; LLM sejak awal adalah teknologi yang dirancang agar cocok dengan GPU, jadi perangkat kerasnya sebenarnya sudah ada; masalahnya GPU makin besar, panas, dan boros daya; kalau ada yang lebih baik daripada GPU, seharusnya sudah pindah ke sana; jika ada struktur yang bisa kembali ke CPU dan lebih efisien, seharusnya juga sudah berubah
Ternyata cukup mengejutkan bahwa bahkan di laptop lama saya (7 tahun), model Gemma kecil bisa berjalan cukup mudah; membayangkan kemungkinan meningkatkan efisiensi dengan hanya mengirim sebagian tugas ke LLM dan menangani sisanya dengan program biasa
Ini tulisan terbaik yang pernah dilihat sejauh ini tentang penggunaan energi AI; sangat berkesan bahwa big tech enggan memberikan data yang dibutuhkan untuk pengambilan keputusan sosial; merekomendasikan serial podcast Data Vampires yang membahas ini secara mendalam
Menarik bahwa artikel itu menyebut setelah adopsi AI pada 2017, pusat data dibangun dengan perangkat keras yang intensif energi sehingga konsumsi listriknya meningkat dua kali lipat pada 2023; tetapi kebangkitan AI generatif yang sebenarnya baru dimulai sungguh-sungguh setelah kemunculan ChatGPT pada November 2022, jadi sebagian besar pertumbuhan AI pada 2017–2022 mungkin bukan AI generatif
Tahun 2017 adalah setahun setelah AlphaGo mengalahkan Lee Sedol dan juga tahun terbitnya makalah ‘attention is all you need’; di industri sebenarnya tanda-tandanya sudah ada, hanya saja OpenAI berhasil menemukan kecocokan pasar pada 2022, bukan berarti industri sebelumnya benar-benar berjalan tanpa arah
Sejak sekitar masa itu penggunaan GPU untuk machine learning mulai benar-benar berjalan
Meta sudah aktif menerapkan AI di seluruh layanannya, seperti pencarian, rekomendasi, dan graph; berkat itu, bahkan sebelum demam LLM, mereka sudah menyiapkan puluhan ribu hingga ratusan ribu GPU, yang menempatkan mereka pada posisi menguntungkan untuk menjalankan proyek-proyek besar seperti Llama