Algoritme L-Mul baru diklaim memangkas konsumsi daya AI hingga 95%

• Muncul klaim dari BitEnergy AI bahwa konsumsi daya dapat dikurangi hingga 95% jika floating-point multiplication (FPM), operasi inti dalam pemrosesan AI, diganti dengan penjumlahan bilangan bulat
• Linear-Complexity Multiplication (L-Mul) bertujuan menghasilkan hasil yang mendekati FPM dengan operasi yang lebih sederhana, sambil mempertahankan akurasi dan presisi
• Potensi peningkatan efisiensi daya memang besar, tetapi perangkat keras arus utama saat ini seperti GPU Blackwell dari Nvidia tidak dirancang dengan asumsi menjalankan algoritme ini
• Perusahaan yang telah menginvestasikan jutaan hingga miliaran dolar pada perangkat keras AI kemungkinan sulit menghindari beban adopsi sistem baru, meskipun performa L-Mul terbukti
• Di tengah permintaan daya pusat data AI yang menekan jaringan listrik dan target iklim, L-Mul dapat dilihat sebagai pendekatan yang membidik perluasan performa sekaligus penghematan energi

---

L-Mul yang mengganti FPM dengan penjumlahan bilangan bulat

• BitEnergy AI adalah perusahaan yang berfokus pada teknologi inferensi AI, dan telah mengembangkan metode untuk menggantikan FPM dengan penjumlahan bilangan bulat dalam pemrosesan AI
• Nama pendekatan baru ini adalah Linear-Complexity Multiplication (L-Mul)
• L-Mul diklaim dapat menghasilkan hasil yang mendekati FPM dengan algoritme yang lebih sederhana, sambil mempertahankan akurasi dan presisi tinggi milik FPM
• Menurut TechXplore, pendekatan ini dapat mengurangi konsumsi daya sistem AI hingga 95%

Kompatibilitas perangkat keras yang menghambat adopsi

• Karena L-Mul merupakan metode pemrosesan baru, perangkat keras populer di pasar saat ini tidak dirancang untuk langsung menanganinya
• GPU Blackwell generasi berikutnya dari Nvidia juga disebut sebagai contoh perangkat yang tidak dirancang dengan asumsi menjalankan algoritme ini
• Sekalipun algoritme BitEnergy AI mampu memberikan performa setara FPM, penerapan nyata tetap memerlukan sistem yang bisa menjalankannya
• Bagi perusahaan yang sudah menanamkan investasi jutaan hingga miliaran dolar pada perangkat keras AI, kebutuhan akan sistem baru bisa menjadi beban besar
• Jika produsen chip AI membuat ASIC yang disesuaikan dengan algoritme ini, potensi penghematan daya 95% dapat menarik minat perusahaan teknologi besar

Tekanan akibat permintaan daya AI

• Dalam pengembangan AI, daya listrik muncul sebagai kendala utama
• Disebutkan bahwa GPU pusat data yang terjual tahun lalu saja mengonsumsi lebih banyak listrik dalam setahun daripada yang digunakan oleh lebih dari 1 juta rumah tangga
• Google terdorong menunda target iklimnya karena permintaan daya AI, dan emisi gas rumah kacanya meningkat 48% dibanding 2019
• Mantan CEO Google pernah mengusulkan arah yang menurunkan target iklim dan mengizinkan produksi listrik lebih banyak untuk menyelesaikan masalah pemanasan global dengan AI canggih

Apa yang bisa berubah dengan peningkatan efisiensi daya

• Jika pemrosesan AI menjadi lebih hemat daya, teknologi AI canggih dapat dipertahankan sambil mengurangi beban lingkungan
• Jika penggunaan energi turun 95%, beban yang diberikan pusat data berskala besar pada jaringan listrik nasional juga akan berkurang
• Jika tekanan pada jaringan listrik menurun, kebutuhan membangun lebih banyak pembangkit listrik demi mempercepat ekspansi infrastruktur AI masa depan juga bisa ikut berkurang

Keseimbangan antara peningkatan performa dan efisiensi

• Chip AI baru mendapat perhatian karena menawarkan performa komputasi yang lebih besar di setiap generasi
• Namun, kemajuan yang sesungguhnya baru mungkin terjadi ketika prosesor menjadi lebih kuat sekaligus lebih efisien
• Jika L-Mul bekerja seperti yang diklaim, maka peningkatan performa AI dan efisiensi daya dapat diharapkan secara bersamaan

[GN⁺]

Komentar di Hacker News

• https://arxiv.org/abs/2410.00907
  Menurut abstrak makalahnya, sebagian besar komputasi jaringan saraf besar digunakan untuk perkalian tensor floating-point, dan L-Mul disebut memperkirakan perkalian floating-point dengan penjumlahan bilangan bulat sehingga menghasilkan presisi lebih tinggi dengan sumber daya komputasi lebih sedikit daripada floating-point 8-bit.
  Jika diterapkan pada perangkat keras pemrosesan tensor, mereka mengklaim dapat mengurangi hingga 95% energi perkalian tensor floating-point per elemen dan 80% energi dot product. Mereka juga menilai L-Mul dengan mantissa 3–4 bit setara atau lebih baik daripada float8 e4m3/e5m2, dan dapat diterapkan pada attention di Transformer dengan nyaris tanpa kehilangan.

  • Saya penasaran apakah ini berarti pelatihan bisa dilakukan secara efisien bahkan tanpa GPU.
    Sepertinya minat terhadap ini akan cukup besar.
  • Rasanya saya sudah beberapa kali melihat ide ini, sepertinya dari postingan-postingan di HN.
    Ada juga yang ini https://news.ycombinator.com/item?id=41784591, dan sebelumnya pun pernah ada. Bagi orang yang mendalami bidang ini, mungkin ini ide yang cukup wajar.
    Secara intuitif, memakai floating-point untuk pada akhirnya mengambil keputusan yang mendekati boolean memang terlihat boros, tetapi saya pikir itu memang diperlukan untuk membuat algoritme yang dapat didiferensiasikan.
  • Dulu, berbagai arsitektur DSP menggunakan perkalian fixed-point (Q Format) untuk algoritme DSP. https://en.wikipedia.org/wiki/Q_(number_format)
    Itu sangat cepat sekaligus menghasilkan akurasi yang mendekati perkalian floating-point. Untuk mendapatkan perkalian cepat dan paralelisme sekaligus, mungkin blok DSP seperti ini perlu dipakai sebagai bagian dari Tensor/GPU.
  • Apakah ini sebenarnya menghasilkan efek kuantisasi tanpa benar-benar melakukan kuantisasi?

• Ini aproksimasi yang cukup kasar. Misalnya 1.75 * 2.5 == 3, tetapi tampaknya makin baik ketika angkanya makin dekat ke 0.
  Saya mengimplementasikannya untuk AVX512 di tinyBLAS milik llamafile dan mencobanya pada Llama-3.2-3B-Instruct.F16.gguf, tetapi output-nya rusak. Agar berfungsi dengan benar, sepertinya model harus dilatih dan dirancang dari awal untuk memakai aproksimasi perkalian ini, atau dituning agar hanya dipakai pada layer atau operasi tertentu.
  Meski begitu, kecepatannya lumayan; di Threadripper, prefill turun dari 850 token/detik menjadi 200 token/detik, tetapi kecepatan prediksi tetap 34 token/detik. Kalau ada yang merilis arsitektur LLM dan bobot yang memakai algoritme ini di Hugging Face, sepertinya bisa dijalankan cukup cepat tanpa perangkat keras khusus.

  • Untuk 1.75 * 2.5, sepertinya kernel-nya salah.
    Berdasarkan makalah, 1.75 == (1+0.75)*2^0 dan 2.5 == (1+0.25)*2^1, jadi hasilnya adalah (1+0.75+0.25+2^-4)*2^1 == 4.125. Hasil tepatnya 4.375.

• Klaim luar biasa membutuhkan bukti luar biasa.
  Bisa saja mungkin, tetapi di bidang ini sudah lama ada banyak kelompok orang pintar yang bekerja keras. Karena itu, klaim pengurangan biaya energi 95% pada performa yang sama termasuk kategori luar biasa. Tentu saja, saat air surut nanti akan terlihat.

  • Ini judul clickbait, dan klaimnya sendiri tidak luar biasa. Preprint arXiv-nya sudah pernah muncul di sini.
    Peningkatan 95% itu secara spesifik hanya berlaku untuk operasi perkalian. Inferensi pada dasarnya lebih banyak dibatasi memori daripada komputasi, jadi keuntungan nyata kemungkinan jauh lebih kecil.
    Jurnalisme teknologi—praktis semua jurnalisme—berfokus pada klik dan pendapatan demi bertahan hidup, jadi sulit berharap pada grounded news.
  • Saya tidak menganggap klaim ini luar biasa. Secara matematis ini bukan mustahil atau tidak masuk akal, hanya saja sangat merepotkan untuk diverifikasi.
    Dibutuhkan banyak pelatihan ulang dan fine-tuning, dan biayanya besar jika belum punya perangkat keras paralel berskala besar. Atau harus membuat ASIC/FPGA dengan risiko investasi besar.
    Kalau menebak kasar, model beresolusi rendah seperti llama-2 mungkin bisa baik-baik saja, karena llama-2 dapat dikuantisasi tanpa masalah besar. Namun model beresolusi tinggi seperti llama-3 sepertinya tidak mudah tanpa pelatihan ulang skala besar.
  • Klaim penghematan energi dapat diverifikasi hingga sekitar 70%. Implementasi inferensinya ada di sini:
    https://github.com/microsoft/BitNet
  • Selama ini para peneliti lebih banyak mengerjakan hal lain, seperti struktur jaringan atau cara membuat jaringan yang menghasilkan output lebih baik.
    Ada juga orang-orang yang memperbaiki efisiensi operasi matematika tingkat rendah, dan ini lebih mirip buah dari pekerjaan-pekerjaan semacam itu. Menemukan hal seperti ini sama sekali tidak mudah.
  • Bahkan dengan mempertimbangkan komentar di atas dan di bawah, ini tetap klaim luar biasa.
    Saya tidak mengatakan ini tidak mungkin atau palsu, tetapi dibutuhkan bukti bahwa performa setara dapat dicapai pada mesin nyata dengan energi nyata.
    Pembelaan “belum ada chip yang sesuai” agak kurang jujur. Jika penghematan 95% benar-benar mungkin, produsen chip yang pintar akan menghitungnya lalu membuat chip. Jika benar, perusahaan itu akan menghasilkan banyak uang; jika tidak, mereka tidak akan membuatnya.

• Dari sudut pandang saya yang pernah meneliti bidang ini, yaitu approximate computing, baik di sisi GPU maupun silikon, klaim konsumsi daya maupun klaim akurasinya benar-benar kacau.
  Makalahnya mengatakan “L-Mul lebih akurat daripada perkalian fp8 e4m3”, tetapi dalam analisis galat dan estimasi kompleksitas Mul dan L-Mul mereka mengatakan “tidak mempertimbangkan pembulatan nearest even”. Jika bagian yang memberi akurasi pada algoritme acuan dihilangkan dari analisis, hasil yang diinginkan bisa dipilih sesuka hati.
  Perkalian floating-point, jika dibulatkan dengan nearest even, menghasilkan nilai yang sama seperti mengalikan nilai asli dengan presisi tak terbatas lalu membulatkannya dengan benar; IEEE 754 juga mensyaratkan ini pada operasi dasar. Jika ini dihilangkan, muncul jauh lebih banyak noise kuantisasi dan noise bias.
  Sebagian besar biaya energi berasal dari perpindahan data antara memori eksternal seperti DRAM/HBM dan interkoneksi, serta buffering di SRAM dan flip-flop. Biaya logika kombinasi biasanya bukan masalah besar; meski jika ada banyak unit perkalian matriks fungsi tetap biayanya bisa meningkat, penghematan daya akselerator secara keseluruhan kemungkinan paling banyak sekitar 10–20%.
  Selain itu, tidak terlihat detail tentang rescaling atau akumulasi hasil antara dengan presisi tinggi yang ditemui di lingkungan seperti H100. Tanpa informasi ini, hasil evaluasinya juga sulit dipercaya.

• Diskusi preprint aslinya: https://news.ycombinator.com/item?id=41784591

• Bukankah ini pada dasarnya hanya memanfaatkan “log(x) + log(y) = log(xy)”?
  Representasi floating point IEEE754 menyimpan tanda, mantissa, dan eksponen. Jika dua yang pertama diabaikan, karena toh sudah dikuantisasi, eksponen hanyalah bilangan bulat yang menyimpan log() dari float

  • Tidak persis. Yang dimanfaatkan adalah (1+a)(1+b) = 1 + a + b + ab
    Jika a dan b sama-sama cukup kecil, ab menjadi sangat kecil sehingga bisa diabaikan. Jadi (1+a)(1+b) diganti menjadi 1+a+b. Keduanya jelas tidak sama, tetapi dalam pekerjaan yang dilakukan mesin untuk menebak, tampaknya perbedaan itu tidak terlalu dipedulikan
  • Benar. Pertanyaan berikutnya menjadi: “Bagus, lalu bagaimana dengan penjumlahan?”

• Sekitar seminggu lalu saya mengunggah ini:
  https://news.ycombinator.com/item?id=41816598
  Pendekatan seperti ini sudah dilakukan selama puluhan tahun di sirkuit digital, FPGA, pemrosesan sinyal digital, dan sebagainya. Karena floating point memakai banyak sumber daya dan daya, penggunaan floating point tanpa perangkat keras pemrosesan floating point khusus sudah dihindari selama puluhan tahun kecuali benar-benar diperlukan

  • Benar. Dunia ML pelan-pelan belajar bahwa optimasi bukan hanya soal mengurangi jumlah simbol aljabar linear, tetapi juga menyesuaikannya dengan kesederhanaan silikon
    Menemukan kembali fixed point saja sudah cukup membuat frustrasi, tetapi reaksi seperti “kalau pose direpresentasikan sebagai quaternion, semuanya jadi lebih baik” membuat pengembang game engine selama 30 tahun terakhir ingin meledak
  • Di ruang riset ML, konsep lama sering diberi nama baru lalu di-rebranding sebagai novel
  • Akan bagus kalau ada penjelasan lebih lanjut untuk orang yang belum paham

• Mungkin karena saya skeptis secara bawaan, setiap kali judul mengatakan “metode x mengurangi y sebesar z%”, tetapi isi artikel mengatakan bahwa dengan mengoptimalkan suatu tahap, “y mungkin dapat dikurangi hingga z%”, saya jadi curiga
  Saya penasaran mengapa mereka tidak merilis benchmark nyata yang membuktikan klaim itu, meski hanya untuk beberapa kasus khusus

  • Pertama, judul itu bukan dibuat oleh para peneliti, melainkan berasal dari liputan media populer, dan tulisan yang awalnya diunggah di sini juga merupakan pemberitaan ulang dari artikel media populer lain. Aneh jika mengharapkan penulis makalah membenarkan dengan benchmark sesuatu yang tidak diklaim oleh makalahnya
    “Hingga 95%” juga bukan berasal dari makalah. Penghematan biaya dikutip per operasi dan per presisi, bahkan ada yang hingga 97,3%, dan didasarkan pada riset sebelumnya tentang biaya energi operasi matematika pada perangkat keras komputasi modern. Mereka tidak mengklaim penghematan biaya end-to-end
    Kedua, penghematan biaya energi yang benar-benar mereka klaim pun bukan pertanyaan eksperimentalnya. Perbedaan biaya energi antaroperasi pada perangkat keras modern sudah ditetapkan oleh riset lain, dan isu eksperimen di sini adalah apakah teknik matematika yang memungkinkan operasi berenergi lebih rendah dapat bersaing dengan implementasi yang ada dalam inferensi LLM dari sisi kualitas keluaran
  • Sebaliknya, ada bukti hidup bahwa jaringan saraf yang sangat besar bisa berjalan dengan daya 20W, jadi ekspektasi bahwa konsumsi daya dapat dikurangi beberapa orde besaran bukanlah hal yang tidak masuk akal
  • https://github.com/microsoft/BitNet
    “Rilis pertama bitnet.cpp ditujukan untuk mendukung inferensi CPU. Pada CPU ARM, ia mencapai peningkatan kecepatan 1,37× hingga 5,07×, dengan peningkatan performa yang lebih besar pada model yang lebih besar. Konsumsi energi juga berkurang 55,4% hingga 70,0%, sehingga meningkatkan efisiensi keseluruhan. Pada CPU x86, ia menunjukkan peningkatan kecepatan 2,37× hingga 6,17× dan penghematan energi 71,9% hingga 82,2%. Selain itu, bitnet.cpp dapat menjalankan model 100B BitNet b1.58 pada satu CPU dengan kecepatan 5–7 token/detik, mirip dengan kecepatan membaca manusia, sehingga sangat meningkatkan kemungkinan menjalankan LLM di perangkat lokal. Detail lebih lanjut akan segera tersedia”
  • Meski kehidupan modern memang mengecewakan, untuk menarik trafik diperlukan judul clickbait. Tetap saja, bagus bahwa Anda membaca artikelnya. Informasi ada di isi tulisan, bukan di judul

• Apakah https://en.wikipedia.org/wiki/Jevons_paradox juga berlaku dalam kasus ini?

  • Menarik
    Biaya energi jelas menciptakan hambatan masuk, dan jika biaya turun, hambatan masuk juga turun. Lalu jumlah peserta bertambah, dan permintaan pun meningkat
  • Belum tentu hal yang buruk. Mungkin itu akan memberi waktu bagi para penipu AI untuk membuat sesuatu yang benar-benar berguna
  • Tentu saja. Jevons paradox selalu berlaku

• Saya tidak berpikir algoritme akan mengubah konsumsi energi
  Dari sisi komputasi, kapasitas maksimum selalu dibutuhkan. Jika besok ada algoritme baru yang meningkatkan performa 4 kali lipat, kita hanya akan melakukan komputasi 4 kali lebih banyak