Cara Peneliti AI Menghemat Energi: Kembali ke Metode Mundur

• Komputasi mundur (reversible) adalah metode teoretis yang dapat menghemat energi tanpa menghapus data dengan menjalankan komputasi secara terbalik, dan kini mendapat perhatian sebagai alternatif untuk mengatasi masalah konsumsi energi AI
• Komputer konvensional tak terhindarkan melepaskan panas (energi) saat menghapus informasi, dan hal ini tidak dapat dihindari karena batas fisika (prinsip Landauer)
• Konsep uncomputation memproses informasi tanpa kehilangan data dengan hanya menyisakan hasil komputasi dan mengembalikan sisanya melalui pembalikan proses, tetapi memiliki keterbatasan praktis seperti biaya kecepatan dan memori
• Baru-baru ini terbukti secara empiris bahwa pada pekerjaan dengan banyak komputasi paralel seperti AI, menjalankan banyak chip reversible dengan kecepatan lebih lambat dapat memberikan penghematan energi yang besar
• Industri dan para peneliti mulai terjun ke pengembangan chip reversible komersial yang nyata, sehingga kemungkinan terwujudnya inovasi efisiensi energi AI semakin besar

---

Kehilangan energi mendasar dalam komputasi

• Saat komputer menjumlahkan dua angka, misalnya 2 + 2 = 4, hanya satu keluaran yang tersisa dari dua masukan
• Sebagian informasi pun hilang, membuat komputasi menjadi irreversibel, dan informasi yang terhapus itu berubah menjadi energi panas
• Karena sebagian besar komputer bekerja dengan cara ini, pada dasarnya selalu ada kehilangan informasi (timbulnya panas) yang tak terelakkan

Usulan komputasi reversibel Landauer dan batasannya

• Landauer membayangkan komputasi yang mengurangi kehilangan energi dengan mencatat semua hasil komputasi tanpa menghapus informasi
• Namun ia menemukan bahwa komputer seperti itu tidak praktis karena memori akan cepat penuh dalam penggunaan nyata
• Landauer akhirnya menilai bahwa komputasi reversibel adalah jalan buntu

Gagasan uncomputation (komputasi balik) dari Bennett

• Pada 1973, Charles Bennett dari IBM mengusulkan metode untuk hanya menyimpan hasil komputasi, lalu menghapus sisanya dengan menjalankan proses perhitungan secara terbalik (uncomputation)
• Seperti analogi Hansel dan Gretel yang memungut kembali remah roti, cara ini memungkinkan menyisakan hanya data yang diperlukan dan menghapus sisanya tanpa kehilangan informasi
• Kekurangan metode ini adalah waktu komputasi menjadi dua kali lebih lama, sehingga dianggap tidak efisien

Munculnya riset yang meningkatkan kepraktisan

• Pada 1989, Bennett menunjukkan bahwa dengan menggunakan sedikit lebih banyak memori, waktu komputasi dapat dipangkas secara signifikan
• Setelah itu para peneliti terus mempelajari cara mengoptimalkan memori dan waktu
• Namun selain penghapusan data, komputer juga kehilangan energi akibat inefisiensi pada cara transistor dihubungkan
• Untuk membuat komputer reversibel hemat energi yang benar-benar praktis, dibutuhkan struktur dengan kehilangan panas rendah sejak tahap perancangan

Chip prototipe MIT dan respons industri

• Pada 1990-an, para insinyur MIT membuat chip prototipe yang meningkatkan efisiensi rangkaian
• Frank ikut serta sebagai mahasiswa doktoral dan kemudian aktif sebagai tokoh utama di bidang komputasi reversibel
• Namun di tengah realitas industri ketika performa chip konvensional meningkat pesat, minimnya minat industri terhadap alternatif yang masih teoretis membuat dukungan tetap rendah
• Frank pun sempat menghentikan risetnya dan mencari jalur lain
• Tetapi ketika miniaturisasi rangkaian mendekati batasnya, perhatian terhadap masalah efisiensi energi meningkat tajam

Efisiensi energi komputasi reversibel dan potensi penerapannya pada AI

• Pada 2022, Hannah Earley dari Cambridge menganalisis secara rinci efisiensi energi komputer reversibel
• Komputer reversibel menghasilkan lebih sedikit panas dibanding komputer konvensional, tetapi mustahil benar-benar tanpa panas
• Khususnya, ia mengungkap bahwa pada komputer reversibel, semakin lambat kecepatannya, semakin sedikit panas yang dilepas
• Karena komputasi AI berada dalam lingkungan pemrosesan paralel, dengan menjalankan tiap chip lebih lambat dan menambah jumlah chip, dapat diharapkan efek penurunan total konsumsi energi
• Kecepatan yang lebih lambat juga dapat menurunkan biaya pendinginan, sehingga memungkinkan penempatan chip yang lebih rapat serta penghematan ruang dan material

Langkah menuju komersialisasi dan prospeknya

• Ketika investor mulai memberi perhatian, Earley dan Frank mendirikan Vaire Computing dan mulai mengembangkan chip reversibel komersial
• Mogensen dari University of Copenhagen dan lainnya menyatakan harapan besar bahwa prosesor reversibel benar-benar akan diterapkan di lapangan kerja nyata
• Komputasi reversibel, yang selama puluhan tahun bertahan di ranah teori, kini diperhatikan apakah dapat membawa inovasi nyata dalam AI dan efisiensi energi

Kesimpulan

• Komputasi reversibel dipandang sebagai cara nyata untuk mengatasi batas fisika komputer, yaitu timbulnya panas saat informasi dihapus, dan mendapat perhatian sebagai teknologi penghematan energi skala besar di era AI
• Pendekatan menjalankan chip secara lambat dan paralel berpadu dengan karakteristik struktural komputasi AI, sehingga komersialisasi nyata tampak semakin dekat

[GN⁺]

Komentar Hacker News

• Dalam novel Stephen Baxter Time, diceritakan masa depan yang sangat jauh ketika semua bintang telah padam dan semua lubang hitam telah menguap, lalu keturunan umat manusia tersisa di alam semesta dengan entropi maksimum; dalam keadaan energi bebas telah sepenuhnya habis, muncul konsep bahwa para keturunan ini terus hidup dengan mengulang peristiwa yang sama di dalam simulasi raksasa hanya melalui komputasi reversibel (berjalan tanpa konsumsi energi), meng-uncompute hasil komputasi lalu compute lagi untuk mengulangi event loop yang sama

• Dari sudut pandang software engineer, disebutkan bahwa bagian ini tidak mudah dipahami; konsep bahwa elektron "hilang" ketika informasi dihapus terasa membingungkan pada awalnya, karena elektron tampaknya hilang di mana-mana, dan kebanyakan gerbang bekerja melalui negasi arus, jadi muncul pertanyaan apakah semua tindakan itu buruk; juga dipertanyakan mengapa mencatat semua perubahan memori bisa mencegah kehilangan panas, apakah justru tidak akan mengonsumsi lebih banyak energi jika semua memori harus terus dipertahankan, dan apa manfaat praktis dari harus kembali ke masa lalu dalam komputasi

  • Secara teoretis, komputer yang tidak pernah melupakan informasi dapat diimplementasikan dengan penggunaan daya yang nyaris nol, sehingga juga hampir tidak menghasilkan panas; komputer jenis ini disebut komputasi reversibel (adiabatic), dan semua gerbang operasinya harus dapat dibalik; pada tahap paling awal dan paling akhir seperti pengaturan keadaan input dan penyalinan output tetap dibutuhkan energi; dalam dunia nyata, sebagian besar konsumsi daya bukan hilang karena "penghapusan" informasi di gerbang logika, melainkan karena hal-hal seperti resistansi kabel; untuk membuat CPU yang sepenuhnya reversibel dibutuhkan hardware khusus seperti kabel/perangkat superkonduktor, dan komputasinya juga harus dibalik yang bukan masalah mudah; alternatifnya adalah tetap menghapus keadaan sambil menerima konsumsi energi; contoh nyata yang bisa disebut adalah komputer kuantum, karena gerbang logika kuantum bersifat reversibel dan dapat dijalankan terbalik

  • Dari sudut pandang termodinamika, proses reversibel secara teoretis memiliki efisiensi maksimum; ini berkaitan dengan entropi; ketika informasi dihapus, prosesnya menjadi tidak reversibel sehingga panas tak terhindarkan; namun semua ini sangat teoretis, dan komputer dunia nyata bahkan belum mendekati batas tersebut; elemen logika aktual seperti AND, OR, NAND sebagian besar merupakan operasi yang tidak reversibel jika diisolasi

  • Ditunjukkan bahwa media penyimpanan persisten seperti hard disk dan SSD tidak mengonsumsi daya sama sekali untuk mempertahankan data, sehingga juga tidak menghasilkan panas; tetapi saat data dihapus atau ditimpa, energi pasti dibutuhkan, dan dalam proses ini banyak panas dihasilkan; masalah pembuangan panas disebut sebagai penghambat scaling chip yang lebih halus; jika kita bisa merancang komputer yang tidak menghapus informasi, panas dapat sangat berkurang, sehingga performa chip meningkat, konsumsi daya turun, dan scaling menjadi lebih mungkin

• Ada sedikit skeptisisme terhadap motivasi penghematan energi, tetapi mengimplementasikan arsitektur deep learning yang reversibel sendiri merupakan topik riset yang cukup menarik; ini memang aktif dibahas, misalnya dalam seri invertibleworkshop 2019–2021; model diffusion yang populer belakangan juga bisa dipandang sebagai kasus khusus dari continuous normalizing flow sehingga secara teori komputasinya reversibel; tetapi model hasil distillation yang dipakai di produksi kemungkinan besar tidak demikian; simulasi persamaan diferensial juga pada praktiknya sulit cocok persis saat dihitung mundur karena galat pembulatan floating-point, tetapi jika dirancang dengan cermat maka simulasi yang reversibel sempurna bit-to-bit juga dimungkinkan

  • Ada juga paper tahun 2015 yang berguna jika perhitungan dalam machine learning bisa dibalik secara tepat

• Merenungkan apa arti bahwa komputasi memiliki arah; ini tampak seperti kausalitas, tetapi sebenarnya terlihat lebih sebagai persoalan input dan output; pada akhirnya rasanya tetap harus menjalankan programnya dulu, dan jika keadaan disimpan, kesannya hanya membuat backtracking lebih mudah

  • Ya, tetapi karena ini dibahas pada level fisik, diperlukan hardware terpisah; penghapusan informasi (misalnya operasi AND) menghasilkan panas, sehingga diperlukan gerbang logika lain seperti gerbang Fredkin

  • Sebenarnya semua komputasi punya arah; ini topik yang terasa sangat menarik; misalnya fungsi f(x) -> y sendiri sudah menunjukkan arah; tentu akan bagus jika arah balik selalu mungkin, tetapi ada banyak kasus yang memang tidak bisa diinvers; misalnya f(x)=mx+b mudah dicari inversnya (selama m≠0), tetapi untuk f(x)=x^2, saat memulihkan x dari f(x), baik +x maupun -x sama-sama mungkin sehingga tidak unik; di sini konsep image dan preimage dari fungsi bisa diterapkan, dan ini juga sangat terkait dengan masalah P=NP; dalam machine learning, Normalizing Flow bersifat invertible, diffusion model memiliki struktur reversible, dan ada pula GAN-Inversion; ada ketidakpuasan pribadi terhadap penggunaan istilah "inverse problem" di komunitas ML; jika konsep ini dipahami, akan terlihat mengapa prediksi hanya akurat di satu arah dan gagal di arah sebaliknya; pada akhirnya ini bermuara pada masalah inferensi kausal; dalam fisika, tujuan utamanya adalah membentuk peta kausal dengan mentransformasikan persamaan, tetapi pada entropi/mekanika kuantum muncul kesulitan yang inheren; sebagai contoh, jika keadaan molekul gas dihitung mundur, yang muncul bukan satu jawaban unik melainkan banyak kemungkinan keadaan; seperti contoh diferensiasi dan integrasi, differentiation tidak reversibel karena f(x)+C semuanya memberi hasil diferensial yang sama, artinya ada kehilangan informasi satu arah; jika keadaan pada banyak titik waktu disampling, ruang solusi bisa menyusut drastis

  • Kesimpulannya, komputasi reversibel dimungkinkan bila operasi yang tidak reversibel (penghapusan informasi) diminimalkan; contoh: jika semua langkah dalam 2 + 2 + 2 dicatat, komputasinya reversibel; tetapi jika hanya hasil akhir yang disisakan dan riwayatnya dihapus (tinggal 6), maka menjadi tidak reversibel

• Saya terus mengikuti Mike P Frank di Twitter dan sering melihat pernyataannya yang menarik tentang reversible computing dan AI Twitter MikePFrank

• Saya berharap teknologi ini bisa berguna ketika tren software berbasis pusat data GPU kembali berputar, tetapi seperti Jevons Paradox (ketika efisiensi membaik, permintaan meningkat sehingga penghematan energi nyata gagal tercapai), saya rasa kemungkinan besar ini tetap tidak akan menjadi titik balik

• Penasaran apa rencana konkretnya, dan apakah pernah ada demonstrasi reversible matmul; bahkan dalam operasi itu sendiri tampaknya penghapusan informasi di langkah tengah sulit dihindari, jadi realisme pendekatannya diragukan

  • Untuk matriks yang reversibel memang ada reversible matmul, tetapi untuk operator yang tidak reversibel seperti ReLU tidak bisa; dan saya juga kurang paham apakah benar, seperti klaim artikel, sekadar menghitung secara terbalik bisa memakai energi lebih sedikit

• Saat melihat judul artikelnya, terasa ironis bahwa halaman web tersebut sendiri butuh 12 detik untuk dimuat bahkan di komputer modern; orang umumnya tidak terlalu peduli pada masalah orang lain, dan ketika teknologi baru muncul (seperti AI), biaya sosial seperti lingkungan, pekerjaan individu, infrastruktur, pelanggaran hak cipta, dan sistem sosial cenderung dieksternalisasi; ketika efisiensi diperoleh, pada akhirnya orang malah memakainya lebih banyak untuk dirinya sendiri, bukannya mengurangi dampak buruk pada orang lain; terasa agak pahit

• Sudah berkali-kali ditunjukkan bahwa memakai LLM beberapa kali pun menggunakan listrik lebih sedikit daripada merebus air dengan ketel listrik