- Para peneliti Google DeepMind merilis makalah tentang JEST, metode baru untuk meningkatkan kecepatan pelatihan AI. Metode ini secara signifikan mengurangi sumber daya komputasi dan waktu yang dibutuhkan untuk suatu tugas
- Pendekatan Multimodal Contrastive Learning with Joint Example Selection (JEST) diklaim hingga 13 kali lebih cepat dan 10 kali lebih efisien. Ini berarti kebutuhan energi dapat ditekan
- Menurut makalah riset terbaru, pendekatan baru terhadap proses yang biasanya sangat intensif energi ini dapat membuat pengembangan AI lebih cepat dan lebih murah. Ini juga menjadi kabar baik bagi lingkungan
Tingginya konsumsi energi industri AI
- Sistem AI berskala besar membutuhkan kemampuan pemrosesan yang besar, yang pada gilirannya memerlukan banyak energi dan air untuk pendinginan
- Konsumsi air Microsoft dilaporkan melonjak 34% antara 2021 dan 2022 akibat meningkatnya permintaan komputasi AI
- IEA memperkirakan konsumsi listrik pusat data akan berlipat ganda dari 2022 hingga 2026. Hal ini memicu perbandingan antara kebutuhan daya AI dan profil energi industri penambangan kripto yang kerap dikritik
- Namun, pendekatan seperti JEST dapat menawarkan solusi. Dengan mengoptimalkan pemilihan data untuk pelatihan AI, jumlah iterasi dan daya komputasi yang dibutuhkan dapat dikurangi secara signifikan, sehingga konsumsi energi keseluruhan juga bisa ditekan
Cara kerja JEST
- JEST memilih batch data yang saling melengkapi untuk memaksimalkan kemampuan belajar model AI. Berbeda dengan metode konvensional yang memilih contoh satu per satu, algoritme ini mempertimbangkan komposisi seluruh himpunan
- Peneliti Google menggunakan "multimodal contrastive learning", di mana proses JEST mengidentifikasi ketergantungan antar titik data. Metode ini meningkatkan kecepatan dan efisiensi pelatihan AI sambil membutuhkan daya komputasi yang jauh lebih kecil
- Inti dari pendekatan ini adalah penggunaan model referensi yang telah dipra-latih untuk menyesuaikan proses pemilihan data. Teknik ini memungkinkan model berfokus pada dataset berkualitas tinggi yang telah dikurasi dengan baik, sehingga efisiensi pelatihan semakin optimal
- Dengan menggunakan JEST, pelatihan pada dataset WebLI menunjukkan peningkatan yang mencolok dalam kecepatan pembelajaran dan efisiensi sumber daya
- Algoritme ini mempercepat proses pelatihan dengan menggunakan teknik yang disebut "data quality bootstrapping", yaitu dengan berfokus pada potongan data tertentu yang "cocok". Teknik ini lebih mengutamakan kualitas daripada kuantitas dan terbukti lebih baik untuk pelatihan AI
Belum ada komentar.