AlphaEvolve: agen coding desain algoritma canggih berbasis Gemini
(deepmind.google)- AlphaEvolve yang diperkenalkan Google DeepMind adalah agen coding evolusioner yang menggabungkan model Gemini dengan evaluator otomatis untuk menemukan dan mengoptimalkan algoritma
- Gemini Flash bertugas menjelajahi ruang ide yang luas, Gemini Pro menangani usulan yang lebih mendalam, dan program kandidat dijalankan, diverifikasi, serta diberi skor sebelum berkembang menjadi variasi yang menjanjikan
- Algoritma yang ditemukan selama setahun terakhir telah diterapkan pada penjadwalan data center, desain TPU, dan optimasi Gemini, dan di Borg secara konsisten memulihkan rata-rata 0.7% sumber daya komputasi Google di seluruh dunia
- Kernel perkalian matriks Gemini menjadi 23% lebih cepat, mengurangi waktu pelatihan sebesar 1%, dan implementasi kernel FlashAttention mencapai peningkatan kecepatan hingga 32.5%
- Di bidang matematika, sistem ini menemukan algoritma yang melakukan perkalian matriks kompleks 4x4 dengan 48 perkalian skalar, dan memperbaiki solusi terbaik sebelumnya pada sekitar 20% dari lebih dari 50 masalah terbuka
Cara AlphaEvolve mengembangkan algoritma
- AlphaEvolve adalah agen coding evolusioner yang ditujukan untuk penemuan dan optimasi algoritma secara umum
- Sistem ini menambahkan evaluator otomatis pada kemampuan pemecahan masalah kreatif dari large language model untuk memverifikasi jawaban, lalu terus menyempurnakan ide-ide yang menjanjikan melalui kerangka evolusi
- Pada 2023, Google DeepMind menunjukkan bahwa LLM dapat menemukan pengetahuan baru yang dapat dibuktikan pada masalah sains terbuka melalui pembuatan fungsi kode, dan AlphaEvolve memperluasnya dari satu fungsi menjadi seluruh codebase dan algoritma yang lebih kompleks
- Konfigurasi modelnya dibagi untuk menangani luasnya eksplorasi dan kualitas usulan
- Gemini Flash: model yang cepat dan efisien untuk menjelajahi ruang ide yang lebih luas
- Gemini Pro: model yang lebih kuat untuk memberikan usulan yang lebih berwawasan
- Program yang dihasilkan dijalankan, diverifikasi, dan diberi skor dengan metrik evaluasi otomatis, sehingga sangat cocok untuk masalah matematika dan ilmu komputer yang akurasi serta kualitasnya bisa dinilai secara kuantitatif
Hasil penerapan di infrastruktur Google
- Selama setahun terakhir, algoritma yang ditemukan AlphaEvolve telah diterapkan di seluruh data center, hardware, dan software Google
- Optimasi individual ini, saat diterapkan pada infrastruktur AI dan komputasi berskala besar, menghasilkan efek mampu menangani lebih banyak pekerjaan dengan sumber daya yang sama
-
Penjadwalan data center
- AlphaEvolve menemukan heuristik yang sederhana tetapi efektif untuk membantu Borg mengoordinasikan data center skala besar Google dengan lebih efisien
- Solusi ini telah berjalan di production selama lebih dari setahun dan secara konsisten memulihkan rata-rata 0.7% sumber daya komputasi Google di seluruh dunia
- Solusi ini diimplementasikan dalam kode yang dapat dibaca manusia, sehingga juga menawarkan kemudahan interpretasi, debugging, prediktabilitas, dan deployment
-
Desain hardware
- Sistem ini mengusulkan penulisan ulang Verilog untuk menghapus bit yang tidak perlu dalam sirkuit aritmetika yang sangat dioptimalkan untuk perkalian matriks
- Modifikasi yang diusulkan harus melewati prosedur verifikasi yang ketat untuk memastikan akurasi fungsional sirkuit tetap terjaga
- Usulan ini telah diintegrasikan ke Tensor Processing Unit generasi mendatang, akselerator AI kustom Google
- Dengan mengusulkan perubahan dalam bahasa standar yang digunakan para perancang chip, pendekatan ini juga sesuai dengan cara kolaborasi antara AI dan engineer hardware
Optimasi pelatihan dan inferensi Gemini
- AlphaEvolve menemukan cara membagi pekerjaan perkalian matriks besar menjadi submasalah yang lebih kecil, sehingga kernel inti pada arsitektur Gemini menjadi 23% lebih cepat
- Peningkatan kernel ini mengurangi waktu pelatihan Gemini sebesar 1% dan juga menghemat sumber daya komputasi yang dibutuhkan untuk mengembangkan model AI generatif
- Waktu engineering yang dibutuhkan untuk optimasi kernel berkurang dari beberapa minggu kerja ahli menjadi beberapa hari eksperimen otomatis
- Instruksi GPU tingkat rendah juga termasuk dalam target optimasi
- Di area ini, compiler biasanya sudah melakukan optimasi yang sangat kuat sehingga engineer manusia sering kali tidak memodifikasinya secara langsung
- Pada implementasi kernel FlashAttention untuk model AI berbasis Transformer, sistem ini mencapai peningkatan kecepatan hingga 32.5%
- Optimasi semacam ini membantu para ahli menemukan bottleneck performa dan dengan mudah mengintegrasikan perbaikan ke dalam codebase
Penemuan matematika dan algoritma
- AlphaEvolve dapat mengusulkan pendekatan baru untuk masalah matematika kompleks bahkan ketika hanya diberi kerangka kode yang minimal
- Dengan merancang berbagai komponen dari prosedur optimasi berbasis gradien yang baru, sistem ini menemukan algoritma baru untuk perkalian matriks
- Dalam contoh tersebut, berbagai komponen seperti optimizer, inisialisasi bobot, fungsi loss, dan pencarian hyperparameter diubah, dan proses evolusinya memerlukan 15 mutasi
- Prosedur AlphaEvolve menemukan algoritma yang melakukan perkalian matriks kompleks 4x4 dengan 48 perkalian skalar
- Ini merupakan perbaikan atas algoritma Strassen tahun 1969 yang sebelumnya dikenal sebagai yang terbaik dalam konfigurasi ini
- AlphaTensor, yang dikhususkan untuk algoritma perkalian matriks, hanya menemukan perbaikan untuk aritmetika biner pada matriks 4x4
- Sistem ini juga diterapkan pada lebih dari 50 masalah terbuka di analisis matematika, geometri, kombinatorika, dan teori bilangan
- Sebagian besar eksperimen dapat disiapkan dalam beberapa jam
- Dalam sekitar 75% kasus, sistem ini berhasil menemukan kembali solusi state-of-the-art yang sudah diketahui
- Dalam sekitar 20% kasus, sistem ini memperbaiki solusi terbaik sebelumnya dan mendorong kemajuan pada masalah terbuka tersebut
- Pada kissing number problem, sistem ini menemukan susunan 593 bola luar dalam 11 dimensi, sehingga menetapkan batas bawah baru
Rencana publikasi dan cakupan penerapan
- AlphaEvolve menunjukkan arah perkembangan dari penemuan algoritma di domain tertentu menuju pengembangan algoritma kompleks untuk masalah dunia nyata
- Google DeepMind memperkirakan AlphaEvolve akan terus membaik seiring meningkatnya kemampuan coding large language model
- Bersama People + AI Research team, mereka sedang membangun antarmuka ramah pengguna untuk berinteraksi dengan AlphaEvolve
- Mereka merencanakan Early Access Program untuk pengguna akademik terpilih dan juga sedang mempertimbangkan kemungkinan rilis yang lebih luas
- Pendaftaran minat akan diterima melalui formulir ini
- Saat ini bidang penerapannya adalah matematika dan komputasi, tetapi sistem ini dapat diterapkan pada masalah apa pun yang solusinya bisa diekspresikan sebagai algoritma dan diverifikasi secara otomatis
- Google DeepMind menilai AlphaEvolve juga dapat membawa perubahan di ilmu material, penemuan obat, keberlanjutan, serta aplikasi teknologi dan bisnis yang lebih luas
- Materi terkait
Belum ada komentar.