- AlphaEvolve adalah alat optimasi bentuk baru yang menggunakan LLM untuk mengembangkan kode itu sendiri, dan diterapkan pada pemecahan masalah matematika
- Hasil eksperimen pada 67 masalah analisis, kombinatorika, dan geometri menunjukkan performa setara alat optimasi yang sudah ada, sekaligus unggul dalam skalabilitas
- Alat ini memiliki adaptabilitas tinggi, sehingga dapat diterapkan pada beragam masalah matematika tanpa pengetahuan rinci per masalah, serta secara mandiri menetapkan parameter diskretisasi untuk komputasi yang efisien
- Kode yang dihasilkan memberikan interpretabilitas, membantu manusia memahami struktur optimasi atau memperoleh wawasan matematis baru
- Pada beberapa masalah, sistem ini menemukan kembali hasil yang sudah ada atau membuat perbaikan kecil, memperlihatkan potensi otomatisasi riset matematika dan perluasan eksplorasi yang dapat diverifikasi
AlphaEvolve dan gambaran riset
- Terence Tao, Bogdan Georgiev, Javier Gómez-Serrano, Adam Zsolt Wagner bekerja sama dengan Google DeepMind dan merilis makalah riset yang menggunakan AlphaEvolve di arXiv
- Makalah: “Mathematical exploration and discovery at scale”
- Data terkait dan prompt juga dipublikasikan di repositori GitHub
- AlphaEvolve adalah sistem optimasi evolusi kode berbasis LLM yang memaksimalkan fungsi skor dengan mengembangkan kode, bukan nilai masukan
- Kode yang dihasilkan LLM dijalankan untuk membuat input, lalu hasilnya dievaluasi
- Evolusi berlangsung lewat persilangan dan mutasi antar generasi kode berbasis performa
- “Hallucination” akan dibuang jika performanya rendah, tetapi sebagian justru meningkatkan keragaman dan membantu keluar dari optimum lokal
- Pengguna dapat mengunggah hint atau PDF literatur terkait untuk meningkatkan performa
- Alat serupa yang ada antara lain OpenEvolve, ShinkaEvolve, DeepEvolve
Cakupan eksperimen dan hasil utama
- Eksperimen dilakukan pada 67 masalah matematika, termasuk analisis, kombinatorika, dan geometri
- Sistem ini menemukan packing geometris atau kandidat fungsi untuk masalah variasional yang lebih efisien dibanding literatur sebelumnya
- Kekuatan utamanya ada pada skalabilitas, karena prompt dan alat verifikasi dari satu masalah dapat dimodifikasi dan digunakan kembali untuk masalah serupa
- AlphaEvolve memiliki adaptabilitas tinggi, sehingga bisa diterapkan ke berbagai masalah tanpa penyesuaian hyperparameter yang detail
- Contoh: pada masalah variasional, sistem membiarkan parameter diskretisasi ditetapkan sendiri agar hasil lebih efisien
- Contoh: eksperimen optimasi konstanta ketaksamaan Hausdorff–Young
Interpretabilitas dan contoh konkret
- Kode keluaran AlphaEvolve berbentuk dapat dibaca dan dianalisis manusia, sehingga berguna untuk memahami struktur optimasi
- Contoh: pada masalah ketaksamaan Gagliardo–Nirenberg, sistem menemukan fungsi Talenti yang tepat dan menghasilkan kode Python untuk melakukan sampling terhadapnya
- Dalam beberapa kasus, sistem juga memanggil subrutin optimasi yang sudah ada atau memakai pendekatan pencarian sederhana
Data pelatihan dan perbedaan performa
- Untuk masalah yang termasuk dalam data pelatihan, LLM dapat langsung mengusulkan solusi optimal seperti Gaussian
- Jika masalah dimodifikasi untuk menyamarkan solusi Gaussian, sistem akan mengeksplorasi kandidat lain
- Contoh: dalam eksperimen terkait konjektur Kakeya aritmetika, sistem mengusulkan kandidat berbasis Gaussian diskret dan sedikit memperbaiki batas bawah yang ada
- Berdasarkan hasil ini, Tao membuktikan perilaku asimetris teoretis dalam makalah terpisah
Desain verifier dan kerentanannya
- AlphaEvolve sering menemukan “eksploit” yang memanfaatkan celah dalam kode verifikasi
- Contoh: pada masalah geometri dengan toleransi galat jarak yang longgar, sistem memperoleh skor tinggi dengan menempatkan titik-titik di lokasi yang sama
- Untuk mencegah ini, perlu digunakan aritmetika eksak atau fungsi skor yang konservatif
- Contoh: pada masalah Moving Sofa, penerapan skor konservatif membuat sistem menemukan kembali “Gerver sofa”, dan pada variasi 3D menemukan desain baru
Eksperimen pada masalah sulit dan konjektur
- Eksperimen dilakukan pada beberapa konjektur besar yang belum terpecahkan, seperti Sidorenko, Sendov, Crouzeix, Ovals
- Sistem menemukan kembali kandidat optimal dari literatur yang ada, tetapi tidak menemukan kontracontoh
- Ini bisa berarti konjektur tersebut benar, atau AlphaEvolve hanya menelusuri konstruksi “jelas” yang sebelumnya juga dicoba para peneliti
- Alat seperti ini berguna untuk mencatat hasil negatif secara sistematis, dan berpotensi dipakai sebagai alat verifikasi otomatis saat mengusulkan konjektur baru
- Pada beberapa masalah varian, sistem menemukan konjektur baru berbentuk perluasan dua parameter
Perbedaan performa antarbidang
- Pada masalah teori bilangan analitik seperti perancangan bobot sieve untuk pendekatan teorema bilangan prima, sistem kesulitan memanfaatkan struktur
- Sebaliknya, pada masalah seperti Kakeya dan Nikodym di medan hingga yang memiliki struktur aljabar, performanya sangat baik
- Pada masalah Kakeya, sistem menemukan kembali konstruksi optimal berbasis residu kuadrat, dan di tiga dimensi mencapai sedikit perbaikan
- Dengan Deep Think dari Gemini, ditemukan bukti informal, lalu diubah menjadi bukti formal Lean menggunakan AlphaProof
- Usulan perbaikan di empat dimensi kemudian diketahui memiliki struktur yang sama dengan makalah Bukh–Chao yang sudah ada
- Pada masalah Nikodym, sistem menemukan konstruksi tiga dimensi baru, tetapi kemudian dipastikan kalah dari konstruksi acak
- Berdasarkan hal itu, dikembangkan konstruksi hibrida untuk meningkatkan performa, dengan makalah lanjutan yang akan datang
Makna keseluruhan
- AlphaEvolve menunjukkan potensi otomatisasi eksplorasi matematika dalam skala besar
- Dibanding alat optimasi yang sudah ada, sistem ini unggul dalam skalabilitas, adaptabilitas, dan interpretabilitas
- Pada sebagian masalah, sistem bahkan mengarah pada konstruksi dan pembuktian baru
- Ke depan, riset matematika kemungkinan akan semakin mengadopsi struktur kolaborasi antara eksplorasi berbasis AI dan verifikasi oleh manusia
Belum ada komentar.