FunSearch: Penemuan Baru di Bidang Matematika dan Sains dengan Memanfaatkan LLM

FunSearch: memanfaatkan model bahasa skala besar untuk penemuan baru dalam matematika dan sains

• Model bahasa skala besar (LLM) memiliki kemampuan yang sangat baik dalam menggabungkan konsep, dan merupakan alat yang berguna untuk membantu pemecahan masalah melalui membaca, menulis, dan coding.
• Karena LLM terkadang cenderung "berhalusinasi" dengan menghasilkan informasi yang tidak faktual, melakukan penemuan yang akurat dan dapat diverifikasi menjadi tantangan.
• FunSearch adalah metode untuk mengeksplorasi solusi baru dalam matematika dan ilmu komputer dengan menggabungkan LLM pralatih yang memberikan solusi kreatif dan "evaluator" otomatis yang menyaring ide yang keliru.

Mendorong penemuan melalui evolusi dengan model bahasa

• FunSearch menggunakan metode evolusioner yang mengembangkan ide dengan skor tertinggi, dan ide-ide ini direpresentasikan sebagai program komputer yang dapat dijalankan dan dievaluasi secara otomatis.
• Pengguna menuliskan masalah dalam bentuk kode, yang terdiri dari prosedur untuk mengevaluasi program dan program seed untuk menginisialisasi kumpulan program awal.
• FunSearch adalah prosedur berulang, di mana pada setiap iterasi beberapa program dipilih dari kumpulan program saat ini dan diberikan ke LLM, lalu LLM menghasilkan program baru untuk dievaluasi.

Membuka jalan baru dalam matematika

• FunSearch menemukan solusi baru untuk masalah cap set yang telah membingungkan para matematikawan selama puluhan tahun.
• Masalah cap set adalah mencari himpunan titik terbesar pada grid berdimensi tinggi yang tidak memiliki tiga titik segaris, dan merupakan model penting dalam kombinatorika ekstremal.
• FunSearch menemukan cap set terbesar yang pernah ditemukan dalam 20 tahun terakhir pada beberapa pengaturan.

FunSearch lebih menyukai program yang ringkas dan dapat ditafsirkan manusia

• FunSearch tidak sekadar menghasilkan solusi untuk suatu masalah, tetapi juga menghasilkan program yang menjelaskan bagaimana solusi tersebut diturunkan.
• FunSearch lebih memilih menemukan solusi melalui program dengan kompleksitas Kolmogorov yang rendah, yaitu program yang sangat ringkas.
• Output program FunSearch mudah dipahami oleh para peneliti dan memberikan wawasan yang dapat ditindaklanjuti.

Menyelesaikan tantangan yang terkenal sangat sulit dalam komputasi

• Setelah berhasil pada masalah cap set yang bersifat teoretis, FunSearch diterapkan pada masalah "bin packing", tantangan praktis penting dalam ilmu komputer.
• FunSearch berhasil mengemas jumlah item yang sama dengan jumlah bin yang lebih sedikit dibandingkan heuristik yang ada.

Membuka jalan bagi penemuan yang dipimpin LLM untuk sains dan seterusnya

• Jika halusinasi LLM dapat dicegah, kekuatan model ini dapat dimanfaatkan bukan hanya untuk menghasilkan penemuan matematis baru, tetapi juga untuk mengungkap solusi berdampak bagi masalah dunia nyata yang penting.
• Diperkirakan bahwa penggunaan pendekatan yang dipimpin LLM untuk menghasilkan algoritme yang efektif dan disesuaikan akan menjadi praktik umum untuk banyak masalah sains dan industri.

Opini GN⁺

• FunSearch menunjukkan kemungkinan baru bagi kecerdasan buatan dalam pemecahan masalah matematika. Secara khusus, dengan menghadirkan solusi baru untuk masalah yang lama belum terpecahkan seperti masalah cap set, peran AI di bidang matematika diperkirakan akan menjadi semakin penting.
• Dengan diterapkannya teknologi ini pada masalah industri nyata, misalnya peningkatan efisiensi pusat data, hal ini menunjukkan bahwa AI juga dapat berkontribusi pada pemecahan masalah praktis.
• Program yang dihasilkan FunSearch dapat ditafsirkan oleh manusia, yang akan membantu para peneliti memperoleh wawasan lebih mendalam dan bekerja sama dengan AI untuk menyelesaikan masalah.

[GN⁺]

Komentar Hacker News

• Pertanyaan tentang kebutuhan LLM:

  • Tujuan LLM tampaknya adalah menghasilkan fungsi Python yang sesuai dengan type signature yang diberikan.
  • Bahkan tanpa LLM, seharusnya dimungkinkan untuk menghasilkan fungsi Python acak yang benar dan sesuai dengan type signature yang diberikan.
  • Mengusulkan bahwa bahasa yang lebih terbatas bisa lebih efisien, dengan memberi contoh bahasa seperti PushGP.
  • Mengajukan pertanyaan apakah LLM benar-benar menambah nilai, apakah kompetitif dibandingkan teknik genetic programming lainnya, dan apakah ada perbedaan biaya komputasi dibandingkan pendekatan tradisional.

• Konteks penting tentang penemuan dalam kombinatorika:

  • Ditemukan bahwa suatu bilangan kombinatorik tertentu berada dalam rentang yang lebih sempit daripada yang diketahui sebelumnya.
  • Penemuan ini dicapai bukan melalui pembuktian matematis yang berpusat pada logika, melainkan dengan cara menemukan sekuens angka yang memiliki sifat khusus.
  • Metode yang menggunakan algoritma genetik dan LLM bisa jadi menarik dan bermanfaat.

• Komentar terkait "self-play":

  • FunSearch menggunakan metode evolusioner berbasis LLM untuk mengembangkan ide dengan skor tertinggi.
  • Pengguna mendeskripsikan masalah dalam bentuk kode, lalu membuat kumpulan program yang akan digunakan untuk mengevaluasi dan menginisialisasi program.
  • Pada setiap iterasi, FunSearch memilih beberapa program dari kumpulan saat ini, lalu LLM menghasilkan program baru berdasarkan program tersebut dan mengevaluasinya secara otomatis. Program terbaik ditambahkan kembali ke kumpulan yang ada sehingga menciptakan loop perbaikan diri.

• Pengalaman pribadi dalam penggunaan pencarian web:

  • Menggunakan pplx.ai dan phind.com untuk mengajukan pertanyaan dan menemukan tautan web.
  • Menyempurnakan pertanyaan atau mengajukan pertanyaan lanjutan untuk menemukan referensi lain atau yang lebih mendalam.
  • Konten dari Tech Twitter juga bermanfaat, dan ada harapan untuk menggunakan Grok dalam riset.

• Unggahan Twitter tentang penemuan DeepMind:

  • Jika jaringan saraf benar-benar dapat menghasilkan pengetahuan baru, ini akan menjadi penemuan terpenting sejak ditemukannya api.
  • Mempertanyakan apakah, jika penemuan seperti itu benar, semua orang seharusnya membicarakannya.
  • Menyatakan kesan mendalam terhadap apa yang dicapai di Palm 2, serta ekspektasi terhadap kemungkinan ketika model-model mendatang memanfaatkan metode ini.

• Ringkasan unggahan Twitter:

  • Kemampuan AI terus meningkat, dan produktivitas pribadi meningkat 20-30% melalui AI autocomplete, refactoring, serta pembuatan diff untuk code review.
  • Dengan menggunakan model AI untuk menghubungkan sebagian alur bisnis, "meningkatkan" sistem menjadi sesederhana mengganti model.
  • Ada ekspektasi bahwa selama beberapa tahun setelah integrasi awal, semuanya akan membaik secara ajaib.

• Ringkasan tentang pembuatan program:

  • Dengan template/kerangka program dan fitness function yang diberikan, sebuah populasi program dibuat menggunakan LLM.
  • Menggunakan prompt untuk menghasilkan program baru, lalu menjalankan program terhadap input dan memberi skor dengan fitness function.
  • Menggunakan island model untuk evolusi, dan jumlah panggilan LLM relatif rendah, sekitar 1e6.
  • Ada pertimbangan tentang trade-off antara kedalaman dan keluasan dalam evaluasi/pemberian skor program.

• Pendekatan terhadap masalah cap set:

  • Masalah cap set adalah mencari himpunan titik terbesar di grid berdimensi tinggi yang tidak memiliki tiga titik segaris.
  • FunSearch menghasilkan solusi dalam bentuk program yang menemukan cap set maksimum untuk masalah ini.
  • Ini menunjukkan peningkatan terbesar dalam ukuran cap set selama 20 tahun terakhir.

• Mengungkapkan rasa ingin tahu tentang kemungkinan integrasi antara LLM dan penalaran simbolik.

• Terlepas dari apakah benar-benar menghasilkan pengetahuan baru, ini menarik sebagai studi kasus ketika mempertimbangkan pembatasan akses AI berdasarkan ukuran model AI atau langkah regulasi lainnya.

• Terkait teorema aproksimasi universal, disebutkan bahwa fungsi dapat diaproksimasi secara tepat dengan jaringan saraf tiruan yang menggunakan ReLU.

  • Pendekatan ini serupa, tetapi pada akhirnya menghasilkan kode.