10 Kemajuan dalam Matematika dan Ilmu Komputer Teoretis

• Versi internal Astra, model besar berikutnya dari OpenAI, menghasilkan hasil baru pada 10 masalah terbuka yang setidaknya selama 10 tahun tidak mengalami kemajuan inti, mencakup bidang luas dari geometri dimensi tinggi hingga kompleksitas kuantum dan kriptografi lattice
• Dalam pencarian solusi, digunakan token senilai sekitar 2.000 dolar AS berdasarkan tarif Sol API; setelah manusia menyiapkan makalah menggunakan model yang sama, model tersebut memformalkan tiap argumen sebagai sertifikat Lean
• Capaian utamanya mencakup pembuktian keberadaan grup non-sofic, sanggahan terhadap konjektur kekakuan Connes, batas bawah formula aritmetika n⁴/log n untuk komputasi permanen, serta teorema repetisi paralel eksponensial untuk game kuantum dua pemain umum
• Memperbaiki batas untuk sphere packing serta kode biner dan sferis, menyelesaikan kesulitan aproksimasi faktor polinomial pada Closest Vector Problem dan konjektur volume Ehrhart, serta menjawab Masalah Erdős 146, 180, dan 183
• OpenAI menyatakan bahwa meski manusia bertanggung jawab atas persiapan makalah, formalisasi Lean, dan ketepatan, argumen matematisnya dihasilkan oleh AI, sehingga tidak boleh ditandai sebagai karya manusia dan harus secara jujur mengatribusikan kontribusi AI

---

10 hasil yang dihasilkan Astra

• Untuk mempercepat penemuan oleh ilmuwan dan matematikawan, OpenAI menyediakan model ChatGPT terbaiknya secara gratis kepada 100.000 orang melalui ChatGPT for Academic Researchers, dan selama proses pengembangan terus mengevaluasi model dengan masalah riset terbuka
• Pada Mei, OpenAI memublikasikan sanggahan yang dihasilkan AI terhadap konjektur jarak satuan Erdős yang ditemukan saat mengevaluasi model yang belum dirilis, yang kemudian berlanjut menjadi riset lanjutan dalam matematika dan ilmu komputer teoretis
• Masalah-masalah yang dipilih tidak mengalami kemajuan pada hasil inti selama setidaknya 10 tahun, dan kebanyakan jauh lebih lama dari itu, serta telah mendapat perhatian besar dari komunitas matematika di masing-masing bidang
• Versi internal Astra menemukan solusi, dengan total biaya eksplorasi sekitar 2.000 dolar AS berdasarkan tarif Sol API
  • Manusia menggunakan model yang sama untuk menyiapkan argumen menjadi makalah
  • Model memformalkan tiap argumen sebagai sertifikat Lean
  • Penjelasan proses penalaran model untuk tiap solusi juga dipublikasikan
• Sepuluh hasil tersebut adalah sebagai berikut
  1. Sphere packing dimensi tinggi: menurunkan batas atas baru kepadatan sphere packing hingga titik kritis Cohn–Elkies
  2. Kode biner dan sferis: memperbaiki secara eksponensial batas ukuran maksimum kode biner pada jarak minimum tertentu, dan memperoleh hasil serupa untuk kode sferis dimensi tinggi
  3. Grup non-sofic: menyelesaikan masalah terbuka sentral dalam teori grup dengan mengajukan konstruksi yang menetapkan keberadaan grup non-sofic
  4. Konjektur kekakuan Connes: menyanggah konjektur lama bahwa grup tertentu ditentukan secara unik oleh aljabar von Neumann
  5. Kompleksitas sirkuit aritmetika: memperoleh batas bawah baru saat menghitung permanen dengan sirkuit dan formula aritmetika; batas bawah formula aritmetikanya berorde n⁴/log n
  6. Repetisi paralel kuantum: membuktikan teorema repetisi paralel eksponensial untuk game kuantum dua pemain umum, memperluas prinsip dasar teori kompleksitas klasik
  7. Closest Vector Problem: menetapkan kesulitan aproksimasi faktor polinomial pada masalah lattice inti yang terkait dengan kriptografi pascakuantum
  8. Konjektur volume Ehrhart: menentukan volume maksimum yang mungkin dari benda konveks yang hanya memiliki pusat massa sebagai titik lattice interior, di semua dimensi
  9. Bilangan Ramsey multiwarna: memperoleh batas bawah super-eksponensial untuk bilangan Ramsey segitiga multiwarna, menyelesaikan Masalah Erdős 183
  10. Konjektur teori graf ekstremal: menyelesaikan Masalah Erdős 146 dan 180 melalui hasil terkait konjektur kekompakan dan degenerasi
• Riset yang muncul setelah sanggahan terhadap konjektur jarak satuan sebelumnya mencakup kontra-contoh terhadap konjektur sum-product pada bilangan real, bilangan prima terdekomposisi dan masalah Elekes–Rónyai, kebutuhan waktu kuadratik untuk pasangan terjauh dimensi superkonstan di bawah SETH, kompleksitas komunikasi insidensi titik-garis di atas bilangan real, dan jarak berulang pada lattice Minkowski

Atribusi riset dan peran komunitas matematika

• Kemunculan sistem AI yang dapat berkontribusi pada riset matematika menimbulkan persoalan yang sulit dijawab oleh satu perusahaan teknologi saja; OpenAI menghormati pandangan yang mengkhawatirkan dampak AI, termasuk para penanda tangan Deklarasi Leiden tentang AI dan Matematika
• Cara hasil dibuat harus tercermin secara jujur dalam penandaan penulis dan atribusi kontribusi
  • Menandai pembuktian yang sepenuhnya dihasilkan AI sebagai karya manusia akan mendistorsi baik kontribusi sistem maupun pekerjaan intelektual nyata manusia
  • Manusia membantu persiapan makalah dan formalisasi Lean serta bertanggung jawab atas ketepatan, tetapi argumen matematis itu sendiri dihasilkan oleh sistem AI
• OpenAI berharap komunitas matematika meninjau hasil-hasil ini dan memberi konteks, lalu mengembangkan ide-idenya menjadi riset dan penemuan baru
• Seiring AI berkembang menjadi kolaborator riset yang lebih canggih, aksesibilitas yang luas menjadi penting agar ilmuwan dan matematikawan dapat menjelajahi dan mendefinisikan masa depan bidang masing-masing

[GN⁺]

Komentar Hacker News

• Keluhan terbesar adalah kurangnya transparansi atas keseluruhan eksperimen dan konfigurasinya. Sulit dipercaya bahwa model hanya diminta menyelesaikan 10 soal ini masing-masing satu kali, jadi angka 2.000 dolar yang disajikan tanpa membuka desain eksperimen lengkap bisa menimbulkan salah paham seperti p-hacking.
  Saya ingin tahu jumlah total soal yang diberikan ke model, persentase dan biaya soal yang gagal diselesaikan sebelum menyerah, jumlah percobaan per soal, serta biaya lingkungan eksekusi termasuk apakah ada akses ke klaster komputasi.

  • Saya ingat bahkan sebelum demam AI, dalam pendidikan matematika sudah ada pembahasan bahwa bukan hanya soal dan jawabannya, tetapi juga scaffolding di sekitarnya yang membantu menemukan jawaban, itu penting.
  • Biaya justru tampaknya bukan kritik yang tepat di sini. Kalaupun mereka menghabiskan 1 juta dolar untuk 10 soal, itu kira-kira biaya satu tahun untuk 10–20 peneliti matematika, dan masih patut dipertanyakan apakah hasil yang sama bisa diperoleh jika uang sebesar itu dibayarkan kepada manusia.
  • Saya juga penasaran apakah peneliti yang tidak terkait dengan OpenAI atau pengembang LLM lain pernah mencapai hasil serupa.
    Perlu juga dipastikan kemungkinan bahwa OpenAI mempekerjakan peneliti kombinatorika yang kompeten untuk memecahkan soal, sementara model hanya dipakai secara sampingan.
  • Sikap yang tidak mau menerima apa pun tanpa randomized controlled trial (RCT) wajib untuk semua hal juga berlebihan. Bukan bermaksud menyindir, tetapi skeptisisme diri yang memadai seharusnya tetap mungkin tanpa harus mementaskan RCT.
  • Membandingkan tidak dibukanya total biaya eksekusi dengan p-hacking itu tidak adil. Kelalaian melaporkan harga sama sekali berbeda dari kecurangan ilmiah atau manipulasi hasil.

• Yang lebih mengejutkan adalah tulisan ini bahkan tidak naik ke posisi teratas halaman depan HN. Meski hasilnya merupakan kemajuan dibanding sebelumnya, ini menunjukkan bahwa kita kini tidak lagi terlalu terkejut oleh gagasan bahwa AI membuat kemajuan penting dalam matematika dan ilmu komputer.

  • Orang-orang yang secara psikologis tidak bisa menerima kemajuan AI melaporkannya secara aktif sehingga peringkatnya turun. Hacker News bukan lagi situs para elite.
  • Beberapa teman matematikawan akademis yang merupakan pembaca sasaran mengatakan judulnya terlihat seperti rangkuman capaian bulan lalu, bukan 10 capaian baru, sehingga mereka melewatkannya.
  • Kubu-kubu terbelah sangat tajam karena kepentingan masing-masing perusahaan dan faktor seperti apakah open source atau tidak.
  • Kalau begitu, saya penasaran bagaimana dengan riset AI itu sendiri. Perlu juga ditanyakan apakah OpenAI sudah dekat ke tahap mengotomatisasi karyawan manusianya dan menghapus pekerjaan mereka.
  • Jujur saja, saya agak lelah dengan tulisan semacam ini.

• Pengaruh AI kini sulit disangkal, dan hampir tidak ada lagi tempat tersisa untuk memindahkan tiang gawang. Berikutnya mungkin harus dipindahkan ke luar stadion.
  Semakin cepat orang keluar dari penyangkalan dan mulai menanganinya secara serius, semakin baik.

  • Saya sulit memahami kritik bahwa orang memindahkan tiang gawang. Sains adalah proses maju, belajar, dan menyesuaikan ulang ekspektasi; jika tujuan sama sekali tidak diubah, yang terjadi hanya pengulangan capaian yang sama.
  • Masalahnya bukan penyangkalan, melainkan ketidakpedulian. Mayoritas orang tidak peduli, tetapi bisa menceritakan segalanya tentang Kim Kardashian.

• Saya bukan pakar di bidang yang diklaim OpenAI mengalami kemajuan, jadi saya tidak ingin gegabah meremehkan capaiannya, tetapi saya khawatir bahasa di blog itu dilebih-lebihkan untuk tujuan pemasaran.
  Memang benar sebelumnya tidak ada pendekatan komputasional yang stabil untuk menyelesaikan soal-soal ini, tetapi inti persoalannya adalah apakah pembuktian kali ini menambahkan gagasan baru ke matematika, atau hanya melakukan pencarian skala besar atas kombinasi alat yang tepat dari literatur yang sudah ada.
  Saya ingin tahu apakah soal-soal ini sejak awal jawabannya intuitif dan pembuktiannya tampak mungkin, tetapi nilainya tidak cukup tinggi untuk membuat para pakar meluangkan waktu; atau apakah memang sulit secara hakiki dan AI melakukan lebih dari sekadar memasukkan ke mesin pemecahan raksasa.

  • Dalam catatan sitasi, riset terobosan bisa didefinisikan sebagai riset yang banyak dikutip sekaligus menghubungkan silsilah sitasi yang sebelumnya tidak muncul bersama. Sebaliknya, riset inkremental biasa mengombinasikan sitasi-sitasi lama yang memang sudah berdekatan.
    Dengan kata lain, inovasi dapat diukur cukup konkret sebagai sejauh mana ia menghubungkan pemikiran dan bidang yang sebelumnya tidak tersambung. Puja Ohlhaver pernah mempresentasikan hal ini, dan saya juga menjalankan eksperimen yang saya dukung: https://www.youtube.com/watch?v=guLDNMAOn24
  • Masalah CVP dan kompleksitas sirkuit dalam ilmu komputer adalah persoalan yang sangat penting dan telah diteliti para peneliti terbaik selama 30–40 tahun, termasuk peraih Turing Award. Jika benar terselesaikan, itu layak mendapat penghargaan makalah terbaik di beberapa konferensi paling bergengsi.
  • Sulit memahami kekhawatiran soal hiperbola pemasaran hanya karena mereka memakai kata advanced. Para peneliti tingkat doktor menghabiskan sebagian besar karier mereka untuk masalah-masalah ini, jadi ungkapannya tepat.

• Salah satu prediksi awal percepatan besar AI adalah bahwa sistem yang memecahkan masalah terbuka dalam matematika tingkat tinggi akan meningkatkan kinerja perangkat lunak secara drastis melalui penemuan baru di matematika dan ilmu komputer.
  Capaian saat ini berada di level matematika garis depan yang, jika dilakukan manusia, kira-kira setara dengan 100–1.000 orang teratas di dunia, sekitar 0,00001% teratas, dan kemajuan besar juga tampak di perangkat lunak, seperti ketika OpenAI memperbaiki masalah kernel GPU dan meningkatkan performa sekitar 15%. Keduanya terhubung lewat hukum penskalaan dan generalisasi kecerdasan, karena model besar memperoleh kemampuan matematika dan rekayasa perangkat lunak yang tidak mungkin pada skala kecil.
  Namun saya kini menilai kemungkinan penemuan matematika/sains secara langsung membuka peningkatan kinerja perangkat lunak lebih rendah daripada sebelumnya. Perusahaan teknologi pun menugaskan doktor matematika ke rekayasa perangkat lunak, bukan matematika murni, dan sering kali alasan mereka unggul adalah kecerdasan umum, bukan temuan akademik terbaru.
  Jadi ini memang bukti bahwa model makin baik, tetapi sulit menyebutnya tepat sebelum percepatan eksplosif (foom) yang dipicu revolusi matematika garis depan.

  • Untuk melihatnya begitu, Anda harus berasumsi bahwa model secara eksplisit overfit hanya pada matematika akademik dan kemampuan itu sama sekali tidak berpindah ke rekayasa perangkat lunak praktis. Saya tidak akan bertaruh ke arah itu.
  • Menyamakan kemajuan matematika baru dengan level 100–1.000 orang teratas dunia tampaknya salah paham tentang apa yang sebenarnya dilakukan matematikawan.

• Kemampuan AI internal yang bahkan namanya tidak diungkap memang mengesankan, tetapi nama kontributor manusia tidak ada satu pun di mana pun. Seseorang setidaknya pasti membuatkan kopi untuk model ini.

  • Disebutkan secara eksplisit bahwa hasilnya dicapai dengan versi internal Astra, model besar berikutnya.

• Saya penasaran berapa total biaya riset ini jika gaji matematikawan dan engineer juga dihitung.

  • Jika bukan berarti manusia harus terus-menerus mendampingi dan merawatnya, tidak ada alasan memasukkan seluruh gaji. Cukup hitung waktu untuk lingkungan eksekusi, pengaturan prompt, dan verifikasi hasil; biaya pelatihan model tersebar juga ke penggunaan lain.
  • Karena OpenAI memberi kompensasi karyawan dengan saham, angkanya tentu sangat besar, tetapi dalam kondisi sekarang ketika infrastruktur dan model terlatih sudah ada, itu bukan angka yang terlalu bermakna. Bahkan tanpa AI berkembang lebih jauh pun, daya rusaknya sudah luar biasa.
  • Biaya untuk menghasilkan pembuktian 10 terobosan tersebut dikatakan kurang dari 2.000 dolar berdasarkan harga Sol API.
    https://x.com/polynoamial/status/2083470822258467194

• Saya penasaran apa yang akan terjadi jika perusahaan seperti OpenAI mulai tidak memublikasikan hasil seperti ini dan sekadar memasukkannya ke data pelatihan.

  • Menyimpan matematika murni sebagai rahasia hampir tidak punya nilai industri, dan bagi perusahaan hanya berguna untuk memamerkan kemampuan model. Secara realistis, mereka justru lebih mungkin menghentikan pendanaan biaya riset.
    Kalaupun maksudnya dipakai secara tertutup untuk meningkatkan model, manfaat tambahan dari beberapa pembuktian yang benar akan kecil, dan pada akhirnya kemungkinan besar akan diekstrak dari model lalu diketahui pihak luar.
  • Karena ini masalah yang belum terselesaikan, jawaban yang sudah ada memang tidak ada, jadi tidak jelas apa yang dimaksud dengan memasukkannya ke pelatihan.

• Tempat seperti OpenAI mungkin bisa membuat pakar memakai token senilai jutaan dolar. Karena mereka tidak menjual seluruh sumber daya komputasi 24 jam sehari, biaya internal pada umumnya mendekati biaya listrik.
  Namun jika sumber daya komputasi tetap tidak sepenuhnya terpakai, muncul pertanyaan apakah banyak pusat data yang akan dibangun ke depan benar-benar diperlukan.

  • Bagi OpenAI, riset adalah pemasaran, jadi mereka pasti mengalokasikan anggaran yang memadai.
  • Dibanding total output, kemungkinan besar ini hanya setara galat pembulatan. Mereka mengamankan sumber daya komputasi untuk riset sambil membatasi penggunaan model publik, dan semakin banyak pusat data, pembatasan itu juga bisa dikurangi.
  • Pelatihan reinforcement learning bisa memakai seluruh sumber daya komputasi, jadi saya tidak tahu atas dasar apa dikatakan tidak diperlukan.
  • Menyimpulkan bahwa pusat data tidak diperlukan hanya karena ada sumber daya komputasi luang untuk memajukan matematika terasa dipaksakan. Justru satu-satunya kesimpulan masuk akal dari kabar ini adalah dibutuhkan lebih banyak pusat data.