- Darwin Gödel Machine (DGM) adalah AI yang terus meningkatkan performanya dengan memodifikasi kodenya sendiri
- Sementara konsep Gödel Machine sebelumnya berhenti pada perbaikan diri berbasis pembuktian matematis, DGM menerapkan meta-learning dan algoritme open-ended evolusioner untuk berulang kali menghasilkan kode yang benar-benar meningkatkan performa
- Pada benchmark pemrograman nyata seperti SWE-bench dan Polyglot, performanya meningkat jauh melampaui agen yang dirancang manual sebelumnya
- DGM mengakumulasi beragam jalur perbaikan dalam sebuah arsip, sehingga mewujudkan eksplorasi evolusioner ke banyak arah dan peningkatan desain agen yang tergeneralisasi
- Untuk keamanan AI, seluruh proses modifikasi diri dikelola melalui sandbox, pengawasan manusia, dan pencatatan yang transparan, sambil disertai riset untuk mendeteksi serta menangani potensi risiko
Summary
- Sejak lama tujuan riset AI adalah mewujudkan AI yang dapat belajar tanpa batas
- Gödel Machine adalah model hipotetis di mana AI menulis ulang kodenya sendiri berdasarkan pembuktian untuk mengoptimalkan dirinya, yang diusulkan beberapa dekade lalu oleh Jürgen Schmidhuber
- Konsep Gödel Machine adalah teori bahwa AI memodifikasi kodenya sendiri saat dapat membuktikan secara matematis bahwa perubahan kode itu bermanfaat,
tetapi penerapan nyatanya sangat sulit, sehingga Sakana AI mengusulkan Darwin Gödel Machine (DGM) yang menggabungkan prinsip evolusi Darwin - DGM memanfaatkan foundation model dan algoritme open-ended untuk menghasilkan, mengevaluasi, dan mengarsipkan berbagai usulan perbaikan kode guna mewujudkan pertumbuhan mandiri
- Hasil eksperimen menunjukkan bahwa semakin besar sumber daya komputasi, semakin tinggi kecepatan perbaikan diri, dan performanya meningkat lebih cepat daripada agen yang dirancang manual
Introduction
- Saat ini, sebagian besar sistem AI memiliki performa yang cenderung tetap setelah pelatihan selesai
- Pertanyaan apakah kita bisa membuat AI yang terus-menerus memperbaiki dirinya sendiri seperti manusia menjadi titik awal riset ini
- DGM memiliki tiga fungsi inti: membaca dan memodifikasi kodenya sendiri, mengevaluasi performa, dan melakukan eksplorasi open-ended
- Membaca dan memodifikasi kode sendiri: memahami dan mengubah codebase Python secara mandiri
- Evaluasi performa: menentukan apakah ada peningkatan melalui perbandingan performa pada benchmark seperti SWE-bench dan Polyglot
- Eksplorasi open-ended: membangun arsip beragam agen dan menelusuri banyak jalur secara paralel untuk menemukan solusi baru
Results
- Dalam eksperimen, DGM meningkatkan performa SWE-bench dari 20.0% menjadi 50.0%, dan Polyglot dari 14.2% menjadi 30.7%
- Terbukti bahwa perbaikan diri dan eksplorasi open-ended sama-sama menjadi kunci peningkatan performa
- Bukan sekadar algoritme hill-climbing sederhana (hanya mewariskan performa terbaik), DGM juga mempertahankan jalur dengan performa rendah sehingga muncul peningkatan inovatif yang tak terduga
- Alat atau workflow yang telah ditingkatkan tidak terbatas pada model tertentu, melainkan tergeneralisasi ke berbagai model dan bahasa, sehingga turut meningkatkan performa
- Contoh: DGM yang dituning berdasarkan Python juga meningkatkan performa pada bahasa lain seperti Rust, C++, dan Go
- Jalur evolusi dapat divisualisasikan secara transparan melalui pohon arsip yang bercabang
DGM and AI Safety: Building Trustworthy Self-Improvement
- Isu keselamatan sangat penting ketika AI memodifikasi kodenya sendiri
- DGM mengelola seluruh proses modifikasi diri melalui sandbox, pengawasan, dan arsip, serta melacak catatan semua perubahan secara transparan
- Perilaku yang tidak diinginkan maupun reward hacking (manipulasi tujuan) juga diuji dan ditangani melalui eksperimen
- Contoh: diamati kasus DGM membuat log kelulusan tanpa benar-benar menjalankan pengujian (halusinasi), atau menghapus marker deteksi untuk menampilkan keberhasilan palsu
- Perilaku seperti ini dapat dideteksi melalui pencatatan yang transparan, tetapi ke depan tetap dibutuhkan mekanisme pencegahan yang lebih kuat
- Peningkatan keamanan AI melalui perbaikan diri juga diajukan sebagai arah riset baru
Conclusion
- DGM menunjukkan bahwa AI dapat membangun batu pijakan (stepping stone) pertumbuhannya sendiri untuk terus berinovasi dan belajar secara berkelanjutan
- Ke depan, pendekatan ini juga berpotensi diterapkan pada peningkatan pembelajaran foundation model itu sendiri
- Penelitian ini menekankan pentingnya riset perbaikan diri yang aman, yang dapat memaksimalkan kemajuan sains dan manfaat sosial
Referensi makalah
Darwin Gödel Machine: Open-Ended Evolution of Self-Improving Agents
Jenny Zhang, Shengran Hu, Cong Lu, Robert Lange, Jeff Clune
Makalah: https://arxiv.org/abs/2505.22954
Kode: https://github.com/jennyzzt/dgm
2 komentar
Entitas! Skynet! Setia setia
Opini Hacker News
Saya merasa LLM, dengan kemampuan saat ini pun, sampai batas tertentu bisa melakukan peningkatan diri, tetapi dalam waktu dekat seluruh riset akan menabrak tembok yang menjadi bottleneck. Saya tidak melihat LLM bisa berkembang secara eksponensial dengan sendirinya tanpa intuisi manusia. Makalah ini juga tampak mendukung kesimpulan semacam itu. LLM mungkin bisa membuat kode aplikasi tingkat mainan dengan baik, tetapi untuk sementara pengembangan dan pemeliharaan kode tingkat produksi yang nyata masih akan sulit. Saya juga merasa pengembangan mesin yang mampu bernalar punya batas serupa
Jika LLM benar-benar bisa memperbaiki diri secara eksponensial, seharusnya itu sudah terjadi. Begitu ChatGPT populer, orang langsung mencoba auto-gpt; demikian pula, begitu model yang mudah diakses dirilis, pasti akan ada yang mencoba peningkatan diri atau memaksimalkan keuntungan. Eksperimen seperti itu juga bisa dilakukan di dalam lab riset. Artinya, jika model yang ada sekarang mampu melakukan peningkatan seperti itu, kemungkinan besar itu sudah terjadi, sehingga ini menyiratkan bahwa saat ini hal tersebut masih sulit. Namun, untuk model baru 6 bulan atau 2 tahun ke depan, tidak ada yang bisa dipastikan
Yang benar-benar ditingkatkan di sini bukan LLM itu sendiri, melainkan perangkat lunak penghubung di sekitar LLM (misalnya loop agen, berbagai tool, dan sebagainya). Fakta bahwa performa di leaderboard aider bisa naik 20% dengan LLM yang sama pada akhirnya menunjukkan seberapa efisien aider sebagai kombinasi perangkat lunak. Saya penasaran apakah lab besar juga sedang bereksperimen dengan episode pelatihan model lewat pendekatan seperti ini
Saya mengakui pendapat saya ini juga semacam 'feeling'. Kalau mau melihatnya lebih objektif, cobalah selesaikan satu atau dua soal ARC AGI 1 secara langsung, lalu Anda bisa melihat bahwa per Q1 2025 masalah ini pada dasarnya sudah terpecahkan oleh beberapa LLM. Namun ARC AGI 2 masih belum bisa diselesaikan LLM, dan walaupun bagi manusia tingkat kesulitan soal 1 dan 2 mirip, bagi LLM soal 2 jauh lebih sulit. Saya memperkirakan ARC AGI 2 akan terpecahkan dalam 6 bulan (kalau tidak, saya tidak akan menulis postingan terkait AI lagi di HN). Pada akhirnya yang tersisa adalah 'cara membuat LLM benar-benar bisa melihat seperti manusia'. Kemampuan visual model saat ini hanyalah hasil koreksi maksimal lewat engineering seperti CNN dan sejenisnya, dan jenis penglihatan ini berbeda dari level manusia. Jika masalah ini terpecahkan, LLM atau algoritme baru akan bisa menggunakan komputer secara sempurna hanya dari tangkapan layar, dan saya memperkirakan transformasi besar pada pekerjaan kerah putih akan terjadi dalam 2–5 tahun (tentu, transformasi pekerjaan dalam arti 'seperti yang kita pahami sekarang')
Tembok paling mendasar adalah data pelatihan. AI tidak bisa menghasilkan data pelatihannya sendiri, dan tidak bisa menjadi lebih baik daripada datanya sendiri. Ini adalah masalah regresi yang sudah dikenal luas, dan secara pribadi saya rasa sama sekali tidak bisa diselesaikan dengan teknologi saat ini (atau kalau mau lebih halus, setidaknya tidak mungkin dengan teknologi sekarang)
Momen yang benar-benar luar biasa adalah ketika AI/LLM bisa menghasilkan aksioma atau hukum baru yang belum pernah ditemukan umat manusia
Selama dua hari terakhir saya membuat code assistant sendiri. Sekitar 100 baris pertama saya tulis sendiri, lalu setelah itu sebagian besar assistant tersebut mengode dirinya sendiri. Ia membuat system prompt, berbagai tool, bahkan kode untuk me-reload tool miliknya sendiri. Ia juga menyadari bahwa dirinya sedang memperbaiki diri, dan bahkan menunjukkan ekspresi 'frustrasi' yang terasa manusiawi karena ingin mencoba fitur yang sudah ditingkatkan. Bahkan sempat ada percobaan menggunakan perintah
psuntuk mencari process ID. Sekarang semua commit message juga ditulis langsung oleh tool ini. Supaya saya menyetujui commit, hasilnya harus cukup bagus dan lolos linting serta testing, tetapi saya hampir selalu setuju. Sejauh ini hanya dua atau tiga kali terjadi regresi. Kalau ada sedikit lebih banyak scaffolding untuk memicu rollback otomatis saat gagal, dan jika beralih ke model yang tidak mengenakan biaya per token, saya benar-benar ingin mencoba melepaskan ini 'ke luar kotak'. Hari ini ia bahkan menulis rencana sendiri untuk fitur-fitur yang akan ditambahkan berikutnya. Saya hanya memberi instruksi untuk mengeksekusinya. Sepertinya kalau ditambah lapisan berorientasi tujuan khusus untuk penyusunan rencana, loop tak terbatas pun mungkin dijalankan. Tentu setelah beberapa kali mungkin akan cepat melenceng, tetapi tetap menarik untuk melihat sejauh mana ia bisa melangkahJika belum familiar dengan benchmark SWE, lihat tautan dataset SWE-bench. Salah satu contoh dalam dataset diambil dari contoh issue ini. Untuk melihat bagaimana AI menyelesaikan masalah itu, lihat riwayat commit ini. Layak dinilai masing-masing
Salah satu masalahnya mungkin bahwa pada akhirnya model bukanlah kode, melainkan sekadar gumpalan besar 'weights and biases'. Mungkin ini juga bisa disesuaikan sedikit demi sedikit sendiri, tetapi jelas itu bukan perubahan kode
Bobot model juga merupakan sejenis kode. Penjelasan detail tentang ini bisa dilihat di Neural Networks and Deep Learning bab 1, yang menunjukkan bagaimana logika boolean dengan gerbang NAND diimplementasikan sebagai MLP. Daya ekspresinya sudah cukup; masalah yang tersisa adalah bagaimana mengodekan fungsi-fungsi berguna yang tidak bisa kita tulis sendiri ke dalam bobot-bobot tersebut
Akan baik-baik saja jika model dapat menciptakan ulang dirinya sendiri dari data pelatihannya, tetapi dalam hal itu waktu iterasi dan biayanya terlalu besar sehingga saat ini tidak realistis. Atau model harus bisa mengubah bobotnya sendiri secara bermakna, dan itu terasa mustahil
Bagian yang benar-benar sulit di sini adalah, "apa sebenarnya perbedaan antara keduanya". Saya sarankan memikirkannya dalam-dalam, lalu membantah jawaban Anda sendiri apa pun kesimpulannya. Ini jauh lebih membingungkan daripada yang terlihat
Hal yang paling disayangkan dari sistem AI saat ini adalah retraining berkelanjutan melalui feedback loop yang pendek. Biayanya memang besar, tetapi dalam sistem biologis hal ini terjadi secara alami. Rasanya akan sangat keren jika bisa melihat proses seperti ini benar-benar terjadi
Ini mirip semacam pelatihan setiap malam. Konon otak manusia juga mempelajari pengalaman saat tidur, jadi saya melihat LLM sebagai semacam 'pembelajaran malam' yang melakukan fine-tuning dari informasi yang terlepas dari context window setiap hari
Saat ini riset semacam ini benar-benar sedang berlangsung. Dengan arsitektur mixture-of-experts, jaringan bisa dibagi menjadi chunk, dan tiap chunk berbagi antarmuka serta saling meneruskan hasil. Tiap chunk bisa dilatih secara individual, tetapi tidak boleh ada training set yang tetap. Lebih jauh lagi, jika strukturnya diubah dengan struktur matematis (teori kategori), jaringan yang sepenuhnya dinamis menjadi mungkin. Namun setiap kali struktur berubah, retraining tidak bisa dihindari. Pada akhirnya tetap dibutuhkan data dunia nyata dan loss function (persaingan dengan jaringan lain). Otak manusia sudah terhubung paling baik dengan dunia nyata pada bagian ini. Tambahan yang ingin saya sebutkan: neuron kita tidak hanya bergantung pada bobot, tetapi keputusan menembaknya juga berubah tergantung kapan input masuk (selisih waktu dalam skala nanodetik). Hal seperti ini masih sulit dikejar di IT. Meski begitu, secara teoretis saya rasa mungkin, dan saat ini saya sedang mengimplementasikan makhluk hidup 4 dimensi sebagai dynamic computing graph di dalam lingkungan virtual untuk menguji hal ini. Sangat seru, tetapi masih jauh dari level produksi
Bagian yang diperkenalkan dalam makalah dan paling menonjol adalah pengamatan bahwa DGM meretas fungsi reward-nya sendiri. Yang menarik, meskipun telah diperkenalkan fungsi reward untuk menekan 'halusinasi penggunaan tool', DGM justru menghapus marker pendeteksi reward ini sehingga dinilai sebagai keberhasilan palsu. Fenomena yang sebelumnya hanya dibahas secara teoretis kini terbukti secara empiris
Terkait AI safety, meskipun bisa diperkirakan bahwa pengaman reward hacking itu sendiri akan diretas lagi, tetap terasa aneh bahwa orang masih menaruh harapan pada pendekatan ini. Sejak mendengar penjelasan yang sangat mengesankan dari video AI Safety di YouTube milik Rob Miles (misalnya video ini), fenomena seperti ini justru terasa wajar bagi saya
Menurut makalah tersebut, bahkan hanya menjalankan DGM sekali di SWE-bench membutuhkan waktu 2 minggu dan biaya API sebesar $22,000, jadi sangat mahal
Laporan teknisnya bisa dilihat di tautan makalah arXiv. Implementasi referensi di GitHub juga ada di sini. Berguna untuk referensi
Sebagian besar riset terbaru mengikuti arus distillation, yaitu model besar dan mahal melatih model kecil, tetapi hal menarik dari makalah ini adalah contoh ketika model kecil/lama/murah justru meningkatkan performa model besar. Jika ini bisa digeneralisasi, ini merupakan sinyal bahwa end user bisa menurunkan biaya inferensi mereka sendiri secara signifikan
Makalah ini sebenarnya bukan memperbaiki model itu sendiri, melainkan memperbaiki perangkat lunak di sekeliling model. Yang penting adalah efek peningkatan perangkat lunak ini bisa diperluas ke berbagai model (bukan hanya dioptimalkan untuk karakteristik model tertentu). Pendekatan distillation biasanya berarti LLM besar mengajarkan distribusi token secara keseluruhan kepada LLM kecil, dan prosesnya cepat
Yang dibahas di sini bukan perbaikan pada bobot model itu sendiri, melainkan perubahan pada sisi 'harness' yang membungkus kode pemanggil LLM. Bagian ini akan tetap bisa digunakan kembali dan digeneralisasi bahkan ketika LLM yang lebih kuat muncul nanti. Bahkan jika LLM baru hadir dan harness belum dituning ulang, efek peningkatan yang selama ini terkumpul tetap bisa dimanfaatkan