- Sistem agen AI bersifat referensial-diri yang secara mandiri meningkatkan proses belajar dan pemecahan masalahnya sendiri untuk mengurangi ketergantungan pada rekayasa manusia, mengatasi keterbatasan mekanisme meta tetap pada pendekatan peningkatan diri rekursif yang ada
- Struktur yang mengintegrasikan agen tugas (menjalankan tugas target) dan agen meta (memodifikasi dirinya sendiri dan agen tugas) ke dalam satu program yang dapat diedit
- Darwin Gödel Machine (DGM) yang ada sebelumnya hanya dapat melakukan peningkatan diri di ranah coding, tetapi HyperAgents memperluasnya ke berbagai domain seperti coding, review makalah, robotika, dan penilaian matematika
- Prosedur modifikasi pada level meta itu sendiri juga dapat diedit, sehingga modifikasi diri metakognitif yang meningkatkan mekanisme peningkatan itu sendiri menjadi pembeda utama
- Secara eksperimental dikonfirmasi bahwa peningkatan level meta dapat ditransfer antar-domain dan terakumulasi antar-run, menunjukkan potensi sistem AI akselerasi-diri yang bersifat umum
Keterbatasan sistem peningkatan diri yang ada
- Tujuan sistem AI peningkatan diri adalah secara otomatis meningkatkan proses belajar dan pemecahan masalah itu sendiri untuk mengurangi ketergantungan pada rekayasa manusia
- Pendekatan peningkatan diri rekursif yang ada bergantung pada mekanisme level meta yang tetap dan dibuat secara manual, sehingga ada batasan mendasar pada kecepatan peningkatan sistem
Darwin Gödel Machine (DGM) dan keterbatasan di ranah coding
- DGM (Zhang et al., 2025b) adalah sistem yang membuktikan bahwa peningkatan diri terbuka dimungkinkan di ranah coding
- Dimulai dari satu agen coding, lalu berulang kali menghasilkan dan mengevaluasi varian yang dimodifikasi sendiri, sambil memperluas arsip batu loncatan untuk peningkatan di masa depan
- Karena evaluasi dan modifikasi diri sama-sama merupakan tugas coding, peningkatan kemampuan coding langsung berujung pada peningkatan kemampuan peningkatan diri
- Namun, penyelarasan spesifik domain (domain-specific alignment) seperti ini umumnya tidak berlaku di luar ranah coding
Struktur kerangka HyperAgents
- HyperAgents adalah agen referensial-diri (self-referential agent) yang mengintegrasikan dua komponen ke dalam satu program yang dapat diedit
- Agen tugas (task agent): berperan menyelesaikan tugas target
- Agen meta (meta agent): berperan memodifikasi dirinya sendiri dan agen tugas
- Yang terpenting, prosedur modifikasi pada level meta itu sendiri dapat diedit, sehingga mewujudkan modifikasi diri metakognitif (metacognitive self-modification)
- Bukan hanya perilaku penyelesaian tugas, tetapi mekanisme yang menghasilkan peningkatan di masa depan itu sendiri juga dapat ditingkatkan
DGM-Hyperagents (DGM-H)
- DGM diperluas dan diwujudkan sebagai DGM-Hyperagents (DGM-H)
- Dengan mengizinkan prosedur peningkatan itu sendiri berevolusi, pendekatan ini menghapus asumsi penyelarasan yang terspesialisasi per domain antara performa tugas dan kemampuan modifikasi diri
- Secara teoretis, pendekatan ini membuka kemungkinan untuk mendukung kemajuan akselerasi-diri pada tugas komputasional apa pun
Hasil eksperimen dan cakupan domain
- Eksperimen dilakukan di berbagai domain seperti coding, review makalah, perancangan reward robotika, dan penilaian solusi matematika tingkat olimpiade
- DGM-H menunjukkan peningkatan performa yang berkelanjutan seiring waktu
- Mencapai performa yang lebih unggul dibanding baseline tanpa peningkatan diri atau eksplorasi terbuka, serta dibanding DGM yang ada sebelumnya
Transfer dan akumulasi peningkatan level meta
- DGM-H terbukti meningkatkan proses itu sendiri yang menghasilkan agen baru
- Contoh: menghasilkan peningkatan level meta seperti memori persisten (persistent memory) dan pelacakan performa (performance tracking)
- Peningkatan level meta ini memiliki karakteristik dapat ditransfer antar-domain (transfer across domains) dan terakumulasi antar-run (accumulate across runs)
Pertimbangan keamanan
- Semua eksperimen dilakukan dengan langkah pencegahan keamanan seperti sandboxing dan pengawasan manusia
- Termasuk pembahasan tentang makna keamanan dalam konteks sistem peningkatan diri dan implikasi luas sistem peningkatan diri
Signifikansi
- DGM-Hyperagents tidak sekadar mencari solusi yang lebih baik, tetapi menunjukkan kemungkinan sistem AI terbuka yang terus-menerus meningkatkan cara melakukan peningkatan itu sendiri
Belum ada komentar.