- Agen Autoresearch yang diumumkan 3 hari lalu secara otonom mencoba sekitar 700 perubahan selama kurang lebih 2 hari pada model berbasis depth=12, dan menemukan sekitar 20 perubahan valid yang meningkatkan validation loss
- Semua perubahan yang ditemukan bersifat additive dan dapat ditransfer apa adanya ke model yang lebih besar dengan depth=24, sehingga "Time to GPT-2" di leaderboard berkurang dari 2,02 jam menjadi 1,80 jam, sekitar 11% lebih singkat
- Selama ini, proses optimisasi manual yang berulang seperti menghasilkan ide → implementasi → memeriksa validation loss → merujuk paper, telah dilakukan selama 20 tahun
- Kali ini, agen menjalankan seluruh workflow end-to-end: menganalisis urutan hasil eksperimen dan berdasarkan itu merencanakan eksperimen berikutnya secara otonom
- Hasil "round 1" sudah di-commit, dan "round 2" akan segera dimulai; untuk pemrosesan paralel, pendekatan collaboration antar banyak agen juga sedang diteliti bersamaan (AgentHub)
- Memang belum sampai tingkat ground-breaking research, tetapi akumulasi peningkatan nyata yang terlewat dalam tuning manual berhasil menghasilkan peningkatan performa yang substansial
- Jika diterapkan dalam skala besar, ini jauh lebih kompleks daripada sekadar tuning satu
train.py, tetapi pada dasarnya merupakan masalah engineering sehingga dapat diselesaikan
- Dengan agent swarm, tuning dimulai dari model kecil lalu ide yang menjanjikan dinaikkan bertahap ke skala yang lebih besar; ini kemungkinan menjadi arah yang pada akhirnya akan diadopsi semua frontier lab LLM
- Semua metrik yang dapat dievaluasi secara efisien (atau memiliki proxy metric) bisa menjadi target optimisasi otomatis ini
3 komentar
Saya sempat meninjau sekilas konsep Autoresearch dan AgentHub,
lalu terpikir bahwa jika keduanya digabungkan, bukankah itu bisa menjadi bentuk nyata dari dunia akademik dan lembaga riset.
Lembaga riset mempublikasikan hasil penelitian ke konferensi, menerima umpan balik, lalu lembaga riset baru melanjutkan penelitian itu, dan ini terlihat seperti bentuk reinforcement learning yang diperluas.
RL memang sulit dijelaskan, tetapi saya merasa benar-benar inovatif bahwa jika diperluas dengan cara seperti ini, apa pun bisa menjadi dapat dijelaskan.
Katanya Karpathy berkontribusi pada perancangan Tesla FSD, jadi saya juga bertanya-tanya apakah ini semacam membawa konsep yang berlanjut dari sana ke ranah riset.
Bagaimanapun, sepertinya dia adalah salah satu orang yang akan terus saya perhatikan.
Benar, jadi kalau dipikir-pikir ini bisa jadi rintangan terakhir sebelum AGI tiba.
Orang ini rasanya menjalani hidup yang berbeda, haha.