Bekas direktur AI OpenAI·Tesla, Andrej Karpathy, baru-baru ini di podcast Dwarkesh Patel, menyampaikan diagnosis realitas yang tegas tentang masa depan AI agent dan timeline AGI. Saat industri meneriakkan “era AI agent”, ia secara jujur membuka mengapa ini harus menjadi “10 tahun agent” dan apa masalah mendasar dari RL saat ini.
Inti poin:
- “Menghisap supervisi dengan sedotan”: kelemahan mematikan di RL – Pendekatan RL saat ini mengevaluasi seluruh proses dengan satu sinyal jawaban benar setelah ratusan percobaan, yang secara fundamental tidak efisien dan sangat bising
- Kemampuan nyata AI coding: yang ditunjukkan proyek nanochat – Dalam proses membangun klon ChatGPT berjumlah 8.000 baris, AI agent sangat lemah dalam menulis kode yang orisinal, dan yang terbaik yang dapat dilakukan hanyalah setingkat auto-completion
- Dilema keruntuhan model: jebakan tersembunyi data sintetis – Semua sampel yang dihasilkannya oleh LLM memiliki distribusi yang “kolaps secara diam-diam,” sehingga ketika meminta ChatGPT membuat lelucon, hanya sekitar 3 yang berulang
Belum ada komentar.