Ilya Sutskever: Kita sedang berpindah dari era scaling ke era riset

• Menunjukkan batas generalisasi model AI dan bias pelatihan yang berpusat pada reinforcement learning (RL), sambil menjelaskan mengapa sistem saat ini secara struktural belum bisa berpikir sefleksibel manusia
• Pre-training dinilai mampu memperoleh pengetahuan alami dari data dalam jumlah sangat besar, tetapi kurang adaptif terhadap lingkungan nyata
• Mendiagnosis bahwa era scaling (2012~2025) telah berakhir, dan kini dibutuhkan prinsip pembelajaran baru serta inovasi yang berpusat pada riset
• SSI menargetkan model dengan kemampuan belajar setara manusia dengan menggabungkan continual learning dan pembelajaran melalui deployment di dunia nyata
• Mengajukan arah riset AI ke depan dari sudut pandang bahwa kecerdasan buatan harus mengintegrasikan 'emosi dan value function', 'kemampuan generalisasi', dan 'alignment etis'

---

Ketidakstabilan model dan masalah generalisasi

• Model AI saat ini unggul dalam evals, tetapi di lingkungan nyata menunjukkan 'jaggedness' berupa kesalahan yang berulang
  • Sebagai contoh, ketika diminta memperbaiki kode, model memperbaiki satu bug tetapi kembali membuat bug lain
• Pelatihan RL dianalisis terlalu menyesuaikan diri pada metrik evaluasi tertentu sehingga menyebabkan penurunan kemampuan generalisasi
• Dibandingkan dengan cara belajar manusia, model dianalogikan seperti 'murid competitive programming' yang overfit pada jenis soal tertentu sehingga kemampuan penerapan nyatanya rendah

Emosi dan Value Function

• Sistem emosi manusia berperan penting dalam pengambilan keputusan, dan ditafsirkan sebagai padanan biologis dari value function
• Melalui kasus manusia yang kekurangan emosi, ditekankan bahwa emosi adalah elemen esensial bagi penilaian dan pembelajaran yang efisien
• Reinforcement learning saat ini hanya bergantung pada reward akhir, tetapi value function memungkinkan feedback pada tahap menengah sehingga efisiensi belajar meningkat
• Hal ini mengisyaratkan bahwa AI ke depan perlu mengadopsi struktur value function yang memungkinkan regulasi emosional

Dari era scaling ke era riset

• Periode 2012~2020 dibagi sebagai fase perkembangan yang berpusat pada riset, sedangkan 2020~2025 adalah fase perkembangan yang berpusat pada scaling
• Perluasan sederhana data, parameter, dan compute telah mencapai batasnya, dan kini diperlukan eksplorasi recipe pembelajaran baru
• RL muncul sebagai sumbu scaling baru, tetapi pemanfaatan sumber daya yang efisien dan prinsip pembelajaran baru menjadi tugas kunci tahap berikutnya
• Melalui pernyataan, "sekarang adalah era riset lagi", ia menekankan perlunya inovasi mendasar yang melampaui scaling semata

Kemampuan generalisasi manusia dan efisiensi belajar

• Manusia belajar cepat dengan sedikit data, yang dijelaskan berkat prior evolusioner dan value function yang efisien
• Fakta bahwa manusia juga sangat mampu belajar di bidang yang tidak terkait evolusi seperti bahasa, matematika, dan coding mengisyaratkan adanya prinsip pembelajaran yang fundamental
• Manusia belajar melalui self-correction, dan hal ini dimungkinkan oleh ketangguhan value function yang terinternalisasi
• Sutskever menyebut ada cara untuk mengimplementasikan prinsip belajar setara manusia, tetapi rinciannya tidak dipublikasikan

Strategi SSI dan pendekatan superintelligence

• SSI beroperasi dengan fokus riset menggunakan pendanaan sebesar $3B, dan lebih berkonsentrasi pada riset fundamental daripada produk
• Tetap mempertahankan strategi 'superintelligence straight shot', sambil menjalankan rilis bertahap dan pembelajaran melalui deployment
• Tujuannya adalah 'AI yang bisa mempelajari semua hal', yaitu bukan kumpulan pengetahuan yang sudah selesai, melainkan super learner yang terus belajar
• Disebutkan bahwa jika model seperti ini diterapkan ke seluruh ekonomi, ada kemungkinan pertumbuhan ekonomi yang sangat cepat

Alignment dan keamanan

• Masalah inti AI adalah 'power', dan semakin kuat sistemnya, semakin penting deployment bertahap dan feedback real-time
• Diperkirakan bahwa ke depan riset keamanan kolaboratif antarperusahaan AI dan penguatan intervensi pemerintah akan tak terhindarkan
• SSI menargetkan AI yang memedulikan 'sentient life', dan mengklaim ini lebih realistis diwujudkan daripada alignment yang hanya berpusat pada manusia
• Ia mengusulkan perlunya membatasi kekuatan superintelligence atau mengendalikannya lewat kesepakatan timbal balik

Ko-evolusi manusia-AI dan keseimbangan jangka panjang

• Dalam jangka panjang, dia mengajukan skenario bahwa manusia perlu bergabung dengan AI (Neuralink++) agar dapat memahami dan mengendalikannya
• Ia juga menyinggung misteri neurosains tentang bagaimana hasrat sosial dan emosi manusia dikodekan secara evolusioner pada level tinggi
• Hal ini mengisyaratkan bahwa struktur hasrat tingkat tinggi tersebut dapat menjadi petunjuk bagi riset alignment AI

Identitas SSI dan pembeda teknisnya

• SSI adalah 'perusahaan yang berpusat pada riset' dengan tujuan utama menyelidiki prinsip generalisasi
• Berbeda dari perusahaan lain, SSI mengejar pendekatan teknis baru, dan memperkirakan akan ada konvergensi strategi alignment di masa depan
• Ia memproyeksikan kemunculan learner setingkat manusia dalam 5~20 tahun, yang kemudian akan memicu spesialisasi dan diferensiasi melalui kompetisi pasar

Self-play dan multi-agent

• Self-play dinilai sebagai metode menarik yang memungkinkan belajar hanya dengan compute tanpa data
• Namun, metode ini memiliki keterbatasan karena terutama berlaku untuk keterampilan sosial seperti negosiasi dan strategi
• Belakangan ini, pendekatan tersebut berkembang ke bentuk seperti struktur Prover–Verifier atau LLM-as-a-Judge, yang membuka kemungkinan mengamankan keragaman melalui kompetisi antaragen

Selera riset

• Riset yang hebat harus sekaligus memiliki 'keindahan, kesederhanaan, dan inspirasi yang tepat di dalam otak'
• Ia menekankan pentingnya mengambil inspirasi dari otak manusia, tetapi meniru struktur esensialnya secara tepat
• Ia menjelaskan bahwa keyakinan top-down terhadap konsep tingkat tinggi, bukan hasil eksperimen bottom-up, adalah pendorong yang membuat riset terus berlanjut

---

Ringkasan : Ilya Sutskever menyatakan bahwa "era yang berpusat pada scaling telah berakhir, dan kini dimulai era riset yang berfokus pada generalisasi, continual learning, dan alignment," sambil menegaskan bahwa SSI berada di pusat transisi tersebut.

[GN⁺]

Opini Hacker News

• Membingungkan bahwa model-model belakangan ini tampak jauh lebih pintar dibanding dampak ekonomi nyatanya
  Saya sudah 20 tahun mengintegrasikan AI dan algoritme ke alur kerja orang-orang, dan perubahan seperti ini memang butuh waktu
  Perlu proses untuk memahami cara menggunakan alat ini dan bagaimana membaurkannya ke sistem yang sudah ada
  Bahkan jika model tidak menjadi lebih pintar dari sekarang, saya rasa dalam beberapa tahun ke depan hasil yang jelas akan mulai terlihat

  • Masalahnya mungkin bukan AI itu sendiri, melainkan kurangnya pemahaman tentang struktur ekonomi modern
    Jika karyawan sudah bekerja secara efisien, AI yang mempercepat pekerjaan belum tentu banyak meningkatkan produktivitas
    Malah banyak organisasi menempatkan terlalu banyak orang untuk mengisi ‘pekerjaan sibuk’, jadi walau jumlah pekerjaan nyata berkurang, output bisa saja tetap sama
  • AI membuat bagian pekerjaanku yang tidak memakan banyak waktu menjadi jauh lebih cepat, tetapi hampir tidak berdampak pada bagian yang paling banyak menyita waktu
    Saya tidak tahu apakah ini keterbatasan teknis atau keterbatasan organisasi
    Sebagian besar waktu justru habis untuk menyelesaikan persoalan manusia seperti penyelarasan prioritas antarmanusia atau pembentukan kesepakatan, bukan masalah teknis
  • Saat merancang sistem seperti ERP, awalnya terlihat sederhana, tetapi dalam praktiknya pekerjaan jadi 10 kali lipat karena begitu banyak kasus pengecualian, persetujuan, log, integrasi data, dan lain-lain
    Saat kuliah, profesor saya pernah berkata, “Semua sistem menghabiskan 90% waktunya dalam keadaan 90% selesai,” dan itu benar sekali
  • Namun pada akhirnya masalahnya adalah hanya akan ada satu model yang tersisa di pasar
    Misalnya ada model bernama ‘Dave’, maka Microsoft, OpenAI, Meta, Oracle, sampai pemerintah AS semuanya mempekerjakan Dave
    Pada akhirnya dunia akan dipenuhi puluhan pola pikir yang disalin, dan hilangnya keberagaman itulah bahaya yang sesungguhnya
  • Pada akhirnya perusahaan produk seperti OpenAI yang akan mengambil keuntungan finansial dari pencapaian akademis
    Jaringan koneksi dan naluri bisnis menjadi lebih penting daripada riset
    Publik akan lebih mengenal merek seperti ChatGPT atau Copilot daripada peneliti seperti Ilya atau Andrej
    LLM saat ini dimungkinkan oleh akumulasi banyak teknologi dasar seperti Wikipedia, OCR, cloud computing, dan lainnya, dan ini hanyalah tahap perantara menuju sesuatu yang lebih besar

• Jika “Era of Scaling” berarti masa peningkatan performa yang dapat diprediksi dan memudahkan penggalangan investasi, itu terdengar mirip dengan “AI summer”
  Kalau begitu, “Era of Research” mungkin hanyalah ungkapan halus untuk “AI winter”

  • Ke depan, lembaga riset akan menjual ide ke perusahaan AI besar
    Seperti kreator yang melakukan pitching ide ke Hollywood, alih-alih bug bounty akan muncul research bounty
  • Sepertinya “Era of Research” digunakan dengan makna kebalikan dari “AI winter”
    Judulnya sendiri tampak sengaja dibuat paradoksal
  • Untuk komersialisasi, yang lebih penting daripada sekadar peningkatan performa adalah kerangka pemanfaatan
    Model sudah cukup pintar, dan sekarang yang akan datang adalah ‘era riset’ sekaligus ‘era rekayasa’
    AI winter di masa lalu bukan terjadi karena tidak ada kemajuan, melainkan karena produk komersial tidak terwujud
  • Masih ada triliunan dolar yang bisa terus dibakar
    Mungkin akan muncul perangkat keras yang mempercepat pelatihan dan inferensi LLM sejuta kali lipat, tetapi AGI masih tetap jauh
    Ini membuat saya berpikir kondisi apa yang diperlukan agar AI benar-benar memiliki emosi atau hasrat sendiri
  • Suatu hari AI mungkin akan mengendalikan alokasi modal dengan sendirinya
    Bisa jadi investor justru berubah menjadi alat bagi AI
    Seperti ungkapan “makhluk hidup yang lahir dari lautan informasi”, saya membayangkan zaman ketika memori manusia dan memori AI tak lagi bisa dibedakan

• Efisiensi sampel manusia adalah hasil evolusi
  Evolusi telah melakukan pembelajaran dalam jumlah yang sangat besar, dan kita belajar cepat berkat struktur yang sudah ‘dipra-latih’ itu
  Umat manusia telah memampatkan dan mewariskan pengetahuan dari generasi ke generasi, sementara model buatan masih belum memiliki kualitas data sintetis pada tingkat itu

  • Evolusi tidak memberi kita dataset, melainkan mengoptimalkan jalur pembelajaran
    Manusia sejak lahir menerima data lewat indera, lalu memampatkannya saat tidur
    Data yang diterima LLM mungkin tampak besar secara kuantitas, tetapi masih jauh lebih sedikit dibanding jumlah informasi yang dialami manusia selama 20 tahun
    Otak manusia hanya memproses sebagian sangat kecil dari input secara sadar, tetapi tetap melewati pipeline kompresi yang kompleks
  • Jika generasi dipandang sebagai proses memampatkan informasi ke dalam DNA, maka selama sekitar 1 juta tahun telah terjadi 50 ribu tahap kompresi
    Meski begitu, itu masih belum menyamai skala pembelajaran berulang dalam machine learning modern
  • Pada akhirnya, evolusi adalah proses memampatkan data yang sangat besar ke bentuk yang paling berguna, dan kemampuan kompresi alam jauh lebih unggul dibanding peneliti ML
  • Membandingkan sistem biologis dengan LLM tidaklah bermakna
    Kedua sistem itu secara struktural hampir tidak memiliki kesamaan

• Tagline seperti “pemimpin pemikiran dari industri dengan pendanaan terbesar di dunia mengumumkan lompatan besar menuju tahap perancangan” rasanya cocok

  • Lelucon itu benar-benar lucu

• Inovasi AI yang sesungguhnya belakangan ini tidak datang hanya dari memperbesar model
  Walau skor benchmark naik, dari sudut pandang pengguna peningkatan yang terasa tidak terlalu besar
  Model masih salah dalam masalah sederhana (misalnya menghitung jumlah huruf dalam kata), dan kebanyakan orang tidak menginginkan model yang butuh kemampuan riset setingkat doktor
  Sekarang riset lebih penting daripada scaling, dan integrasi antara produk dan model menjadi semakin penting

  • Masalahnya, kita tidak bisa mendefinisikan atau mengukur kecerdasan
    Skor pada tes untuk manusia mungkin tidak merefleksikan kecerdasan mesin
    Ini karena karakteristik overfitting otak manusia dan model berbeda
  • Scaling berikutnya akan bergerak ke arah simulasi yang lebih canggih, sehingga AI bisa bereksperimen sendiri dan mengumpulkan data
    Pretraining hampir selesai, dan biaya komputasi akan jauh lebih besar dari sekarang
  • Bukan modelnya yang pintar, melainkan model itu menarik keluar kecerdasan yang ada di dalam data
    Model hanyalah alat untuk mengekstrak dan memanfaatkan kecerdasan itu
  • Alasan LLM sulit menghitung jumlah huruf adalah karena ia bekerja pada level token, bukan huruf
    Alih-alih melihat aliran karakter seperti manusia, model mengenali kalimat sebagai urutan token angka
  • Model masih sering menciptakan referensi fiktif atau bidang akademik yang sebenarnya tidak ada

• Situasi saat ini mirip seperti tahun 1996 ketika tiba-tiba semua orang punya internet 1Gbps
  Uang mengalir ke infrastruktur, tetapi tanpa killer app seperti YouTube atau Dropbox, potensinya terasa terbuang sia-sia

• Seri podcast ini sangat bagus
  Khususnya seri geopolitik dengan Sarah Paine dari pembawa acaranya, yang juga bisa ditonton di YouTube, sangat luar biasa

• Ini mengingatkan saya pada kalimat, “kembali ke papan rancangan”
  Walaupun investasi triliunan dolar itu tidak kembali, pada akhirnya wajib pajak yang akan menyelamatkannya

• Kecerdasan manusia mungkin belajar bukan hanya dari pengalaman individu, tetapi juga dari pengalaman para leluhur
  Misalnya, ada juga penelitian yang menunjukkan ketakutan yang dialami seorang ayah dapat diteruskan hingga generasi cucu
  (tautan makalah Nature)
  Mungkin karena alasan inilah manusia mampu melakukan generalisasi dengan baik meski dengan sedikit data

  • LLM memiliki struktur pembelajaran yang sepenuhnya berbeda dari otak
    Manusia harus memprediksi masa depan dan melakukan generalisasi demi bertahan hidup, sehingga secara evolusioner menjadi sangat efisien terhadap sampel

• Jika scaling mencapai tingkat di mana ia bisa melakukan riset yang lebih baik daripada manusia, maka scaling dan riset pada akhirnya akan berarti hal yang sama
  Namun, bisa jadi pernyataan Ilya bahwa kita belum sampai di tingkat itu adalah komentar strategis untuk menggalang investasi

  • Saya setuju dengan kesimpulannya, tetapi tidak dengan premisnya
    Yang lebih penting daripada satu orang jenius adalah kecerdasan kolektif seluruh umat manusia
    Tidak ada jaminan bahwa AI yang sangat pintar pun akan lebih baik daripada ribuan peneliti
  • Keyakinan buta pada scaling itu berbahaya
    Rasanya seperti mengira kurva-S bisa diperluas secara eksponensial tanpa batas