- Klaim bahwa LLM hanyalah burung beo stokastik nyaris menghilang pada 2025, dan kini kebanyakan orang mengakui adanya representasi internal tentang makna prompt dan arah respons
- Chain of Thought (CoT) menjadi teknik inti untuk meningkatkan kualitas keluaran LLM, melalui gabungan sampling dalam representasi model dan pembelajaran token berurutan lewat reinforcement learning
- Reinforcement learning dengan reward yang dapat diverifikasi membuka kemungkinan skalabilitas melampaui batas jumlah token, dan diperkirakan menjadi arah perkembangan inti AI berikutnya
- Resistansi terhadap dukungan pemrograman berbasis LLM berkurang drastis, dan pola pemakaiannya terbagi antara kolaborasi lewat antarmuka web dan agen coding mandiri
- Riset alternatif Transformer dan kemungkinan AGI berjalan beriringan, dengan munculnya pandangan bahwa beragam arsitektur dapat secara independen mencapai kecerdasan umum
- Selama ini ada klaim lama yang menyebut LLM sebagai mesin probabilistik (stochastic parrots) dengan 2 ciri, yang tidak memahami makna
- 1. Sama sekali tidak memiliki informasi tentang makna prompt
- 2. Juga sama sekali tidak memiliki informasi tentang apa yang akan dikatakannya
- Seiring akumulasi capaian fungsional dan petunjuk ilmiah, pandangan ini makin kehilangan daya yakinnya, dan pada 2025 klaim tersebut nyaris menghilang
- Chain of Thought (CoT) kini telah menjadi teknik inti untuk meningkatkan performa LLM
- Efek CoT memungkinkan sampling dalam ruang representasi internal model, yaitu penelusuran internal, dengan mengangkat informasi dan konsep yang relevan ke dalam konteks
- Jika digabungkan dengan reinforcement learning, model belajar proses menuju jawaban yang berguna dengan menempatkan token satu per satu sambil mengubah state model
- Pandangan lama bahwa batas scaling ditentukan oleh jumlah token sudah tidak lagi berlaku
- Pengenalan reinforcement learning berbasis reward yang dapat diverifikasi (RLVR) memperluas cakupan scaling
- Pada tugas yang memiliki sinyal reward yang jelas, seperti peningkatan kecepatan program, secara teoritis ada kemungkinan perbaikan berkelanjutan dalam jangka panjang
- Perbaikan reinforcement learning yang diterapkan pada LLM akan menjadi teknologi inti AI generasi berikutnya
- Resistansi para developer terhadap pemrograman berbantuan AI menurun secara nyata
- Meski LLM masih membuat kesalahan, kemampuannya untuk memberikan kode dan petunjuk yang berguna meningkat besar
- Seiring manfaat dibanding investasi makin jelas, bahkan developer yang tadinya skeptis mulai memakainya
- Cara memakai LLM sebagai rekan kerja lewat antarmuka web dan sebagai agen coding yang mandiri kini sama-sama digunakan
- Di kalangan sebagian ilmuwan AI ternama, mulai menyebar pandangan bahwa terobosan lain tetap mungkin terjadi setelah Transformer
- Muncul tim dan perusahaan yang mengeksplorasi alternatif Transformer, symbolic representation eksplisit, dan world model
- Ada pandangan bahwa LLM adalah mesin terdiferensiasi yang dilatih dalam ruang yang dapat mengaproksimasi langkah-langkah penalaran diskret
- Ada keyakinan bahwa AGI mungkin dapat dicapai lewat LLM tanpa paradigma yang sepenuhnya baru
- Ada kemungkinan mencapai artificial general intelligence (AGI) secara independen melalui beragam arsitektur
- Ada juga klaim bahwa Chain of Thought telah mengubah hakikat LLM
- Terlihat fenomena orang-orang yang dulu menilai LLM terbatas lalu mengubah sikapnya setelah CoT
- Mereka mengatakan LLM sepenuhnya berubah karena CoT, tetapi itu tidak benar
- Arsitekturnya tetap sama dan masih memiliki tujuan next token yang sama, sementara CoT tetap berjalan dalam pola token yang dihasilkan satu per satu
- Tes ARC yang dulu dipakai untuk memverifikasi keterbatasan LLM kini justru berubah menjadi indikator yang membuktikan performa LLM
- Tidak seperti masa awal, tes ARC kini tidak lagi tampak sebagai tantangan yang mustahil diatasi
- Model kecil yang dioptimalkan untuk tugas tertentu menunjukkan hasil yang bermakna di ARC-AGI-1
- Dengan arsitektur yang dulu banyak orang kira tidak akan menghasilkan apa-apa, hasil mengesankan dicapai di ARC-AGI-2 dengan LLM besar dan CoT yang luas
- Selama 20 tahun ke depan, tantangan paling mendasar yang dihadapi AI adalah menghindari kepunahan umat manusia
Belum ada komentar.