François Chollet, pencipta Keras, berbicara tentang kondisi AI generatif saat ini

LLM masih harus menempuh jalan panjang

• LLM pada dasarnya hanya mengingat banyak informasi lalu mengambilnya kembali saat diperlukan, jadi tidak bisa dikatakan memiliki kecerdasan setara manusia yang sesungguhnya. Kecerdasan setara manusia yang nyata berarti mampu melakukan generalisasi hanya dengan data pelatihan yang sangat terbatas, lalu memecahkan masalah bahkan dalam situasi yang baru pertama kali ditemui.
• Untuk membedakan anjing dan kucing, manusia cukup melihat beberapa lembar foto saja, tetapi model CNN membutuhkan 25.000 foto. Otak manusia dapat mengklasifikasikan objek dengan sangat cepat dan akurat hanya dengan data pelatihan yang sangat sedikit, jauh melampaui AI saat ini.
• Bahkan ketika menyelesaikan soal matematika yang sama, jika seseorang tidak memahami prinsipnya lalu hanya mengingat rumus yang pernah cocok untuk soal serupa dan memakainya, itu lebih dekat ke kemampuan mencari dengan baik daripada kecerdasan yang sesungguhnya. Kita perlu membedakan orang yang mendapat nilai 100 karena hafalan dan orang yang mendapat nilai 100 karena memahami prinsipnya.
• Inilah juga alasan mengapa LLM saat ini membaik saat skalanya diperbesar, namun tetap mengalami halusinasi. Jika jumlah pelatihan ditambah, jumlah rumus yang bisa diambil juga bertambah sehingga bisa menghadapi lebih banyak situasi; sebaliknya, jika tidak menemukan rumus yang tepat atau menemukan yang salah, maka terjadilah halusinasi.
• Namun memecahkan masalah dengan menghafal rumus sebenarnya juga berlaku pada manusia. Kecuali segelintir orang, kebanyakan orang menjalani hidup dengan menerapkan rumus-rumus yang dihafal pada berbagai situasi; tetapi bahkan di sini pun ada perbedaan antara AI dan manusia.
• AI saat ini melakukan pencarian secara dangkal, sedangkan manusia dapat melakukan pencarian yang mendalam melalui rangkaian pemikiran yang saling berlanjut.
• Konsep yang kita sebut sebagai "kecerdasan" dapat dibagi lagi ke dalam tiga level berikut.

1. Kemampuan melihat fenomena, memahami prinsipnya, lalu menerapkannya ke cakupan yang luas (jenius)
2. Kemampuan menelaah secara mendalam berbagai pola yang sudah dipelajari lalu memanfaatkan pola yang optimal (orang kebanyakan)
3. Kemampuan menelaah secara dangkal berbagai pola yang sudah dipelajari lalu memakai yang paling cepat ditemukan (LLM saat ini)

• Posisi LLM saat ini ada di nomor 3, dan idealnya harus menuju nomor 1; paling tidak harus mencapai nomor 2 agar bisa sampai ke AGI (Artificial General Intelligence) seperti yang kita maksud.

ARC Prize dengan hadiah satu juta dolar

• Ia mengembangkan metode pengujian untuk menilai apakah sesuatu benar-benar memiliki kecerdasan setara manusia, dan berdasarkan itu membuat kompetisi ARC Prize dengan hadiah 1 juta dolar. (https://www.kaggle.com/competitions/arc-prize-2024)
• Di situs resmi kompetisi (https://arcprize.org/), kita bisa mencoba memecahkan teka-tekinya. Bagi manusia tingkat kesulitannya kira-kira setara tes IQ, tetapi AI masih belum mampu menyelesaikan soal-soal ini dengan baik.

Perkembangan akan lebih cepat jika hasil dibagikan

• OpenAI telah menyebarkan budaya tidak membagikan informasi di industri, sehingga kemunculan AGI tertunda setidaknya sekitar 5 hingga 10 tahun.
• Untuk menciptakan AGI diperlukan banyak percobaan, tetapi karena OpenAI menarik perhatian, seluruh sumber daya manusia dan material di industri jadi terpusat hanya ke tempat-tempat yang membuat LLM.
• Akibatnya, bidang penelitian lain mau tak mau menerima dukungan yang lebih sedikit sehingga hasilnya muncul lebih lambat.
• Bukan hanya itu, berbeda dari sebelumnya, bahkan ketika OpenAI menerbitkan makalah, mereka tidak membagikan detail teknisnya, sehingga peneliti lain di industri sulit melanjutkan riset lain berdasarkan makalah tersebut.
• Sebelum kemunculan OpenAI, para peneliti dari berbagai institusi, terlepas dari afiliasi mereka, bekerja sama seperti pada makalah Attention is all you need dan mendorong perkembangan AI yang cepat. Namun OpenAI menyebarkan budaya tidak membagikan penemuan mereka kepada industri, sehingga menghambat kemajuan bidang ini.
• Ia berharap melalui kompetisi ARC Prize, para peneliti akan kembali aktif berbagi hasil dan perkembangan industri akan kembali melaju lebih cepat.

[readiz]

Sepertinya model o1 sudah mendekati nomor 2.

[seanlee10]

Ya, saya juga berpikir begitu.