Perkembangan AGI telah mandek. Dibutuhkan ide-ide baru
Pengumuman ARC Prize
- ARC Prize: kompetisi berhadiah lebih dari 1 juta dolar untuk memajukan open AGI
- Tujuan: mendorong kemajuan AGI melalui ide-ide baru dan memecahkan evaluasi ARC-AGI
Kecerdasan vs hafalan
- AI modern: terutama bekerja dengan menghafal pola berdimensi tinggi dan menerapkannya pada situasi serupa
- Masalah: tidak mampu menghasilkan penalaran baru dalam situasi baru
- Kecerdasan umum: kemampuan untuk memperoleh keterampilan baru secara efisien
- Kebutuhan: diperlukan arsitektur atau algoritme baru
Batasan LLM
- Sistem AI yang ada: dapat mengalahkan manusia dalam game tertentu, tetapi tidak bisa beralih ke game lain
- Kegagalan generalisasi: AI tidak mampu beradaptasi dengan situasi baru
ARC-AGI
- Perkenalan: diperkenalkan dalam makalah François Chollet, "On the Measure of Intelligence"
- Tujuan: mengevaluasi sistem yang dapat memperoleh keterampilan baru secara efisien dan memecahkan masalah baru
- Status saat ini: manusia meraih skor 85%~100%, tetapi AI hanya 34%
Kemajuan open source AGI
- Masalah: setelah GPT-4, riset AGI menjadi semakin tertutup
- Sejarah: kemajuan LLM adalah hasil kolaborasi banyak peneliti
- Kebutuhan: open source diperlukan untuk mendorong munculnya ide-ide baru
Tujuan ARC Prize
- Meningkatkan partisipasi riset: menambah jumlah orang yang ikut dalam riset AGI
- Mengukur kemajuan AGI: memopulerkan cara objektif untuk mengukur kemajuan AGI
- Memecahkan ARC-AGI: menyelesaikan evaluasi ARC-AGI dan mempelajari hal baru tentang hakikat kecerdasan
Memulai
- Cara berpartisipasi: siapa pun bisa ikut, ide baru bisa datang dari mana saja
- Informasi yang disediakan: rincian format dan hadiah ARC Prize 2024
Opini GN⁺
- Pentingnya open source: open source penting untuk mendorong inovasi dan mengurangi kesenjangan antara perusahaan AI kecil dan besar
- Kebutuhan akan ide baru: riset AI saat ini kekurangan ide baru, dan ini menghambat kemajuan AGI
- Masalah regulasi: keyakinan yang keliru dapat menyebabkan regulasi terhadap riset AI makin diperketat
- Keunggulan kompetisi: kompetisi seperti ARC Prize dapat memotivasi peneliti dan mendorong ide-ide baru
1 komentar
Opini Hacker News
Simon Strandgaard berpartisipasi dalam ARCathon 2022 dan 2023, dan masing-masing menyelesaikan 3 serta 8 tugas. Ia sedang mengumpulkan data tentang cara manusia menyelesaikan tugas ARC, dan saat ini telah mengumpulkan 4.100 catatan interaksi. Ia juga menyediakan berbagai dataset mirip ARC.
Ada pendapat bahwa paradigma pembelajaran berbasis data saat ini tidak dapat digeneralisasi dan tidak berkelanjutan. Manusia bisa membedakan kucing dan anjing tanpa ribuan contoh, tetapi komputer memerlukan jutaan contoh. Di bidang yang datanya langka, transfer pengetahuan bisa menjadi sulit.
Masalah ARC memerlukan banyak pengetahuan dunia spasial, dan dibanding penalaran abstrak, ada banyak unsur yang intuitif bagi pemrosesan visual manusia. Pengenalan pola visual memainkan peran penting.
Ada klaim bahwa tes ARC juga sulit bagi manusia. Dalam tes ConceptARC, 25–30% manusia gagal menyelesaikan pertanyaan sederhana. Ini dapat membatasi kegunaan ARC.
Ada komentar yang bertanya apakah ada leaderboard untuk versi kompetisi tanpa batasan. Mereka ingin melihat performa GPT-4.
Ada pendapat bahwa hadiah 1 juta dolar untuk riset AGI terlalu kecil. Dampak AGI akan diukur setidaknya dalam hitungan triliunan dolar, dan hadiah saat ini mungkin hanya cukup untuk fine-tuning rilis LLM terbuka terbaru.
Ada pendapat bahwa untuk teka-teki tertentu bisa ada beberapa jawaban yang valid. Dari contohnya, jarak yang diharapkan tidak dapat diketahui secara pasti.
Ada pendapat bahwa meskipun tugas ARC menargetkan pengenalan pola visual, hal itu tidak bisa menjadi satu-satunya definisi kecerdasan. Kecerdasan kolaboratif manusia-AI itu penting, dan masalahnya perlu dirumuskan ulang sebagai optimasi tujuan multi-atribut.
Makalah François Chollet dinilai sangat penuh wawasan dan memberikan jawaban terbaik tentang definisi kecerdasan umum. Mendefinisikan kecerdasan melalui efisiensi pembelajaran membantu memahami mengapa kecerdasan manusia begitu mengesankan.
Ada pendapat bahwa kumpulan soal ARC jauh lebih sulit daripada kumpulan soal ML yang sudah ada, tetapi tidak merepresentasikan AGI. Ini hanyalah dataset baru, sementara pendekatannya serupa dengan yang sudah ada. AGI mungkin bisa menyelesaikan masalah ini, tetapi menyelesaikannya bukan indikator jaminan AGI.