1 poin oleh GN⁺ 2024-06-12 | 1 komentar | Bagikan ke WhatsApp
  • ARC Prize adalah kompetisi berskala sekitar 1 juta dolar AS ($1m) atau lebih yang ditujukan bagi peserta yang mengalahkan evaluasi ARC-AGI dan merilis solusinya sebagai open source
  • Titik persoalannya adalah bahwa LLM modern lebih mirip mesin hafalan yang menerapkan pola berdimensi tinggi dari data pelatihan ke konteks yang berdekatan, dan tidak mampu menciptakan penalaran baru dalam situasi baru
  • Skor SOTA ARC-AGI hanya bergerak dari 20% pada 2019 menjadi 34% saat ini, menunjukkan bahwa tugas yang cepat dipelajari manusia dan anak-anak masih tetap sulit bagi AI modern
  • Ada kritik mendasar bahwa karena laporan teknis GPT-4 dan Gemini tidak mengungkap detail penting, riset AGI frontier bergerak ke arah tertutup, sementara investasi yang berpusat pada LLM mengurangi minat riset terhadap arsitektur dan algoritme baru
  • ARC Prize adalah upaya agar lebih banyak peneliti mengukur kemajuan AGI secara terbuka, dan mempelajari kembali cara kerja kecerdasan umum melalui proses menyelesaikan ARC-AGI

Syarat yang ditetapkan ARC Prize

  • ARC Prize adalah kompetisi berskala lebih dari 1 juta dolar AS yang bertujuan memajukan AGI terbuka
  • Syarat utamanya adalah melampaui evaluasi ARC-AGI dan merilis solusinya sebagai open source
  • Penyelenggaranya adalah Mike Knoop dan François Chollet, bersama Infinite Monkey dan Lab42

Batas antara hafalan dan kecerdasan umum

  • AI modern, khususnya LLM, kuat dalam menghafal pola berdimensi tinggi di dalam data pelatihan dan menerapkannya ke konteks yang dekat
  • Kemampuan penalaran yang tampak di permukaan pun dipandang sebagai cara menghafal pola penalaran dan menerapkannya ke konteks serupa, dengan persoalan bahwa ia tidak menghasilkan penalaran baru dalam situasi baru
  • Pada benchmark berbasis hafalan seperti MMLU, GSM8K, ImageNet, dan GLUE, performa dapat “dibeli” dengan lebih banyak data pelatihan
  • Kecerdasan umum adalah kemampuan memperoleh keterampilan baru secara efisien, dan sulit mencapai kecerdasan umum hanya dengan hafalan
  • Mereka memandang bahwa sekadar memperbesar skala sulit membuat LLM mempelajari keterampilan baru, dan diperlukan arsitektur atau algoritme baru yang dapat belajar pada saat pengujian

Batas generalisasi yang ditunjukkan AI game

  • Sistem AI yang mengalahkan manusia dalam poker, catur, Go, dan sebagainya sudah ada sejak lama
  • Sistem yang dilatih agar berhasil pada satu game tidak dapat begitu saja dilatih ulang untuk game lain, sehingga peneliti harus merancang dan membangun ulang sistem baru untuk setiap game
  • Situasi ini ditafsirkan sebagai kegagalan generalisasi
  • Tanpa kemampuan ini, AI akan terus dibatasi oleh kecerdasan umum manusia yang berada di dalam loop

Kemampuan yang ingin diukur ARC-AGI

  • ARC-AGI adalah evaluasi yang diperkenalkan dalam makalah François Chollet, On the Measure of Intelligence
  • Evaluasi ini berupaya mengukur kecerdasan umum sistem dalam memperoleh keterampilan baru secara efisien dan memecahkan masalah baru yang terbuka
  • Pada 2019, skor SOTA tertinggi ARC-AGI adalah 20%, dan saat ini 34%
  • Manusia dan anak-anak dapat mempelajari tugasnya dengan cepat, tetapi bagi AI modern ARC-AGI masih sangat sulit
  • Banyak benchmark AI menguji kemampuan menghafal, sehingga cepat jenuh pada performa setara manusia
  • ARC-AGI dirancang agar tahan terhadap hafalan, dan tetap menjadi evaluasi yang sulit baik bagi model Transformer fondasi terbesar maupun sistem AI khusus untuk ARC-AGI
  • Solusi ARC-AGI dipandang dapat membuka paradigma pemrograman baru, tempat program mampu melakukan generalisasi secara sempurna dan stabil dari kumpulan pengetahuan awal apa pun

Riset AI frontier yang makin tertutup

  • Setelah peluncuran GPT-4, kemajuan AGI frontier dipandang berubah menjadi arus closed source
  • GPT-4 technical report tidak memuat detail teknis, dan OpenAI menyebut “kompetisi” sebagai alasan pertama
  • Gemini technical report dari Google juga tidak memuat detail teknis tentang inovasi frontier terkait jendela konteks panjang
  • LLM telah menyerap banyak minat riset terhadap arsitektur baru dan algoritme baru
  • Pada 2023, lebih dari 20 miliar dolar AS masuk ke perusahaan AI non-umum, dan banyak peneliti frontier DeepMind dipindahkan ke Gemini untuk bersaing dengan OpenAI

Peran riset terbuka yang ditunjukkan sejarah Transformer

  • Arsitektur Transformer muncul dari akumulasi berbagai riset dalam arus penelitian terjemahan mesin
  • Pada 2014, Sutskever dkk. di Google menerbitkan Seq2Seq Learning yang menggunakan RNN dan CNN
  • Pada 2016, Bahdanau dkk. memopulerkan konsep attention agar keluaran dapat diprediksi dengan mempertimbangkan bagian input yang berbeda
  • Pada 2017, Vaswani dkk. dalam Attention Is All You Need menghapus RNN dan CNN serta mengoptimalkan arsitektur, memungkinkan penskalaan baru
  • Pada 2018, Radford dkk. membangun GPT-2 pada skala frontier di atas arsitektur Transformer dan menunjukkan kemampuan emergen
  • Alur ini menunjukkan proses sains, yaitu peneliti dari berbagai lab dan tim mempublikasikan hasil, lalu peneliti lain membangun kembali di atasnya

Tujuan dan jalur partisipasi

  • ARC Prize memiliki tiga tujuan
    • Meningkatkan jumlah orang yang berpartisipasi dalam riset AGI frontier
    • Memopulerkan tolok ukur objektif untuk mengukur kemajuan AGI
    • Menyelesaikan ARC-AGI dan belajar hal baru tentang hakikat kecerdasan
  • Format kompetisi dan detail hadiah dapat dilihat di ARC Prize 2024
  • Cara mulai menyelesaikan ARC-AGI dapat dilihat di guide
  • Cara ARC-AGI mengukur kecerdasan umum dapat dilihat di halaman ARC-AGI
  • Perkembangan dan solusi SOTA diperbarui di X/Twitter, YouTube, Email, dan Discord

1 komentar

 
GN⁺ 2024-06-12
Komentar Hacker News
  • Saya Simon Strandgaard, dan saya menyelesaikan 3 tugas di ARCathon 2022 serta 8 tugas di ARCathon 2023
    Saya sedang mengumpulkan data tentang bagaimana orang menyelesaikan tugas ARC, dan sejauh ini telah mengumpulkan 4.100 rekaman interaksi (https://github.com/neoneye/ARC-Interactive-History-Dataset)
    Selain ARC-AGI, ada juga dataset yang mirip ARC, dan Anda bisa mencobanya di editor saya (https://neoneye.github.io/arc/)
    Jika memutar ulang rekaman interaksi, Anda bisa melihat bahwa tiap orang punya pendekatan yang berbeda. Ini diputar pada 100 ms per interaksi; orang sungguhan tidak menyelesaikannya secepat itu
    https://www.youtube.com/watch?v=vQt7UZsYooQ
    Saat saya menyelesaikan tugas ARC secara manual, tampilannya seperti ini, dan terlihat juga bahwa prosesnya cukup lambat
    https://www.youtube.com/watch?v=PRdFLRpC6dk
    Yang aneh, cara mengimplementasikan solver untuk tugas ARC tertentu cukup berbeda dari cara menyelesaikan puzzle dengan tangan. Kita harus menangani segala macam kasus tepi
    Terima kasih banyak kepada tim ARC Prize

    • Pengalaman pengguna untuk memasukkan solusi jauh lebih baik daripada situs ARC itu sendiri
    • Strukturnya tampak seperti: “Kami punya tantangan yang dibuat tidak bisa diselesaikan. Jika berhasil, kami akan memberi Anda hadiah besar. Sementara itu, kami akan menggunakan upaya Anda untuk membuat data pelatihan AI yang nilainya melebihi biayanya!”
  • Ini benar-benar keren. Saya setuju dengan intuisi François bahwa paradigma pelatihan saat ini yang sangat rakus data tidak terlalu baik dalam generalisasi dan juga tidak berkelanjutan
    Manusia tidak perlu 10 ribu contoh untuk membedakan kucing dan anjing, dan alasan utama komputer bisa melakukannya saat ini adalah karena ada jutaan contoh
    Karena itu, mungkin sulit mentransfer pengetahuan ke domain yang lebih rumit, ketika data mahal, langka, dan sulit disintesis
    Satu kritik saya: sebagian besar tes ini tampaknya menalar informasi sempurna dari sudut pandang teori permainan. Namun banyak masalah yang lebih sulit yang kita hadapi mengandung informasi tersembunyi
    Poker dan negosiasi adalah contoh pemecahan masalah dalam situasi informasi tidak sempurna, dan menavigasi situasi sosial dengan mulus juga menuntut masalah terkait dalam menangani informasi tersembunyi
    Salah satu hal yang benar-benar menarik yang bisa dilakukan manusia adalah menerima aturan permainan lalu menghasilkan strategi. Ada algoritma yang belajar sendiri untuk Go atau catur, tetapi algoritma self-play yang sama tidak berlaku untuk permainan dengan informasi tersembunyi
    Sistem kecerdasan umum juga harus memiliki kemampuan untuk mensintesis pemecah masalah serbaguna bagi situasi semacam itu

    • Pernyataan bahwa “manusia tidak perlu 10 ribu contoh untuk membedakan kucing dan anjing” membuat saya berpikir mungkin belum cukup banyak orang yang pernah membesarkan anak
      Mungkin bukan sampai 10 ribu, tetapi rasanya skalanya ratusan, mungkin ribuan
      Anak-anak meminta konfirmasi apakah tebakan mereka benar. Bahkan saat membaca lagi buku yang sudah dibaca 50 kali, mereka menunjuk anjing di gambar dan bertanya, “Anjing?”, dan tahap perkembangan seperti itu berlangsung cukup lama
      Mereka juga bisa marah jika label yang diharapkan tidak sesuai dengan objeknya. Misalnya, anak laki-laki saya benar-benar marah jika seseorang menyebut warna dengan salah
      Balita juga suka permainan memberi nama yang sengaja salah. Jika menunjuk ikan dan berkata, “Llama yang keren!”, anak akan tertawa terbahak-bahak sampai tersungkur karena merasa itu sangat lucu
      Perkembangan otak manusia sangat lambat[1], dan rasa waktu linear juga belum ada cukup lama. Pada usia tiga tahun pun, semuanya masih salah satu dari kemarin, hari ini, atau besok
      Anak-anak mengumpulkan informasi melalui berbagai indra, mengumpulkan data dengan kecepatan luar biasa selama 12–14 jam sehari, lalu beristirahat 10–12 jam untuk memproses informasi itu
      [1] Lihat saja bayi yang menyadari ia punya kaki kanan, lalu beberapa hari kemudian mengetahui bahwa ia juga punya kaki kiri. Anda juga bisa melihat anak yang sedang belajar berdiri membenturkan kepalanya beberapa kali di bawah meja lalu membangun rasa tentang “bagian di atasku”. Ketika anak-anak “cepat” belajar, itu lebih berarti bahwa selama bertahun-tahun mereka tidak punya hal lain untuk dilakukan
    • Proses optimisasi yang melatih otak manusia disebut evolusi, dan butuh jauh lebih banyak waktu daripada 10 ribu contoh untuk membuat sistem yang mampu membedakan kucing dan anjing
      Dengan kata lain, LLM diprapelatih hampir dari nol dengan prior yang sangat lemah, sedangkan otak manusia sudah dibekali prior yang sangat kuat sejak awal
    • Sepertinya manusia bisa membedakan dua hewan yang belum pernah dilihat sekalipun hanya dari penjelasan yang longgar atau tidak langsung
      Misalnya, hanya dengan penjelasan “anjing berburu dengan melacak hewan lalu mengejarnya lama-lama sampai lelah, sedangkan kucing menunggu kesempatan dan menyerang dengan penyamaran serta kelincahan,” orang yang belum pernah melihat anjing atau kucing pun kemungkinan besar bisa melihat kedua hewan itu dan menebak yang mana berdasarkan bentuk adaptasinya
      Ini bisa menjadi tes yang menarik untuk AI, tetapi saya tidak yakin bagaimana menyusunnya sebagai evaluasi
    • Apakah komputer yang sudah diprapelatih pada tugas lain juga membutuhkan 10 ribu contoh untuk membedakan anjing dan kucing?
    • Mungkin saja. Karena kita melihat objek dalam tiga dimensi beresolusi tinggi, melihat seekor anjing atau kucing saja mungkin pada dasarnya sudah menjadi ribuan sampel pelatihan
  • Ide ARC memang sangat bagus, tetapi soal-soalnya tampak jauh lebih banyak menuntut pengetahuan dunia spasial daripada penalaran abstrak
    Bentuk-bentuk saling tumpang tindih, saling memuat, memotong bagian lalu merakitnya kembali, dan menghilangkan noise dari bentuk geometri beraturan
    Ini bisa saja disebut “pengetahuan inti”, tetapi bagi saya lebih terasa seperti “hal-hal yang intuitif bagi pemrosesan visual manusia”
    Bisakah seseorang yang cerdas tetapi tunanetra menyelesaikan soal-soal ini?
    Kekhawatiran bahwa kita mungkin membutuhkan lebih dari 800 contoh bukan karena penalaran abstrak terlalu sulit, melainkan karena soal-soalnya menuntut pengetahuan spasial yang dipelajari manusia cerdas dari jauh lebih banyak contoh pembelajaran daripada 800

    • Yann LeCun memandang manusia bukanlah kecerdasan umum, dan hal seperti itu sendiri sebenarnya tidak ada. Kecerdasan hanya bisa diukur dalam domain tertentu
      Jika tes ini mewakili domain tempat manusia jauh lebih unggul daripada AI, maka ini tes yang berguna. Karena AI jelas kurang kompeten daripada manusia di banyak domain tetapi tetap lolos semua tes yang ada, kita membutuhkan lebih banyak tes seperti ini
      Pre-training pada data tak terbatas harus diizinkan. Menggeneralisasi dari data yang mudah diperoleh ke tugas pengujian adalah persis apa yang dilakukan manusia
      Saya yakin tunanetra juga bisa menyelesaikannya jika warna diterjemahkan menjadi sensasi taktil. Tunanetra juga memahami relasi spasial
    • Saya mencoba menyelesaikan 5 soal pertama dari “set evaluasi publik” tanpa melihat “set pelatihan publik”, dan itu cukup mudah
      Jika AGI didefinisikan setidaknya setara level manusia, AGI juga seharusnya bisa menyelesaikan soal seperti ini tanpa melihat lebih banyak contoh
      Tampaknya tidak ada aturan tentang pengetahuan atau pengalaman apa yang boleh ditanamkan ke dalam solusi
    • Penalaran spasial dan contoh tunanetra adalah kontra-contoh yang bagus. Namun jika yang ditunjukkan adalah penalaran umum, adanya pengecualian mungkin tidak masalah
      Saya suka tujuan proyek ini. Akan bagus jika melihat mesin penalaran sebelumnya yang mencoba membangun common sense. Cyc dan OpenMind adalah contohnya
      Daftar tujuan AGI di bagian 2 makalah ini juga bisa membantu
      https://arxiv.org/pdf/2308.04445
      Saat mempelajari pengantar fungsi otak, terlihat juga bahwa banyak area terhubung ke hipokampus. Hipokampus mungkin mampu melakukan keduanya: menyimpan konsep yang netral terhadap indra dan membuat model internal atau model aproksimasi dunia luar
      Yang pertama membantu mengikat konsep melalui berbagai indra, sedangkan yang kedua membantu perencanaan saat membayangkan, mengevaluasi, dan mengulang kemungkinan
      AGI tampaknya perlu memiliki sifat seperti hipokampus semacam ini dan sifat-sifat yang ada di makalah Cyc. Kita bisa menguji struktur apa yang secara teoretis atau dalam skala kecil mampu melakukan hal semacam itu
      Ia juga tidak boleh terikat hanya pada satu jenis input indrawi. Minimal harus ada dua jenis, dan ia harus bisa bertindak berdasarkan hal-hal yang ada hanya di salah satu sisi atau ada di keduanya
      Anak-anak juga melakukan pembelajaran tak terawasi dalam jumlah sangat besar terhadap data visual-spasial. Mereka mendapat reinforcement learning lewat bermain dan supervised learning dari orang tua. Untuk benchmark yang realistis, mungkin diperlukan pre-training dalam skala GB yang serupa
    • Saya melihat penalaran spasial mencakup semua penalaran. Hal-hal yang disebutkan sebelumnya berkorespondensi langsung dengan model abstrak dan logika yang kita gunakan, dan juga tertanam dalam bahasa secara mendalam
      Misalnya, lihat bentuk yang saling memuat. Jika dua negara mengklaim wilayah yang sama, itu seperti ada himpunan X yang memuat Y dan himpunan Z yang memuat Y
      Jika tumpang tindih yang sama itu tiga dimensi dan salah satunya berada di atas yang lain, kita bisa memperluasnya menjadi X memuat -Y dan Z memuat Y. Seperti hanya yang di atas yang terlihat tergantung posisi berdiri, dan keduanya tidak bisa terlihat sekaligus, kita bisa mengatakan X dan Z tidak dapat ada secara bersamaan. Jadi jika X maka -Y, dan jika Z maka Y
      Jika kita memperhatikan bahasa yang kita gunakan, kita akan menyadari betapa seringnya relasi spasial dipakai bahkan untuk menjelaskan hal yang sepenuhnya abstrak. Misalnya kita bisa mengatakan ekonomi hegemoni yang runtuh, yaitu ungkapan seperti benda-benda yang bertumpuk di atas satu sama lain menghilang lalu kembali ke tempat asalnya
      Pada akhirnya, kita bernalar tentang hal-hal yang terjadi dalam waktu dan ruang
      Dan ruang tidak sama dengan penglihatan. Meski tunanetra, seseorang tetap harus bernalar secara spasial. Sebab himpunan fakta apa pun adalah fakta dalam ruang-waktu
      Untuk memahami sejarah, kita harus memahami orang-orang dalam ruang, orang-orang yang hidup pada jarak berbeda, serta bagaimana barang diproduksi melalui proses fisik di berbagai lokasi di Bumi dan dipertukarkan secara fisik
      Untuk memahami pertempuran, kita harus memahami bagaimana pasukan ditempatkan secara fisik, bagaimana pergerakan suplai bekerja, kondisi cuaca, serta apa yang benar-benar dimungkinkan oleh senjata dan bentuk fisiknya
      Bahkan apa yang dilakukan LLM, kemajuan terbesar dalam AI, sebenarnya apa? Mengodekan token ke dalam ruang multidimensi
    • Saya rasa pertanyaan “Bisakah seseorang yang cerdas tetapi tunanetra menyelesaikan soal-soal ini?” bukan cara berpikir yang tepat
      Relasi spasial hanyalah satu lagi relasi logis, dan AGI seharusnya mampu menganalisis relasi serta membuat algoritma secara spontan untuk menyelesaikan masalah
      Fakta bahwa manusia mungkin memiliki berbagai bias tidak berarti bias itu melekat pada semua kecerdasan
  • Klaim bahwa tes ini mudah bagi manusia terasa meragukan, jadi saya sempat mencari sedikit. Melanie Mitchell ikut dalam thread Chollet dan mengunggah tes terkait, ConceptARC
    Di sana ia mempertanyakan apakah tes Chollet benar-benar mudah. “Salah satu keterbatasan ARC sebagai alat yang berguna untuk riset AI adalah bahwa ia mungkin terlalu sulit. Banyak tugas dalam korpus Chollet juga sulit bagi manusia, dan keseluruhan korpus mungkin terlalu sulit bagi mesin sehingga tidak dapat menunjukkan kemajuan nyata dalam perolehan pengetahuan inti”
    ConceptARC dirancang agar lebih mudah, tetapi sekitar 15% peserta internalnya harus disaring karena “tidak dapat menyelesaikan setidaknya dua tugas, atau memberikan penjelasan kosong atau tidak masuk akal”
    Bahkan setelah penyaringan ini, ConceptARC masih menemukan tambahan tingkat kegagalan manusia sekitar 10–15% pada soal utama, jadi bahkan pada soal yang lebih sederhana yang dibuat untuk menguji “AGI”, 25–30% orang tidak dapat menyelesaikannya
    Dalam hasil utama ConceptARC, CG4 jauh lebih rendah daripada manusia yang sudah difilter, dan ini juga selaras dengan hasil tes [Mensa]https://www.maximumtruth.org/p/ais-ranked-by-iq-ai-passes-10... yang menyebut IQ=85
    Chollet dan Mitchell juga bisa melakukan stratifikasi kelompok manusia untuk memperkirakan IQ lalu membandingkannya dengan pengukuran Mensa, misalnya melihat bagaimana Claude3@IQ=100 berkorelasi dengan skor ARC manusia rata-rata
    [ConceptArc]https://arxiv.org/pdf/2305.07141

    • Ada studi publik tentang tingkat kesulitan ARC-AGI bagi manusia: https://cims.nyu.edu/~brenden/papers/JohnsonEtAl2021CogSci.p...
      “Manusia mampu menyimpulkan program dasar dan menghasilkan keluaran tes yang benar untuk contoh masukan tes baru, dengan rata-rata 84% tugas diselesaikan per peserta”
    • Saya mencoba puzzle pertama dan tidak bisa mendapatkan jawaban yang benar. Solusi saya tampak valid secara logis dan saya juga bisa menjelaskan mengapa polanya konsisten dengan input, tetapi hasilnya dinyatakan salah
      Entah saya jauh lebih bodoh daripada yang saya kira, atau validasi tesnya perlu dibuat lebih baik
    • Mereka mengklaim skor manusia rata-rata berada di kisaran 85–100%, jadi tampaknya ada perbedaan pendapat soal apakah tes ini memang terlalu sulit
      Jika klaim itu diterima apa adanya, jelas tes ini mengukur suatu perbedaan penting bila tidak satu pun model yang ada mampu meraih bahkan setengah skor manusia rata-rata
      Orang bisa saja berbeda pendapat apakah soal ARC merupakan sampel representatif dari semua program abstrak yang dapat disintesis, tetapi kebanyakan LLM pada akhirnya juga dilatih dari data manusia
    • Saya membaca tulisan Melanie, dan kumpulan tes AGI yang lebih mudah itu menarik. Akan bagus kalau individu seperti saya atau organisasi kecil juga bisa mencobanya
  • Saya setuju dengan tujuan kompetisinya, tetapi mengingat puluhan miliar dolar sudah diinvestasikan dalam persaingan AGI dan ke depannya akan jauh lebih banyak lagi, hadiah 1 juta dolar terasa agak kecil
    Dampak AGI setidaknya akan diukur dalam satuan triliun. Pada akhirnya yang diberi imbalan bisa jadi bukan riset AGI, melainkan pekerjaan menyetel rilis LLM terbuka terbaru agar paling cocok dengan parameter tes
    Sebaiknya platform untuk berkomunikasi dengan publik juga diganti. Tautan x.com sekarang tidak bisa diakses tanpa membuat akun

    • Setuju. Di bidang AI, 1 juta dolar hampir seperti uang receh
      Tujuan utama penghargaan ini adalah meningkatkan kesadaran publik tentang seberapa dekat kita dengan AGI, atau seberapa jauh posisi kita saat ini: https://arcprize.org/leaderboard
      Semoga pemahaman seperti ini mendorong lebih banyak calon peneliti AI beralih meneliti ide-ide baru
    • Reaksi pertama saya juga begitu. Rasanya seperti “Jika Anda memberi kesadaran pada rangkaian elektronik, kami akan memberi voucher Denny’s. Tidak dapat digabungkan dengan diskon lain”
    • Hadiah ARC 1 juta dolar itu iklan, seperti peringkat pertama di leaderboard Hugging Face. Mungkin tidak penting bagi konsumen akhir, tetapi bisa bernilai untuk menarik talenta terbaik
    • Mungkin karena mempertimbangkan hal itu, mereka juga menyediakan hadiah tahunan 100 ribu dolar untuk performa terbaik tiap tahun. Seiring waktu, ini bisa terakumulasi ke arah seseorang memenangkan 1 juta dolar, dan hadiah tahunan mensyaratkan tekniknya dipublikasikan
    • Leaderboard ada di situs web. Media apa yang sebaiknya dipakai? https://arcprize.org/leaderboard
  • Saya sangat menyukai ARC sebagai sekumpulan masalah untuk diselesaikan. Kelangkaan data dan aturan yang dapat diterapkan yang pada dasarnya tak terbatas membuatnya jauh lebih sulit daripada kumpulan masalah machine learning tradisional
    Namun saya tidak setuju bahwa masalah ini mewakili AGI. Ini hanyalah dataset yang berbeda dari kisah sukses machine learning yang ada, dan pendekatannya pada umumnya mirip dengan sebelumnya
    Terobosan yang benar-benar baru berupa AGI mungkin saja dapat menyelesaikan kumpulan masalah ini, tetapi saya tidak melihat kemampuan menyelesaikannya sebagai indikator AGI yang terjamin

  • Ini benar-benar menarik dan saya menyukainya, tetapi berdasarkan intuisi setelah melihat sekitar selusin contoh, masalah ini memang sulit namun cukup mudah sehingga jika menjadi populer, hasil yang mendekati level manusia mungkin muncul dalam setahun atau bahkan lebih cepat, dan tetap saja tidak akan mencapai AGI
    Kuncinya tampaknya menemukan bahasa teknik transformasi yang cukup umum dengan operator yang tepat. Lalu diperlukan heuristik untuk menemukan program yang sangat pendek, dalam pengertian teori informasi, yang dapat menghasilkan semua contoh dari satu masalah
    Saya akan sangat terkejut jika hasil 34% tidak segera terdongkrak jauh, dan saya juga akan terkejut jika ini dapat ditransfer ke kecerdasan umum. Apalagi jika melihat topik-topik yang saya gunakan dengan AI hari ini dan area yang masih kurang
    Pada dasarnya intuisi saya mengatakan ini akan menjadi masalah lain seperti catur atau Go dalam AI. Meski begitu, ini jelas bernilai sebagai topik riset, dan nilai yang mungkin muncul darinya bisa jauh melampaui 1 juta dolar

    • Kesan saya persis sama
      Saya sama sekali tidak melihat kemampuan mengerjakan tugas ini dengan baik sebagai bukti AGI sejati. Misalnya, itu berbeda dari kemampuan menulis bukti matematika baru, mengajukan pertanyaan berwawasan yang belum terpikirkan siapa pun, mengarahkan pembelajaran diri sendiri, atau membaca kode sumbernya sendiri
  • Ungkapan “satu-satunya evaluasi yang mengukur AGI” itu berlebihan. Ini hanya soal yang tidak bisa dikerjakan LLM, bukan berarti ini ukuran yang baik untuk kecerdasan umum buatan
    Setelah mencoba memecahkan beberapa soal, saya jadi penasaran ada berapa banyak aturan transformasi berbeda di dalam pembuat soalnya. Sepertinya tidak banyak
    Jadi masalahnya terbagi menjadi: mengekstrak kumpulan aturan transformasi dari data, lalu menerapkannya pada soal baru
    Bagian pertama sulit, dan merupakan masalah ekstraksi fitur. Karena transformasinya tampaknya diterapkan secara ketat, setelah mendapatkan aturan transformasi dan memilih aturan yang cocok untuk semua contoh input, penerapannya sendiri seharusnya sederhana
    Sepertinya yang dibutuhkan adalah ekstraksi fitur yang eksplisit, bukan gabungan ekstraksi dan pemanfaatan fitur seperti yang digunakan LLM. Apakah ada yang pernah mengekstrak kumpulan aturan dari kasus uji?

    • Untuk pertanyaan terakhir, jawabannya bisa ya. Solusi pada iterasi pertama pada dasarnya bekerja seperti itu
      Beberapa solusi teratas dari kompetisi Kaggle aslinya menggunakan bahasa khusus domain yang terdiri dari transformasi semacam ini. Itu 4 tahun lalu. [1]
      Masalah dengan jalur itu adalah tugas-tugasnya tidak menggunakan generator program. Kumpulan aturannya bisa berupa apa pun yang dapat dipikirkan manusia. Bisa sesederhana “objek terbesar menjadi biru”, tetapi bisa juga jauh lebih kompleks
      Selain itu, set pengujiannya bersifat privat sehingga tidak bisa dipelajari atau diekstrak. Di dalamnya juga ada aturan yang tidak terdapat pada set publik
      [1] https://www.kaggle.com/competitions/abstraction-and-reasonin...
    • Tugas-tugasnya dibuat langsung oleh manusia. Tidak ada “pembuat soal”
    • AGI bukan ketika AI pandai melakukan satu hal tertentu, melainkan ketika tidak ada lagi hal yang tidak bisa dilakukan AI dibandingkan manusia
  • Makalah asli François Chollet luar biasa penuh wawasan, dan saya selalu heran mengapa tidak lebih banyak orang membicarakannya
    Sebagiannya cukup teknis, tetapi pada tingkat tinggi itu adalah jawaban terbaik yang pernah saya lihat untuk pertanyaan “apa arti kecerdasan umum?”
    Setelah mempertimbangkan pengetahuan awal yang eksplisit maupun implisit tentang dunia, mendefinisikan kecerdasan sebagai efisiensi belajar membuat jauh lebih mudah memahami mengapa kecerdasan manusia begitu mengesankan

    • Ingat judulnya atau di mana bisa menemukannya?
  • Dwarkesh baru saja menerbitkan wawancara dengan François Chollet. Ia adalah partner penulis posting asli
    Saya baru mendengarkan beberapa menit, tetapi sangat tertarik mendengar lebih banyak pemikirannya tentang keterbatasan LLM
    https://youtu.be/UakqL6Pj9xo