ARC Prize, kompetisi 1,5 miliar won+ untuk AGI terbuka
(arcprize.org)- ARC Prize adalah kompetisi berskala sekitar 1 juta dolar AS ($1m) atau lebih yang ditujukan bagi peserta yang mengalahkan evaluasi ARC-AGI dan merilis solusinya sebagai open source
- Titik persoalannya adalah bahwa LLM modern lebih mirip mesin hafalan yang menerapkan pola berdimensi tinggi dari data pelatihan ke konteks yang berdekatan, dan tidak mampu menciptakan penalaran baru dalam situasi baru
- Skor SOTA ARC-AGI hanya bergerak dari 20% pada 2019 menjadi 34% saat ini, menunjukkan bahwa tugas yang cepat dipelajari manusia dan anak-anak masih tetap sulit bagi AI modern
- Ada kritik mendasar bahwa karena laporan teknis GPT-4 dan Gemini tidak mengungkap detail penting, riset AGI frontier bergerak ke arah tertutup, sementara investasi yang berpusat pada LLM mengurangi minat riset terhadap arsitektur dan algoritme baru
- ARC Prize adalah upaya agar lebih banyak peneliti mengukur kemajuan AGI secara terbuka, dan mempelajari kembali cara kerja kecerdasan umum melalui proses menyelesaikan ARC-AGI
Syarat yang ditetapkan ARC Prize
- ARC Prize adalah kompetisi berskala lebih dari 1 juta dolar AS yang bertujuan memajukan AGI terbuka
- Syarat utamanya adalah melampaui evaluasi ARC-AGI dan merilis solusinya sebagai open source
- Penyelenggaranya adalah Mike Knoop dan François Chollet, bersama Infinite Monkey dan Lab42
Batas antara hafalan dan kecerdasan umum
- AI modern, khususnya LLM, kuat dalam menghafal pola berdimensi tinggi di dalam data pelatihan dan menerapkannya ke konteks yang dekat
- Kemampuan penalaran yang tampak di permukaan pun dipandang sebagai cara menghafal pola penalaran dan menerapkannya ke konteks serupa, dengan persoalan bahwa ia tidak menghasilkan penalaran baru dalam situasi baru
- Pada benchmark berbasis hafalan seperti MMLU, GSM8K, ImageNet, dan GLUE, performa dapat “dibeli” dengan lebih banyak data pelatihan
- Kecerdasan umum adalah kemampuan memperoleh keterampilan baru secara efisien, dan sulit mencapai kecerdasan umum hanya dengan hafalan
- Mereka memandang bahwa sekadar memperbesar skala sulit membuat LLM mempelajari keterampilan baru, dan diperlukan arsitektur atau algoritme baru yang dapat belajar pada saat pengujian
Batas generalisasi yang ditunjukkan AI game
- Sistem AI yang mengalahkan manusia dalam poker, catur, Go, dan sebagainya sudah ada sejak lama
- Sistem yang dilatih agar berhasil pada satu game tidak dapat begitu saja dilatih ulang untuk game lain, sehingga peneliti harus merancang dan membangun ulang sistem baru untuk setiap game
- Situasi ini ditafsirkan sebagai kegagalan generalisasi
- Tanpa kemampuan ini, AI akan terus dibatasi oleh kecerdasan umum manusia yang berada di dalam loop
Kemampuan yang ingin diukur ARC-AGI
- ARC-AGI adalah evaluasi yang diperkenalkan dalam makalah François Chollet, On the Measure of Intelligence
- Evaluasi ini berupaya mengukur kecerdasan umum sistem dalam memperoleh keterampilan baru secara efisien dan memecahkan masalah baru yang terbuka
- Pada 2019, skor SOTA tertinggi ARC-AGI adalah 20%, dan saat ini 34%
- Manusia dan anak-anak dapat mempelajari tugasnya dengan cepat, tetapi bagi AI modern ARC-AGI masih sangat sulit
- Banyak benchmark AI menguji kemampuan menghafal, sehingga cepat jenuh pada performa setara manusia
- ARC-AGI dirancang agar tahan terhadap hafalan, dan tetap menjadi evaluasi yang sulit baik bagi model Transformer fondasi terbesar maupun sistem AI khusus untuk ARC-AGI
- Solusi ARC-AGI dipandang dapat membuka paradigma pemrograman baru, tempat program mampu melakukan generalisasi secara sempurna dan stabil dari kumpulan pengetahuan awal apa pun
Riset AI frontier yang makin tertutup
- Setelah peluncuran GPT-4, kemajuan AGI frontier dipandang berubah menjadi arus closed source
- GPT-4 technical report tidak memuat detail teknis, dan OpenAI menyebut “kompetisi” sebagai alasan pertama
- Gemini technical report dari Google juga tidak memuat detail teknis tentang inovasi frontier terkait jendela konteks panjang
- LLM telah menyerap banyak minat riset terhadap arsitektur baru dan algoritme baru
- Pada 2023, lebih dari 20 miliar dolar AS masuk ke perusahaan AI non-umum, dan banyak peneliti frontier DeepMind dipindahkan ke Gemini untuk bersaing dengan OpenAI
Peran riset terbuka yang ditunjukkan sejarah Transformer
- Arsitektur Transformer muncul dari akumulasi berbagai riset dalam arus penelitian terjemahan mesin
- Pada 2014, Sutskever dkk. di Google menerbitkan Seq2Seq Learning yang menggunakan RNN dan CNN
- Pada 2016, Bahdanau dkk. memopulerkan konsep attention agar keluaran dapat diprediksi dengan mempertimbangkan bagian input yang berbeda
- Pada 2017, Vaswani dkk. dalam Attention Is All You Need menghapus RNN dan CNN serta mengoptimalkan arsitektur, memungkinkan penskalaan baru
- Pada 2018, Radford dkk. membangun GPT-2 pada skala frontier di atas arsitektur Transformer dan menunjukkan kemampuan emergen
- Alur ini menunjukkan proses sains, yaitu peneliti dari berbagai lab dan tim mempublikasikan hasil, lalu peneliti lain membangun kembali di atasnya
Tujuan dan jalur partisipasi
- ARC Prize memiliki tiga tujuan
- Meningkatkan jumlah orang yang berpartisipasi dalam riset AGI frontier
- Memopulerkan tolok ukur objektif untuk mengukur kemajuan AGI
- Menyelesaikan ARC-AGI dan belajar hal baru tentang hakikat kecerdasan
- Format kompetisi dan detail hadiah dapat dilihat di ARC Prize 2024
- Cara mulai menyelesaikan ARC-AGI dapat dilihat di guide
- Cara ARC-AGI mengukur kecerdasan umum dapat dilihat di halaman ARC-AGI
- Perkembangan dan solusi SOTA diperbarui di X/Twitter, YouTube, Email, dan Discord
1 komentar
Komentar Hacker News
Saya Simon Strandgaard, dan saya menyelesaikan 3 tugas di ARCathon 2022 serta 8 tugas di ARCathon 2023
Saya sedang mengumpulkan data tentang bagaimana orang menyelesaikan tugas ARC, dan sejauh ini telah mengumpulkan 4.100 rekaman interaksi (https://github.com/neoneye/ARC-Interactive-History-Dataset)
Selain ARC-AGI, ada juga dataset yang mirip ARC, dan Anda bisa mencobanya di editor saya (https://neoneye.github.io/arc/)
Jika memutar ulang rekaman interaksi, Anda bisa melihat bahwa tiap orang punya pendekatan yang berbeda. Ini diputar pada 100 ms per interaksi; orang sungguhan tidak menyelesaikannya secepat itu
https://www.youtube.com/watch?v=vQt7UZsYooQ
Saat saya menyelesaikan tugas ARC secara manual, tampilannya seperti ini, dan terlihat juga bahwa prosesnya cukup lambat
https://www.youtube.com/watch?v=PRdFLRpC6dk
Yang aneh, cara mengimplementasikan solver untuk tugas ARC tertentu cukup berbeda dari cara menyelesaikan puzzle dengan tangan. Kita harus menangani segala macam kasus tepi
Terima kasih banyak kepada tim ARC Prize
Ini benar-benar keren. Saya setuju dengan intuisi François bahwa paradigma pelatihan saat ini yang sangat rakus data tidak terlalu baik dalam generalisasi dan juga tidak berkelanjutan
Manusia tidak perlu 10 ribu contoh untuk membedakan kucing dan anjing, dan alasan utama komputer bisa melakukannya saat ini adalah karena ada jutaan contoh
Karena itu, mungkin sulit mentransfer pengetahuan ke domain yang lebih rumit, ketika data mahal, langka, dan sulit disintesis
Satu kritik saya: sebagian besar tes ini tampaknya menalar informasi sempurna dari sudut pandang teori permainan. Namun banyak masalah yang lebih sulit yang kita hadapi mengandung informasi tersembunyi
Poker dan negosiasi adalah contoh pemecahan masalah dalam situasi informasi tidak sempurna, dan menavigasi situasi sosial dengan mulus juga menuntut masalah terkait dalam menangani informasi tersembunyi
Salah satu hal yang benar-benar menarik yang bisa dilakukan manusia adalah menerima aturan permainan lalu menghasilkan strategi. Ada algoritma yang belajar sendiri untuk Go atau catur, tetapi algoritma self-play yang sama tidak berlaku untuk permainan dengan informasi tersembunyi
Sistem kecerdasan umum juga harus memiliki kemampuan untuk mensintesis pemecah masalah serbaguna bagi situasi semacam itu
Mungkin bukan sampai 10 ribu, tetapi rasanya skalanya ratusan, mungkin ribuan
Anak-anak meminta konfirmasi apakah tebakan mereka benar. Bahkan saat membaca lagi buku yang sudah dibaca 50 kali, mereka menunjuk anjing di gambar dan bertanya, “Anjing?”, dan tahap perkembangan seperti itu berlangsung cukup lama
Mereka juga bisa marah jika label yang diharapkan tidak sesuai dengan objeknya. Misalnya, anak laki-laki saya benar-benar marah jika seseorang menyebut warna dengan salah
Balita juga suka permainan memberi nama yang sengaja salah. Jika menunjuk ikan dan berkata, “Llama yang keren!”, anak akan tertawa terbahak-bahak sampai tersungkur karena merasa itu sangat lucu
Perkembangan otak manusia sangat lambat[1], dan rasa waktu linear juga belum ada cukup lama. Pada usia tiga tahun pun, semuanya masih salah satu dari kemarin, hari ini, atau besok
Anak-anak mengumpulkan informasi melalui berbagai indra, mengumpulkan data dengan kecepatan luar biasa selama 12–14 jam sehari, lalu beristirahat 10–12 jam untuk memproses informasi itu
[1] Lihat saja bayi yang menyadari ia punya kaki kanan, lalu beberapa hari kemudian mengetahui bahwa ia juga punya kaki kiri. Anda juga bisa melihat anak yang sedang belajar berdiri membenturkan kepalanya beberapa kali di bawah meja lalu membangun rasa tentang “bagian di atasku”. Ketika anak-anak “cepat” belajar, itu lebih berarti bahwa selama bertahun-tahun mereka tidak punya hal lain untuk dilakukan
Dengan kata lain, LLM diprapelatih hampir dari nol dengan prior yang sangat lemah, sedangkan otak manusia sudah dibekali prior yang sangat kuat sejak awal
Misalnya, hanya dengan penjelasan “anjing berburu dengan melacak hewan lalu mengejarnya lama-lama sampai lelah, sedangkan kucing menunggu kesempatan dan menyerang dengan penyamaran serta kelincahan,” orang yang belum pernah melihat anjing atau kucing pun kemungkinan besar bisa melihat kedua hewan itu dan menebak yang mana berdasarkan bentuk adaptasinya
Ini bisa menjadi tes yang menarik untuk AI, tetapi saya tidak yakin bagaimana menyusunnya sebagai evaluasi
Ide ARC memang sangat bagus, tetapi soal-soalnya tampak jauh lebih banyak menuntut pengetahuan dunia spasial daripada penalaran abstrak
Bentuk-bentuk saling tumpang tindih, saling memuat, memotong bagian lalu merakitnya kembali, dan menghilangkan noise dari bentuk geometri beraturan
Ini bisa saja disebut “pengetahuan inti”, tetapi bagi saya lebih terasa seperti “hal-hal yang intuitif bagi pemrosesan visual manusia”
Bisakah seseorang yang cerdas tetapi tunanetra menyelesaikan soal-soal ini?
Kekhawatiran bahwa kita mungkin membutuhkan lebih dari 800 contoh bukan karena penalaran abstrak terlalu sulit, melainkan karena soal-soalnya menuntut pengetahuan spasial yang dipelajari manusia cerdas dari jauh lebih banyak contoh pembelajaran daripada 800
Jika tes ini mewakili domain tempat manusia jauh lebih unggul daripada AI, maka ini tes yang berguna. Karena AI jelas kurang kompeten daripada manusia di banyak domain tetapi tetap lolos semua tes yang ada, kita membutuhkan lebih banyak tes seperti ini
Pre-training pada data tak terbatas harus diizinkan. Menggeneralisasi dari data yang mudah diperoleh ke tugas pengujian adalah persis apa yang dilakukan manusia
Saya yakin tunanetra juga bisa menyelesaikannya jika warna diterjemahkan menjadi sensasi taktil. Tunanetra juga memahami relasi spasial
Jika AGI didefinisikan setidaknya setara level manusia, AGI juga seharusnya bisa menyelesaikan soal seperti ini tanpa melihat lebih banyak contoh
Tampaknya tidak ada aturan tentang pengetahuan atau pengalaman apa yang boleh ditanamkan ke dalam solusi
Saya suka tujuan proyek ini. Akan bagus jika melihat mesin penalaran sebelumnya yang mencoba membangun common sense. Cyc dan OpenMind adalah contohnya
Daftar tujuan AGI di bagian 2 makalah ini juga bisa membantu
https://arxiv.org/pdf/2308.04445
Saat mempelajari pengantar fungsi otak, terlihat juga bahwa banyak area terhubung ke hipokampus. Hipokampus mungkin mampu melakukan keduanya: menyimpan konsep yang netral terhadap indra dan membuat model internal atau model aproksimasi dunia luar
Yang pertama membantu mengikat konsep melalui berbagai indra, sedangkan yang kedua membantu perencanaan saat membayangkan, mengevaluasi, dan mengulang kemungkinan
AGI tampaknya perlu memiliki sifat seperti hipokampus semacam ini dan sifat-sifat yang ada di makalah Cyc. Kita bisa menguji struktur apa yang secara teoretis atau dalam skala kecil mampu melakukan hal semacam itu
Ia juga tidak boleh terikat hanya pada satu jenis input indrawi. Minimal harus ada dua jenis, dan ia harus bisa bertindak berdasarkan hal-hal yang ada hanya di salah satu sisi atau ada di keduanya
Anak-anak juga melakukan pembelajaran tak terawasi dalam jumlah sangat besar terhadap data visual-spasial. Mereka mendapat reinforcement learning lewat bermain dan supervised learning dari orang tua. Untuk benchmark yang realistis, mungkin diperlukan pre-training dalam skala GB yang serupa
Misalnya, lihat bentuk yang saling memuat. Jika dua negara mengklaim wilayah yang sama, itu seperti ada himpunan X yang memuat Y dan himpunan Z yang memuat Y
Jika tumpang tindih yang sama itu tiga dimensi dan salah satunya berada di atas yang lain, kita bisa memperluasnya menjadi X memuat -Y dan Z memuat Y. Seperti hanya yang di atas yang terlihat tergantung posisi berdiri, dan keduanya tidak bisa terlihat sekaligus, kita bisa mengatakan X dan Z tidak dapat ada secara bersamaan. Jadi jika X maka -Y, dan jika Z maka Y
Jika kita memperhatikan bahasa yang kita gunakan, kita akan menyadari betapa seringnya relasi spasial dipakai bahkan untuk menjelaskan hal yang sepenuhnya abstrak. Misalnya kita bisa mengatakan ekonomi hegemoni yang runtuh, yaitu ungkapan seperti benda-benda yang bertumpuk di atas satu sama lain menghilang lalu kembali ke tempat asalnya
Pada akhirnya, kita bernalar tentang hal-hal yang terjadi dalam waktu dan ruang
Dan ruang tidak sama dengan penglihatan. Meski tunanetra, seseorang tetap harus bernalar secara spasial. Sebab himpunan fakta apa pun adalah fakta dalam ruang-waktu
Untuk memahami sejarah, kita harus memahami orang-orang dalam ruang, orang-orang yang hidup pada jarak berbeda, serta bagaimana barang diproduksi melalui proses fisik di berbagai lokasi di Bumi dan dipertukarkan secara fisik
Untuk memahami pertempuran, kita harus memahami bagaimana pasukan ditempatkan secara fisik, bagaimana pergerakan suplai bekerja, kondisi cuaca, serta apa yang benar-benar dimungkinkan oleh senjata dan bentuk fisiknya
Bahkan apa yang dilakukan LLM, kemajuan terbesar dalam AI, sebenarnya apa? Mengodekan token ke dalam ruang multidimensi
Relasi spasial hanyalah satu lagi relasi logis, dan AGI seharusnya mampu menganalisis relasi serta membuat algoritma secara spontan untuk menyelesaikan masalah
Fakta bahwa manusia mungkin memiliki berbagai bias tidak berarti bias itu melekat pada semua kecerdasan
Klaim bahwa tes ini mudah bagi manusia terasa meragukan, jadi saya sempat mencari sedikit. Melanie Mitchell ikut dalam thread Chollet dan mengunggah tes terkait, ConceptARC
Di sana ia mempertanyakan apakah tes Chollet benar-benar mudah. “Salah satu keterbatasan ARC sebagai alat yang berguna untuk riset AI adalah bahwa ia mungkin terlalu sulit. Banyak tugas dalam korpus Chollet juga sulit bagi manusia, dan keseluruhan korpus mungkin terlalu sulit bagi mesin sehingga tidak dapat menunjukkan kemajuan nyata dalam perolehan pengetahuan inti”
ConceptARC dirancang agar lebih mudah, tetapi sekitar 15% peserta internalnya harus disaring karena “tidak dapat menyelesaikan setidaknya dua tugas, atau memberikan penjelasan kosong atau tidak masuk akal”
Bahkan setelah penyaringan ini, ConceptARC masih menemukan tambahan tingkat kegagalan manusia sekitar 10–15% pada soal utama, jadi bahkan pada soal yang lebih sederhana yang dibuat untuk menguji “AGI”, 25–30% orang tidak dapat menyelesaikannya
Dalam hasil utama ConceptARC, CG4 jauh lebih rendah daripada manusia yang sudah difilter, dan ini juga selaras dengan hasil tes [Mensa]https://www.maximumtruth.org/p/ais-ranked-by-iq-ai-passes-10... yang menyebut IQ=85
Chollet dan Mitchell juga bisa melakukan stratifikasi kelompok manusia untuk memperkirakan IQ lalu membandingkannya dengan pengukuran Mensa, misalnya melihat bagaimana Claude3@IQ=100 berkorelasi dengan skor ARC manusia rata-rata
[ConceptArc]https://arxiv.org/pdf/2305.07141
“Manusia mampu menyimpulkan program dasar dan menghasilkan keluaran tes yang benar untuk contoh masukan tes baru, dengan rata-rata 84% tugas diselesaikan per peserta”
Entah saya jauh lebih bodoh daripada yang saya kira, atau validasi tesnya perlu dibuat lebih baik
Jika klaim itu diterima apa adanya, jelas tes ini mengukur suatu perbedaan penting bila tidak satu pun model yang ada mampu meraih bahkan setengah skor manusia rata-rata
Orang bisa saja berbeda pendapat apakah soal ARC merupakan sampel representatif dari semua program abstrak yang dapat disintesis, tetapi kebanyakan LLM pada akhirnya juga dilatih dari data manusia
Saya setuju dengan tujuan kompetisinya, tetapi mengingat puluhan miliar dolar sudah diinvestasikan dalam persaingan AGI dan ke depannya akan jauh lebih banyak lagi, hadiah 1 juta dolar terasa agak kecil
Dampak AGI setidaknya akan diukur dalam satuan triliun. Pada akhirnya yang diberi imbalan bisa jadi bukan riset AGI, melainkan pekerjaan menyetel rilis LLM terbuka terbaru agar paling cocok dengan parameter tes
Sebaiknya platform untuk berkomunikasi dengan publik juga diganti. Tautan x.com sekarang tidak bisa diakses tanpa membuat akun
Tujuan utama penghargaan ini adalah meningkatkan kesadaran publik tentang seberapa dekat kita dengan AGI, atau seberapa jauh posisi kita saat ini: https://arcprize.org/leaderboard
Semoga pemahaman seperti ini mendorong lebih banyak calon peneliti AI beralih meneliti ide-ide baru
Saya sangat menyukai ARC sebagai sekumpulan masalah untuk diselesaikan. Kelangkaan data dan aturan yang dapat diterapkan yang pada dasarnya tak terbatas membuatnya jauh lebih sulit daripada kumpulan masalah machine learning tradisional
Namun saya tidak setuju bahwa masalah ini mewakili AGI. Ini hanyalah dataset yang berbeda dari kisah sukses machine learning yang ada, dan pendekatannya pada umumnya mirip dengan sebelumnya
Terobosan yang benar-benar baru berupa AGI mungkin saja dapat menyelesaikan kumpulan masalah ini, tetapi saya tidak melihat kemampuan menyelesaikannya sebagai indikator AGI yang terjamin
Ini benar-benar menarik dan saya menyukainya, tetapi berdasarkan intuisi setelah melihat sekitar selusin contoh, masalah ini memang sulit namun cukup mudah sehingga jika menjadi populer, hasil yang mendekati level manusia mungkin muncul dalam setahun atau bahkan lebih cepat, dan tetap saja tidak akan mencapai AGI
Kuncinya tampaknya menemukan bahasa teknik transformasi yang cukup umum dengan operator yang tepat. Lalu diperlukan heuristik untuk menemukan program yang sangat pendek, dalam pengertian teori informasi, yang dapat menghasilkan semua contoh dari satu masalah
Saya akan sangat terkejut jika hasil 34% tidak segera terdongkrak jauh, dan saya juga akan terkejut jika ini dapat ditransfer ke kecerdasan umum. Apalagi jika melihat topik-topik yang saya gunakan dengan AI hari ini dan area yang masih kurang
Pada dasarnya intuisi saya mengatakan ini akan menjadi masalah lain seperti catur atau Go dalam AI. Meski begitu, ini jelas bernilai sebagai topik riset, dan nilai yang mungkin muncul darinya bisa jauh melampaui 1 juta dolar
Saya sama sekali tidak melihat kemampuan mengerjakan tugas ini dengan baik sebagai bukti AGI sejati. Misalnya, itu berbeda dari kemampuan menulis bukti matematika baru, mengajukan pertanyaan berwawasan yang belum terpikirkan siapa pun, mengarahkan pembelajaran diri sendiri, atau membaca kode sumbernya sendiri
Ungkapan “satu-satunya evaluasi yang mengukur AGI” itu berlebihan. Ini hanya soal yang tidak bisa dikerjakan LLM, bukan berarti ini ukuran yang baik untuk kecerdasan umum buatan
Setelah mencoba memecahkan beberapa soal, saya jadi penasaran ada berapa banyak aturan transformasi berbeda di dalam pembuat soalnya. Sepertinya tidak banyak
Jadi masalahnya terbagi menjadi: mengekstrak kumpulan aturan transformasi dari data, lalu menerapkannya pada soal baru
Bagian pertama sulit, dan merupakan masalah ekstraksi fitur. Karena transformasinya tampaknya diterapkan secara ketat, setelah mendapatkan aturan transformasi dan memilih aturan yang cocok untuk semua contoh input, penerapannya sendiri seharusnya sederhana
Sepertinya yang dibutuhkan adalah ekstraksi fitur yang eksplisit, bukan gabungan ekstraksi dan pemanfaatan fitur seperti yang digunakan LLM. Apakah ada yang pernah mengekstrak kumpulan aturan dari kasus uji?
Beberapa solusi teratas dari kompetisi Kaggle aslinya menggunakan bahasa khusus domain yang terdiri dari transformasi semacam ini. Itu 4 tahun lalu. [1]
Masalah dengan jalur itu adalah tugas-tugasnya tidak menggunakan generator program. Kumpulan aturannya bisa berupa apa pun yang dapat dipikirkan manusia. Bisa sesederhana “objek terbesar menjadi biru”, tetapi bisa juga jauh lebih kompleks
Selain itu, set pengujiannya bersifat privat sehingga tidak bisa dipelajari atau diekstrak. Di dalamnya juga ada aturan yang tidak terdapat pada set publik
[1] https://www.kaggle.com/competitions/abstraction-and-reasonin...
Makalah asli François Chollet luar biasa penuh wawasan, dan saya selalu heran mengapa tidak lebih banyak orang membicarakannya
Sebagiannya cukup teknis, tetapi pada tingkat tinggi itu adalah jawaban terbaik yang pernah saya lihat untuk pertanyaan “apa arti kecerdasan umum?”
Setelah mempertimbangkan pengetahuan awal yang eksplisit maupun implisit tentang dunia, mendefinisikan kecerdasan sebagai efisiensi belajar membuat jauh lebih mudah memahami mengapa kecerdasan manusia begitu mengesankan
Dwarkesh baru saja menerbitkan wawancara dengan François Chollet. Ia adalah partner penulis posting asli
Saya baru mendengarkan beberapa menit, tetapi sangat tertarik mendengar lebih banyak pemikirannya tentang keterbatasan LLM
https://youtu.be/UakqL6Pj9xo