- Project Sid adalah repositori laporan teknis yang menunjukkan bagaimana 10 hingga lebih dari 1000 agen AI berperilaku dan berkembang di dalam masyarakat agen
- Evaluasi agen AI yang ada selama ini dinilai masih terbatas pada agen tunggal atau kelompok kecil, sehingga cakupan dan kompleksitas interaksinya terbatas
- PIANO adalah arsitektur Parallel Information Aggregation via Neural Orchestration, yang memungkinkan agen berinteraksi secara real-time dengan manusia dan agen lain sambil menjaga konsistensi beberapa aliran output
- Di lingkungan Minecraft, performa agen dalam simulasi skala besar dievaluasi dengan benchmark peradaban yang terinspirasi dari sejarah manusia
- Pada hasil awal, agen mencapai tonggak penting menuju peradaban AI, seperti menciptakan peran khusus secara otonom, mengikuti atau mengubah aturan kolektif, serta berpartisipasi dalam penyebaran budaya dan agama
Masalah yang dibahas Project Sid
- Agen AI sejauh ini terutama dievaluasi dalam kondisi terisolasi atau dalam kelompok kecil
- Dalam pengaturan seperti ini, cakupan dan kompleksitas interaksi antaragen menjadi terbatas
- Project ini berangkat dari kesadaran masalah bahwa simulasi agen otonom skala besar yang mencerminkan seluruh spektrum proses peradaban belum dieksplorasi
Arsitektur PIANO
- Project Sid mengusulkan arsitektur PIANO
- Nama lengkapnya adalah Parallel Information Aggregation via Neural Orchestration
- Memungkinkan agen melakukan interaksi real-time dengan manusia dan agen lain
- Bertujuan menjaga konsistensi di seluruh beberapa aliran output
Simulasi dan metode evaluasi
- Evaluasi dilakukan di lingkungan Minecraft
- Untuk mengevaluasi performa agen dalam simulasi skala besar, digunakan benchmark peradaban yang terinspirasi dari sejarah manusia
- Skala eksperimen mencakup 10 hingga lebih dari 1000 agen AI
Perilaku agen yang diamati
- Simulasi menunjukkan bahwa agen dapat memperlihatkan kemajuan yang bermakna
- Perilaku yang diamati meliputi:
- Mengembangkan peran terspesialisasi secara otonom
- Mengikuti aturan kolektif dan mengubahnya bila diperlukan
- Berpartisipasi dalam penyebaran budaya dan agama
Materi dan informasi sitasi
- Makalah tersedia di dua lokasi
- arXiv:2411.00114
- File PDF
2024-10-31.pdfdi dalam repositori
- Informasi sitasi diberikan sebagai
Altera.AL, 2024,arXiv preprint arXiv:2411.00114 - Hasil awal Project Sid dirangkum sebagai pembuka arah eksplorasi baru untuk simulasi sosial skala besar, kecerdasan organisasi agen, dan integrasi AI ke dalam peradaban manusia
1 komentar
Pendapat Hacker News
Sepertinya ada semacam batasan teori informasi dalam memunculkan perilaku tingkat tinggi dari beberapa instans LLM yang sama
Tahun lalu saya cukup lama membuat simulasi multi-agen, dan setiap hari sampai pada kesimpulan yang sama. Pada akhirnya ini lebih mirip prompt engineering secara tidak langsung, dan meski bisa berguna sebagai model mental, keseluruhannya bisa diratakan menjadi beberapa tabel SQL dan fungsi. Tiap “agen” pada dasarnya lebih mirip view SQL yang dipetakan ke template string pembuat prompt
Saya tidak melihat perlunya dunia 3D nyata atau sesuatu seperti jam dinding. Menaruh representasi yang tampak meyakinkan di bawah proses pembuatan prompt tampaknya tidak membuat LLM menjadi lebih kaya secara bermakna. Jelas tidak ada “dunia batin” di dalam LLM, jadi upaya untuk menghiburnya dengan lingkungan eksternal yang kaya tampak tidak terlalu berarti
Mungkin suatu hari nanti rigging dan mesh bertekstur yang dapat dikontrol bisa dibuat cukup baik untuk dipakai dalam game, tetapi saat ini LLM belum bisa membuat cerita dadakan yang cukup andal untuk membantu alur game yang konsisten. Pembuatan peta juga tampaknya tidak membutuhkan lebih dari algoritma generasi prosedural yang sudah ada, dan contoh-contoh ini pun masih bergantung pada aset yang sudah dibuat sebelumnya. Implementasi yang ada tampaknya bahkan belum bisa menempatkan mesh statis di atas tanah secara meyakinkan dengan stabil
Saya juga mempertanyakan seberapa bernilai NPC sebenarnya. Bisa jadi ini hanya kebaruan semata dan bahkan tidak bernilai satu jam. Bahkan jika LLM membuat progresi alur terpandu lewat kalimat spontan, saya ragu itu akan sama baik atau lebih baik daripada pohon dialog yang dibuat penulis profesional
Ide Civ ini sampai batas tertentu tampak seperti pendekatan baru, tetapi secara konseptual sepertinya tidak menambahkan banyak. Meski begitu, mempelajari bahwa sesuatu tidak berhasil pun tetap bernilai. Hanya saja ide-ide seperti ini umumnya adalah solusi berbasis buzzword yang sedang mencari masalah, atau sumber kreativitas yang lebih murah daripada manusia tetapi dengan kompromi kualitas besar dan membutuhkan terlalu banyak penyetelan dari developer, sehingga penghematan biaya nyatanya juga tidak jelas
Sebagai technical artist, saya memang bias karena lebih menghargai kreativitas manusia, tetapi pada saat yang sama saya mestinya termasuk target utama alat LLM untuk pengembangan game, dan sejauh ini saya belum yakin
Saya sepenuhnya mendukung kepentingan komersial yang menarik perhatian dan partisipasi. Ini jelas pekerjaan yang keren, tetapi lebih masuk akal untuk menyajikan situasinya dengan jauh lebih jujur dan menarik orang-orang dengan keahlian serta tingkat kesadaran yang benar-benar bisa mendorong kemajuan
Akan jauh lebih menarik jika mereka membuka sepuluh ribu hal yang salah dalam eksperimen, lalu merangkum kesimpulan akal sehat yang muncul darinya. Kita butuh hal-hal yang berwawasan dan benar seperti kesimpulan yang disebut di atas
Industri ini dan para pendukungnya harus melampaui arus yang berusaha menang dengan metodologi keliru, sambil menyingkirkan orang-orang kreatif yang siap menciptakan pergeseran paradigma di bidang dan industri AI
Semua prompt memang bisa ditulis secara manual, tetapi kalau begitu realitas bersama itu hanyalah imajinasi penulis, dan penulis berperan sebagai dungeon master
Tujuan lingkungan Minecraft bukan untuk memperkaya “dunia batin” agen atau “menghibur” mereka. Tujuannya membuat tugas yang dapat dipahami manusia di dalam lingkungan bersama, lalu mengukur perilaku kolektif dan kinerja kelompok agen dengan konfigurasi berbeda
Saya tahu suasananya kurang mendukung untuk mengatakan ini, tetapi saya bertanya-tanya apakah komentarnya membaca tulisannya. Komentar ini hampir tidak membahas temuan penelitian atau teknik yang digunakan
Semuanya tidak harus memakai model yang sama, dan manajemen konteks yang menjaga “rantai pemikiran” tiap agen tetap sempit dan terfokus bisa jadi penting
Yang pertama pada dasarnya adalah hal yang ditangani oleh mixture of experts (MoE), dan pada model-model kecil saya melihatnya bekerja jauh lebih baik ketika cakupan dan konteks dibatasi. Jika hasilnya membuat sistem melakukan sesuatu yang tidak bisa dilakukan satu model besar, bukankah itu bisa disebut perilaku tingkat tinggi?
Pernyataan bahwa tidak ada “dunia batin” memang benar, tetapi mungkin justru karena itu memberi mereka satu dunia bisa menjadi keuntungan. Seperti ketika LLM diberi alat eksekusi kode sehingga dapat menjalankannya sendiri dan menulis kode yang lebih baik, dunia 3D juga bisa menjadi taman bermain untuk mengeksplorasi masalah dunia nyata dengan cara lain. Jika itu terjadi, maka bisa dianggap sebagai perilaku tingkat tinggi
Pada LLM, hanya sedikit sekali entropi yang masuk melalui suhu sampler
Ini benar-benar tampak mendekati agen kecerdasan buatan
Ada memori, kehendak, otonomi, struktur seperti loop OODA, dan lingkungan yang berkelanjutan. Konsepnya sangat bagus, dan saya rasa pelajaran dari sini bisa diterapkan juga pada masalah bisnis yang lebih biasa
Namun saya berharap manajemen memahami bahwa beberapa prompt yang saling memuntahkan hasil satu sama lain bukanlah “AI agentic mutakhir”
Tetapi pekerjaan mereka mungkin bergantung pada kemampuan menjual sesuatu yang tampak seperti inovasi nyata kepada para eksekutif
Agen-agen yang ada pun sudah sering memiliki memori dan berbagai unsur yang disebutkan tadi
Saya sudah menelaah makalahnya, dan saya yakin makalah ini direkayasa di atas kumpulan klaim palsu
Klaim-klaimnya tampak tidak tulus, dan tidak boleh diterima begitu saja tanpa peer review. Jika ditinjau dari kesesuaiannya dengan klaim, diagram dan grafik yang disediakan pun dalam banyak kasus tampak seperti pemalsuan yang canggih
Saat ini tidak ada jenis LLM apa pun yang bisa melakukan hal yang diusulkan. Dari sisi kepentingan komersial, niatnya mungkin baik, tetapi jelasnya makalah ini terbaca seolah-olah sekelompok agen AI di dalam simulasi mengoordinasikan aktivitas terkait pemilu. Klaim seperti ini membutuhkan bukti yang kuat, tetapi bukti itu tidak diberikan
Prompt yang disediakan sama sekali tidak terhubung dengan cara penerapan LLM yang dijelaskan
Eksperimen “pemilu” adalah skenario yang sudah didefinisikan sebelumnya, dan tidak ada “koordinasi” aktivitas pemilu. “Influencer” yang sudah ditetapkan sebelumnya menggunakan sistem percakapan yang tertanam di PIANO, sentimen dikumpulkan secara otomatis oleh simulasi, dan “Election Manager” juga merupakan agen lain yang sudah didefinisikan sebelumnya
Bagian eksperimen ini khususnya dirancang untuk melihat bagaimana ada atau tidaknya modul tertentu dalam framework PIANO memengaruhi perilaku
Efek aktivitas pemilu kemungkinan besar sangat rendah, tetapi saya tidak melihat sebagai hal yang mustahil bahwa para agen saling mem-prompt hingga masuk ke ruang laten LLM yang terkait pemilu
Dengan tingkat ketelitian dan ketulusan yang sama, ini tampak seperti omong kosong karena iri hati dan jelas salah memahami sebagian besar makalah
Jika perilaku satu agen menjadi pemungut pajak dan agen lain menantang sistem pajak muncul tanpa hardcoding, itu benar-benar mengesankan
Saya sudah banyak memikirkan masalah ini. Saya bukan filsuf maupun peneliti AI, jadi ini lebih seperti spekulasi, tetapi jika saya melakukannya sendiri, saya ingin memulai dari prinsip lalu membiarkan sistem berevolusi atau ditemukan seiring waktu
Prinsipnya adalah hal-hal seperti pelestarian diri, makanan, tempat tinggal, reproduksi, komunikasi, dan memori, dilihat melalui lensa perhitungan risiko-imbalan. Menentukan apa yang “diketahui” dan apa yang “tidak diketahui” juga bisa menjadi kunci, tetapi tidak boleh bersifat dikotomis
“Memori” bisa berarti banyak hal, tetapi jika dikodekan sebagai fungsi: suatu entitas melakukan suatu tindakan yang menghasilkan suatu akibat, lalu profil risiko-imbalan yang diberikan pada akibat itu dibandingkan dengan nilai uji empiris yang membentang dari sangat negatif hingga sangat positif, tampaknya itu akan luas dan berguna baik bagi individu maupun kelompok
Dari sana muncul kebutuhan untuk terhubung dengan orang lain, konflik sumber daya, pengambilan risiko, eksplorasi hal yang tidak diketahui, berbagi hal yang dipelajari, penyempurnaan risiko-imbalan, dan sebagainya. Sebagai dungeon master bak dewa, kita juga bisa mengarahkan peradaban agar menemukan teknologi, penemuan, dan tempat yang sudah didefinisikan sebelumnya. Itu memang agak curang dan menaruh perkembangan di atas rel, tetapi juga membuatnya lebih berguna, menarik, dan mudah dihubungkan
Beban komputasinya tampak sangat besar, tetapi permainannya tidak harus berjalan secara real-time
Saya rasa banyak bagian dari kondisi manusia dapat dijelaskan dengan “kehidupan”, “kebebasan”, “cinta/koneksi”, dan “keserakahan”
Melihat video di repositorinya, saya tidak suka cara mereka mencampurkan “budaya”, “meme”, dan “agama” sejak awal. Saya pikir lebih baik membiarkan hal-hal itu muncul secara emergen dari kebutuhan komunikasi dan proses berbagi sistem kepercayaan yang lahir dari memori kolektif. Untuk tujuan analisis ini, itu mungkin tampak seperti pembedaan tanpa perbedaan. Selain itu, jika “pajak terlalu tinggi!” muncul tanpa dasar “sumber daya tidak cukup untuk hidup”, hasilnya terasa terlalu seperti tiruan manusia yang mekanistis
https://en.wikipedia.org/wiki/Society_of_Mind
Buku ini pertama kali terbit pada 1986, dan merupakan buku pertama yang menjelaskan secara komprehensif teori “society of mind” yang dikembangkan Minsky sejak awal 1970-an. Buku ini terdiri dari 270 esai independen yang dibagi menjadi 30 bab, dan juga pernah ada versi CD-ROM
Dalam menjelaskan society of mind, Minsky mengajukan teori tentang bagaimana proses seperti bahasa, memori, dan pembelajaran bekerja, serta membahas konsep seperti kesadaran, rasa diri, dan kehendak bebas. Karena itu, banyak orang juga memandang The Society of Mind sebagai karya filosofis
Buku ini tidak ditulis untuk membuktikan klaim AI atau ilmu kognitif tertentu, dan juga tidak membahas struktur otak fisik. Sebaliknya, ini adalah kumpulan gagasan tentang bagaimana pikiran dan proses berpikir bekerja pada tingkat konsep
Buku ini juga cukup mudah dibaca bagi non-spesialis yang ingin mengenal AI di bidang ini
Beberapa bidang akan mendapat manfaat besar, tetapi saya rasa kecerdasan buatan itu sendiri belum sampai sejauh itu. Game tampaknya akan memperoleh manfaat besar
Dalam reinforcement learning, kebijakan akan diperbarui setiap kali menang; saya penasaran bagaimana itu bekerja dalam AI generatif
Meme dan gen sama-sama memori, tetapi skala waktunya berbeda
Terlihat seperti mainan yang sangat keren
Namun dari sudut pandang riset ilmiah, tampaknya tidak terlalu berguna. Sepertinya tidak banyak pemikiran yang dicurahkan pada desain eksperimennya, dan tidak terlihat ada tujuan yang jelas. Saya jadi bertanya-tanya apakah standar riset akademik sekarang memang serendah ini
Mereka menyebutnya laporan teknis, dan dalam format seperti ini umumnya lebih bisa diterima untuk memuat “kami melakukan hal seperti ini” beserta laporan rinci tanpa pertanyaan riset yang jelas. Meski begitu, laporan ini terlihat cukup tidak fokus
Bagian spesialisasi dan penyebaran budaya sama-sama menarik, tetapi karena kurang detail desain eksperimen yang tepat, saya merasa akan lebih baik jika mereka berfokus pada salah satunya
Sayang juga bahwa dalam kasus multiagen mereka tidak berfokus pada metrik eksternal. Benchmark agen tunggal melihat metrik eksternal berupa “waktu hingga jenis blok”, tetapi analisis multiagen tampaknya berhenti pada pengukuran internal seperti spesialisasi peran dan penyebaran meme. Tidak terlihat apakah sistem multiagen kolektif mencapai lebih banyak daripada agen tunggal dalam metrik seperti produktivitas ekonomi atau kompleksitas
Ini jelas terkait dengan bagian spesialisasi, tetapi jika tidak mempertimbangkan apakah pembagian peran yang muncul itu punya hasil ekonomi atau prasyarat tertentu, saya jadi bertanya-tanya sejauh mana semuanya hanyalah pantomim
Sebagian orang lebih menyukai kecepatan dan ketidakpastian yang menyertainya
Saya penasaran apakah “peradaban” AI seperti yang diusulkan Altera, asalkan ada sistem imbalan yang dapat dijalankan untuk seluruh peradaban, bisa menjadi paradigma yang lebih baik untuk AGI dibandingkan satu LLM saja
Misalnya, seperti negara modern yang mencoba memaksimalkan GDP, jika peradaban AI ini mencoba memaksimalkan [scientific_output] atau [code_quality] atau metrik evaluasi lain, apakah itu bisa memberikan hasil yang lebih baik daripada satu agen AI yang bekerja menuju tujuan yang sama
Sangat direkomendasikan bagi siapa pun yang tertarik pada pikiran dan AI. Buku ini membahas berbagai sisi argumennya dalam esai-esai satu halaman, format yang menarik sampai bisa dibilang bergaya Martin Luther
Tentu saja, dalam arus besar menuju pendekatan LLM murni yang berkilau, gagasan ini agak tersisih, tetapi menurut saya itu lebih karena basis pengguna yang membesar drastis daripada karena pengetahuannya hilang. Para ahli masih mengingat perspektif ini, dan kadang membahasnya dengan istilah “ensemble”
Contoh bagusnya adalah GPT-4; sejauh pemahaman saya, peningkatan performa besarnya terutama berasal dari penggunaan mixture of experts, yang menurut saya kurang lebih sinonim dengan masyarakat agen atau ensemble model
Terlihat sangat keren. Saya skeptis terhadap manfaatnya untuk “peradaban”, tetapi setidaknya sepertinya bisa dibuat menjadi game simulasi yang menarik
Jadi mungkin ini lebih cocok untuk Civilization daripada civilization
Civ punya begitu banyak jebakan bodoh sehingga sulit meng-hardcode AI strategi yang bagus secara ekonomis, dan menyelesaikannya dengan membuat musuh curang itu hanya menyebalkan. Akan menarik jika jaringan saraf tiruan dilatih terus-menerus bertanding melawan AI “klasik” sampai bisa mengalahkan tiap tingkat kesulitan secara konsisten, lalu dibuat berlapis-lapis. Rasanya pasti sudah ada yang mencoba, tetapi saya tidak menemukan materinya
Namun saya skeptis soal seberapa besar biaya komputasi saat inferensi bahkan untuk jaringan saraf tiruan Civ yang sangat buruk. Saya tidak tahu bagaimana skalanya dalam praktik, tetapi meski tidak harus setingkat grandmaster, distribusi kesalahan bodoh punya ekor panjang
AI Starcraft 2 dari DeepMind berbeda dari AlphaZero karena Starcraft bukan game dengan informasi sempurna. AI itu membutuhkan basis data permainan manusia agar tidak terus dihancurkan di fase awal. Untuk game baru, data pelatihan seperti itu sulit didapat. Civ juga lebih menekankan ekspresi artistik dibandingkan game strategi 4X lain, dan jika AI harus dilatih ulang setiap kali ada keajaiban baru, bebannya bisa terlalu besar
Saya skeptis apakah proyek ini benar-benar bekerja seperti yang disajikan, tetapi ide membuat game Civilization di atas engine Minecraft sangat menarik
Hearthstone khususnya terlintas di pikiran
Taruhannya lebih besar dan lebih realistis daripada “mari rencanakan pesta”, “baik, aku akan mengumpulkan kayu”
Agar adil, mungkin saja makalahnya membahas itu. Bagaimanapun, entah bagaimana ini terasa seperti prapublikasi dari prapublikasi
Mengingatkan saya pada Dwarf Fortress. Game yang mensimulasikan ribuan tahun waktu dunia para dwarf, medan yang berubah, serta naik-turunnya kerajaan dwarf, lalu menaruh tujuh dwarf yang dikendalikan pemain di peta dan berkata “selamat bersenang-senang!”
Ini bisa menjadi model mainan yang berguna untuk mencari area penyelidikan tentang apakah perilaku peradaban nyata bisa diprediksi, tetapi saya tidak melihat terobosan AI di sini
Mungkin lain cerita saat Project Sid 6.7 keluar
Dari isinya saya kira itu film beberapa tahun setelahnya. Kalau suka film cyberpunk era 90-an, layak ditonton
https://www.imdb.com/title/tt0114857/
https://en.wikipedia.org/wiki/Virtuosity
Ada juga tulisan pengumuman di blog: https://digitalhumanity.substack.com/p/project-sid-many-agen...
Setelah membaca makalahnya, ini terlihat seperti menjungkirbalikkan pokok persoalan
Para agen tidak bisa benar-benar memainkan Minecraft secara individual, dan juga tidak berhasil menjalankan tugas yang ditugaskan atau mereka ajukan sendiri. Dalam arti tertentu, ini seperti memakaikan pakaian manusia pada anjing lalu menyatakannya sebagai peradaban mirip manusia
Selain itu, unsur-unsur kuncinya pada dasarnya di-hardcode. Begitu juga jenis masyarakat yang mungkin, dan mungkin nama perannya. Saya juga tidak begitu tahu apa arti organisasi sosial yang seharusnya di sini. Paling kuat pun, klaimnya hanya sebatas bahwa framework agen ini mungkin bisa dipakai untuk NPC gim, yaitu klaim bahwa agen mempertahankan peran dan faksi
Klaim bahwa agen “dapat menggunakan struktur hukum” sangat tidak meyakinkan. Sebab “gunakan struktur hukum” tertanam dalam berbagai perilaku agen. Upaya memperluas ini ke masyarakat manusia nyata terasa konyol, dan fakta bahwa para penulis dengan santai mengabaikan sosiologi dan antropologi juga tidak membantu
Ada klaim lain yang meragukan. Saya mengatakan “percaya” bahwa nama perannya di-hardcode, tetapi kalau saya tidak melewatkan sesuatu, informasinya sangat kabur sampai sulit diterima. Saya tidak melihat unsur apa pun dalam prompt agen yang membuat peran baru atau membiarkan mereka menetapkan peran sendiri. Bisa saja saya melewatkannya, tetapi makin dibaca makin membingungkan
Mereka mengklaim bahwa para agen membentuk hubungan sosial jangka panjang selama 12 hari Minecraft, tetapi itu hanya empat jam dalam waktu nyata, dan agen mengalami waktu nyata. Panjang satu hari Minecraft tidak penting. “Pembentukan hubungan sosial jangka panjang” dan “penggunaan struktur hukum” bukan sekadar dilebih-lebihkan, melainkan tampak tidak jujur
Bagian tentang penyebaran meme dan agama sama sekali mengabaikan kontaminasi data pelatihan GPT-4. Meme yang diringkas jelas menunjukkan pengetahuan tentang meme Pastafarian di dunia nyata, jadi keliru menyimpulkan bahwa meme ini “menyebar”. Jauh lebih mungkin meme itu dipicu dalam agen yang sudah mengetahuinya. Saya bertanya-tanya mengapa mereka tidak bereksperimen dengan agama palsu yang benar-benar baru
Beberapa contoh meme seperti “oak log crafting syndrome” tampak baru, tetapi yang seperti “meditation circle” atau “vintage fashion and retro projects” tidak ada hubungannya dengan Minecraft dan hampir pasti halusinasi GPT-4
Secara keseluruhan, untuk melakukan penelitian yang jujur, memakai GPT-4 tampak seperti kesalahan yang buruk
Misalnya, jika status papan n×n diberikan sebagai model dunia dan opsi terbatas disediakan, agen dapat memainkan gim dengan stabil dan menjelaskan keputusannya kepada game master. Ini memberi ilusi seolah-olah agen sedang bernalar
Pada akhirnya, menurut saya ini adalah persoalan encoding yang memecah model dunia menjadi masalah pilihan sederhana
[1] https://jdsemrau.substack.com/p/evaluating-consciousness-and...