Obituari Cyc

• Cyc adalah proyek AGI berbasis basis pengetahuan akal sehat yang dimulai Douglas Lenat pada 1984; meski mencapai skala 30 juta assertion, 200 juta dolar, dan 2.000 person-year, proyek ini gagal meninggalkan bukti pencapaian kecerdasan umum
• Lenat menilai AM dan EURISKO menghabiskan heuristik awal, lalu berupaya mengaktifkan knowledge pump dengan terlebih dahulu memasukkan jutaan fakta dan aturan akal sehat secara manual
• Cyc memiliki CycL, microtheory, sekitar 1.100 mesin inferensi, dan parsing bahasa alami yang terbatas, tetapi tidak pernah mencapai tahap membaca teks bahasa alami dan belajar secara otonom
• Aplikasi pemerintah dan komersial yang dapat dikonfirmasi secara publik mencakup Terrorism Knowledge Base, kasus Cleveland Clinic, keamanan jaringan, dan integrasi data, namun tidak jauh berbeda dari pendekatan expert system dan information retrieval yang sudah ada
• Cycorp memperoleh stabilitas finansial jangka panjang dan sebagian keberhasilan komersial, tetapi karena sifat tertutup, ketiadaan benchmark, dan penghentian OpenCyc, pengaruhnya terhadap riset AI eksternal dan bidang knowledge retrieval tetap terbatas

---

Evaluasi inti terhadap Cyc

• Cyc adalah proyek AGI berbasis symbolic AI yang dikejar Douglas Lenat selama 40 tahun
  • Tujuannya adalah mengenkode pengetahuan akal sehat manusia dalam bahasa logika dalam skala besar, lalu membangun sistem yang dapat melakukan inferensi dan pembelajaran di atasnya
  • Proyek ini berkembang hingga sekitar 30 juta assertion, 200 juta dolar, dan 2.000 person-year
• Terobosan yang berulang kali dijanjikan Lenat pada akhirnya tidak pernah muncul
  • Pada 2016 Lenat mengatakan Cyc sudah mendekati “done”, tetapi bukti pembelajaran otonom atau AGI tetap tidak terlihat
  • Hingga 2025, bahkan dengan asumsi knowledge pump telah dipriming selama 9 tahun, tidak ada tanda tercapainya general intelligence
• Arsip tambahan terkait Cyc tersedia secara publik di cyc-archive

Logika yang menghubungkan AM dan EURISKO ke Cyc

• Titik awal Lenat adalah proyek disertasi 1976, Automated Mathematician(AM)
  • AM dimulai dari 115 concept teori himpunan dan sekitar 250 heuristic rule, dan dikenal karena “menemukan kembali” bilangan natural, bilangan prima, Goldbach conjecture, dan lainnya
  • Namun, AM tidak dapat menciptakan heuristik baru, dan menunjukkan batasan “die of boredom” setelah menghabiskan heuristik awal
• Sistem lanjutan EURISKO adalah upaya untuk membuat sistem menemukan heuristik itu sendiri
  • Dalam tournament Traveller The Trillion Credit Squadron, sistem ini menang pada 1981 dan 1982 dengan desain armada yang tidak ortodoks
  • Menurut estimasi Lenat, EURISKO versi akhir berjalan total 1.300 CPU-hours pada Xerox 1100 Lisp machine, dan kemenangan Traveller itu merupakan kontribusi “60/40% Lenat/EURISKO”
• Pada akhirnya EURISKO juga tidak mampu menghindari pengurasan diri sendiri
  • Penemuan heuristic rule secara mandiri bergantung pada meta-heuristic rule, dan meta-heuristic itu pun kehilangan efektivitas setelah dipakai beberapa kali
  • Lenat menyimpulkan bahwa untuk terus menghasilkan analogi dan ide baru seperti manusia, diperlukan pengetahuan akal sehat yang sangat luas

Desain Cyc dan knowledge pump

• Cyc dimulai pada 1984 di dalam MCC, lalu berlanjut menjadi Cycorp Inc.
  • Rencana awalnya adalah mengenkode 400 artikel ensiklopedia secara manual pada 1985–1988, lalu 30.000 artikel pada 1988–1993, sebelum menggunakannya untuk masalah AI dan aplikasi komersial
  • Estimasi awal menyebut tahap 1 dan 2 memerlukan 150 person-year
• Fokus proyek bergeser dari mengenkode “tinta hitam” ensiklopedia apa adanya, menjadi mengenkode white space yang diasumsikan ensiklopedia tetapi tidak dituliskan, yakni akal sehat
  • Untuk memahami kalimat seperti “Napoleon died in 1821. Wellington was greatly saddened.”, sistem membutuhkan akal sehat tentang kematian, waktu, peperangan, Prancis, dan emosi manusia
• Metafora knowledge pump dari Lenat menjadi strategi inti Cyc
  • Pada awalnya manusia menyuapi pengetahuan secara langsung
  • Semakin banyak pengetahuan yang terkumpul, sistem diharapkan makin baik dalam mem-parsing kalimat bahasa alami ke logika, sehingga intervensi ontologist berkurang
  • Setelah melewati titik tertentu, Cyc diharapkan dapat membaca tulisan, berdialog dengan manusia, dan terus menambah pengetahuannya sendiri

CycL, microtheory, dan struktur inferensi

• Komponen utama Cyc adalah CycL, basis pengetahuan, dan mesin inferensi
  • CycL berbasis SubLisp, serta memiliki Epistemological Level(EL) sebagai bahasa tingkat tinggi yang dapat dibaca dan ditulis manusia, dan terjemahan Heuristic Level(HL) untuk efisiensi inferensi
  • Satu kalimat EL dapat diterjemahkan menjadi beberapa kalimat HL, yang kemudian dapat diproses oleh mesin inferensi yang berbeda
• Ekspresi CycL menggunakan bentuk mirip Lisp, (#$relation <arg1> … <argn>)
  • Jika #$relation adalah function, hasilnya merupakan term; jika predicate, hasilnya merupakan assertion atau sentence
  • Relation khusus seperti #$implies, #$forAll, #$thereExists dipakai sebagai aturan inferensi
• Cyc mengemas assertion dalam microtheory(Mt) atau context
  • “Socrates is alive” bisa benar dalam context 500 BC tetapi tidak benar dalam context 1995
  • Keyakinan yang tidak kompatibel seperti #$ChristianMt dan #$IslamMt dapat ditempatkan dalam context yang berbeda
  • Pada 2010, Cyc memiliki lebih dari 20.000 microtheory yang disusun secara hierarkis, sebagian sedalam 50 levels
• Mesin inferensi bertambah hingga sekitar 1.100
  • Karena general inference engine terlalu lambat, module heuristik yang khusus untuk pola dan microtheory tertentu terus ditambahkan
  • Menurut Lenat et al. 2007, strukturnya terdiri dari 1 strategist, 4 tacticians, dan 1.097 workers
  • Pada 2010 dijelaskan bahwa mematikan mesin inferensi yang paling umum justru lebih cepat, sehingga mesin itu dinonaktifkan sepenuhnya

Pemahaman bahasa alami sebagai bottleneck yang tersisa

• Masalah mengubah CycL ke bahasa alami sebagian besar sudah tertata sejak akhir 1990-an
  • (#$genls #$Dog #$Mammal) dapat diubah menjadi “Dogs are mammals.”
  • Melalui assertion concept kata dan denotation, kata bahasa Inggris dihubungkan dengan concept Cyc
• Sebaliknya, masalah English → CycL untuk mem-parsing bahasa alami ke CycL tetap menjadi tantangan berat
  • Cyc NLP menggunakan sistem bertingkat seperti keyword matching, extraction templates, syntax templates, dan full syntax tree parsing
  • Dictionary-nya mencakup sekitar 200.000 words and phrases serta lebih banyak assertion lagi
• Contoh publik English → CycL sangat sedikit dan cenderung berupa kalimat mudah
  • “A girl is on a white lounge chair”
  • “Bill Clinton sleeps.”
  • “An AI researcher is a kind of computer scientist.”
  • “Did you touch a blue object located in the capital of France on September 25th, 2022?”
• Bahkan dalam kolaborasi terakhir Lenat dan Gary Marcus, bottleneck terakhir tetap natural language understanding(NLU)
  • Setiap axiom masuk ke basis pengetahuan hanya setelah diverifikasi manusia untuk default correctness, generality, dan penempatan microtheory
  • Cyc dapat membaca interlingua bernama CycL, tetapi mem-parsing English ke CycL tetap sulit

Aplikasi publik dan penggunaan komersial

• Cycorp beroperasi lama dengan pelanggan militer, lembaga intelijen, dan komersial
  • Hingga 2002 total biayanya mencapai 60 juta dolar, dengan 25 juta dolar di antaranya berasal dari militer
  • Menurut kutipan 2005, sejak kontrak pemerintah besar pertamanya pada 1996, sekitar setengah pendapatan Cycorp berasal dari lembaga pemerintah AS, sisanya dari perusahaan
• Contoh aplikasi yang dipublikasikan dengan detail relatif memadai adalah Terrorism Knowledge Base(TKB) dan kasus Cleveland Clinic
  • TKB dibuat pada 2004 dan dihentikan pada 2008
  • Isinya mencakup lebih dari 2.000 teroris, lebih dari 700 organisasi teroris, lebih dari 6.500 serangan teror, dan lebih dari 200.000 assertion
  • Pengguna memasukkan formal English query, lalu Cyc mengusulkan potongan CycL yang dipilih pengguna untuk menyusun query lengkap
• Semantic Research Assistant(SRA) milik Cleveland Clinic terkonfirmasi antara 2007–2010
  • Sistem ini menjawab query terkait cardiothoracic surgery, cardiac catheterization, dan percutaneous coronary intervention
  • Proyek lanjutan SemanticDB pada 2012 mencakup database 120 juta semantic triples dan query SPARQL
  • Dalam presentasi 2019, Lenat mengatakan proyek Cleveland membutuhkan 120.000 assertion baru, setara 0,5% dari keseluruhan basis pengetahuan
• Kasus lain yang terkonfirmasi mencakup keamanan jaringan, integrasi data, thesaurus istilah medis dan farmasi, deteksi insider trading, analisis penyebab yield manufaktur, dukungan IT dan pengelolaan inventaris, serta prediksi kegagalan fasilitas pompa minyak
  • Penggunaan-penggunaan ini lebih dekat dengan metode standar expert systems, data integration, dan information retrieval

OpenCyc, Semantic Web, dan proyek turunan

• Pada 2001 Cycorp merilis OpenCyc, subset kecil dari Cyc
  • OpenCyc direncanakan tertinggal 24–30 bulan dari Cyc yang sebenarnya
  • Versi terakhir keluar pada 2012, dan tampaknya dihentikan sekitar Maret 2017 tanpa pengumuman terpisah
• ResearchCyc juga pernah ada, tetapi dibatasi untuk penggunaan riset dan tampaknya dihentikan sekitar 2019 tanpa pemberitahuan
• Cycorp juga ikut serta dalam berbagai Semantic Web initiatives pada 2000-an
  • Ada paper yang mencoba mengintegrasikan pengetahuan Cyc dengan DAML, RDF, OWL, XML, dan lainnya
  • Upaya seperti Standard Upper Ontology Working Group, The Cyc Foundation, FACTory, OpenCyc for the Semantic Web, dan LarKC berakhir tanpa keberhasilan yang menonjol
• Pada 2014–2016 terjadi “massive extinction event” ketika sebagian besar open information tentang Cyc menghilang dari internet
  • OpenCyc, tutorials, references, vocabulary lists, dan The Ontological Engineer’s Handbook version 0.7 ikut hilang
  • Ini bertepatan dengan peralihan ke commercial applications pada 2016

Sifat tertutup dan evaluasi eksternal

• Proyek Cyc sangat tertutup menurut standar akademik
  • Publikasi terkait Cyc terutama membahas cara memasukkan pengetahuan ke dalam Cyc, dan jarang membahas aplikasi yang keluar dari Cyc
  • Cara kerja inference engine dan detail commercial application hampir tidak pernah dipublikasikan
• Source code AM dan EURISKO juga tidak pernah dibuka
  • Lenat sering mengklaim bahwa kode itu sudah lama hilang, tetapi belakangan ditemukan di folder DBL dalam backup data Stanford AI Laboratory
  • Apakah Lenat sengaja berupaya melindungi kodenya tetap menjadi tanda tanya
• Penggunaan Cyc dalam riset eksternal sangat terbatas
  • Cyc hampir tidak pernah dipakai dalam riset AI maupun knowledge retrieval, dan tidak pernah menunjukkan performa di benchmark publik
  • Davis and Marcus 2015 menilai pihak luar sangat sulit menilai tingkat pencapaian Cyc
  • Davis 2016 menilai komunitas AI secara umum memandang Cyc sebagai “kegagalan yang sangat canggih”

Filsafat AI Lenat dan kritik yang berulang

• Lenat mempertahankan satu filsafat AI selama 40 tahun
  • Pusatnya adalah Knowledge Principle, yakni gagasan bahwa kecerdasan tingkat tinggi muncul dari pengetahuan yang dapat dimanfaatkan sistem
  • Pengetahuan itu mencakup concept, fakta, representasi, metode, model, metafora, dan heuristik
• Ia secara eksplisit menolak beberapa jalur alternatif
  • Logical AI ala Simon dan Newell dianggap tidak bekerja di luar toy problems
  • Physical embodiment atau robotics tidak dianggap esensial untuk AGI, dan “mystical worship of physical embodiment” dinilai justru menunda AGI
  • Genetic algorithms dan evolutionary algorithms dianggap lambat dan terjebak pada local minima
  • Statistical machine learning, neural networks, dan self-organization methods dikritik sebagai upaya mencari “free lunch” tanpa basis pengetahuan awal yang besar
• Pada era deep learning dan LLM pun Lenat terus mengulangi logika yang sama
  • Neural networks dianggap hanya “remembering and espousing” tanpa “understanding and inferring”
  • Cyc dipandang bisa berperan sebagai “left brain”, sementara neural networks sebagai “right brain”
  • Paper terakhirnya, Lenat and Marcus 2023, mengkritik pencarian free lunch termasuk melalui LLM dan menekankan perlunya symbolic representation and reasoning

Cycorp dari dalam dan kesimpulan praktis

• Sebagai perusahaan teknologi kecil, Cycorp mencapai stabilitas finansial jangka panjang yang tidak lazim
  • Berulang kali dijelaskan bahwa sejak didirikan perusahaan ini menghasilkan keuntungan, tidak memiliki utang, dan dimiliki karyawan
  • Jumlah karyawannya disebut berada pada kisaran sekitar 50–200 orang
• Komentar mantan Cyclist di Hacker News menampilkan sisi positif dan negatif sekaligus
  • Sisi positifnya mencakup budaya yang intelektual dan filosofis, pemecahan masalah teknis large scale inference, profitabilitas, serta beberapa aplikasi komersial yang berhasil
  • Sisi negatifnya mencakup technical debt selama 30 tahun, implementasi yang duplikatif, sifat tertutup, true believer mentality, serta solusi teknis dan aplikasi komersial yang tidak dibuka ke publik
• Sejumlah mantan pegawai menilai tidak jelas apakah Cyc benar-benar melakukan common sense reasoning, atau hanya menjadi fondasi yang sangat baik untuk membangun expert systems
  • Juga tidak jelas apakah proyek komersial yang berhasil benar-benar membutuhkan common sense reasoning
  • Ada pula penilaian bahwa dalam banyak proyek sulit menunjuk secara tepat di mana “AI” sebenarnya terjadi
• Pada akhirnya, Cyc lebih tampak sebagai perusahaan large expert system terakhir yang masih bertahan ketimbang proyek AGI
  • Tetap diakui bahwa Cycorp mungkin unggul lewat knowledge engineers yang kuat, SubLisp, dan niche expert systems yang membutuhkan higher-order statements
  • Namun, tidak ada bukti yang ditunjukkan bahwa diferensiasi itu merupakan jalur menuju AGI

[GN⁺]

Opini Hacker News

• Saya sempat terpikir lucu bahwa ini terdengar seperti kalimat yang ditulis AI berkesadaran: “Tidak ada yang perlu dilihat di sini, berhentilah melihat dan lewat saja.”
  Seperti vannevar, saya tidak merasa Cyc bergerak ke arah yang berguna; idenya memang ada, tetapi tidak tampak cukup padu sebagai dasar hipotesis yang meyakinkan tentang bagaimana membangun sistem untuk mewujudkan ide semacam itu
  Saya cukup terkesan dengan demo dunia balok McCarthy, dan setelah itu ia bersama mahasiswanya memformalkan sebagian aturan yang membentuk konteks (context) tempat AI beroperasi; menurut saya bagian ini masih penting untuk mengatasi kekacauan yang dibuat LLM
  Misalnya, kegagalan awal ketika LLM menyarankan menambahkan batu agar salad menjadi renyah adalah kegagalan konteks yang khas, akibat tercampurnya data dalam konteks ‘humor’ dengan data dalam konteks ‘resep’. Karena model lama tidak memiliki konteks saat pelatihan, tidak ada unsur di dalam model yang menyesuaikan keluaran berdasarkan konteks, dan akhirnya batu masuk ke salad
  https://citeseerx.ist.psu.edu/document?repid=rep1&type=pdf&d...

  • Standar “belum ada bukti kecerdasan umum” tampaknya merupakan hambatan yang cukup tinggi
    Semua orang tahu AI simbolik tidak mampu diskalakan seperti LLM yang dilatih dengan data masif, tetapi benar juga bahwa ia berusaha menangani berbagai masalah yang masih belum ditangani LLM dengan baik

• Ini tulisan yang benar-benar bagus, salah satu yang terbaik yang saya lihat di HN tahun ini
  Saat kecil, saya pertama kali mengetahui Cyc dari dokumenter AI; ada contoh pria yang bercukur dengan alat cukur listrik. Cyc menyimpulkan bahwa pria yang sedang bercukur itu bukan manusia, karena alat cukur adalah perangkat listrik dan perangkat listrik bukan manusia
  Bagi saya waktu kecil, itu sangat memantik imajinasi dan membuat saya ingin mempelajari AI; belakangan, ketika saya tahu Cyc bekerja dengan relasi bergaya Prolog, kesan magisnya agak berkurang. Pada akhirnya saya belajar ilmu komputer, bukan AI, tetapi menurut saya yang pertama kali menyalakan minat itu tetap Cyc
  Lenat tampak seperti orang yang aneh, tetapi untuk bertahan melewati beberapa kali musim dingin AI, dibutuhkan penganut sejati yang obsesif seperti itu. Kita tidak tahu apakah graf pengetahuan seperti Cyc akan kembali penting di masa depan dalam proses menghilangkan halusinasi dari pembelajaran statistik

  • Saya ingat contoh yang sama dulu pernah menyalakan kembali minat saya terhadap AI
    Secara intuitif, menurut saya pendekatan ini memiliki sesuatu yang diperlukan agar AI generatif dapat bekerja secara stabil. Otak memang punya fungsi asosiasi, tetapi tanpa filter yang menyaring sinyal dari omong kosong dan membuat kita memahami isi, itu tidak terlalu berguna
    Saya penasaran apakah Cyc pernah mampu menghasilkan konten sendiri dengan cara yang bermakna. Jika ada sistem seperti itu, pada akhirnya ia tampaknya bisa menurunkan banyak detail sendiri sehingga semakin sedikit perlu disuapi
  • Saya merasa kalimat itu sulit dipahami, mungkin seharusnya ada koma sebelum dan sesudah “while shaving”
  • Bukan “tampak seperti orang yang aneh”, melainkan “tampak” dalam bentuk lampau
    Sayangnya ia meninggal beberapa tahun lalu, dan saya menyesal baru mengetahuinya sekarang

• Ini tulisan yang sangat menarik dan layak dibaca, jauh lebih baik daripada nuansa komentar di sini
  Namun, saya agak menyayangkan penulis memberi bobot terlalu besar pada premis bahwa proyek ini gagal. Hanya karena butuh 40 tahun untuk menemukan solusi, bukan berarti pendekatannya semata-mata gagal
  Jaringan saraf juga membutuhkan lebih dari 40 tahun dan biaya yang tidak kecil sebelum benar-benar berguna, tetapi itu saja tidak membuatnya disebut proyek gagal. LLM saat ini pun masih sulit disebut benar-benar cerdas
  Jika suatu hari basis pengetahuan Cycorp dibuka untuk umum dan dapat dipakai untuk melatih LLM, nilai yang lebih besar dari data itu mungkin akan terlihat

  • Alih-alih basis pengetahuan Cycorp dibuka, kemungkinan lebih besar ia akan menjadi semakin kurang penting seiring dikembangkannya alternatif terbuka
    Di pihak Wikipedia, mereka sedang membuat semacam bahasa perantara pengembangan terbuka yang bisa diedit manusia, dan melalui itu berupaya mengisi Wikipedia dalam bahasa yang kurang terwakili dengan kalimat ensiklopedia dasar. Banyak detailnya masih belum diputuskan, tetapi lihat https://en.wikipedia.org/wiki/Abstract_Wikipedia dan https://meta.wikimedia.org/wiki/Abstract_Wikipedia
    Ini berpotensi mencapai tingkat yang mirip dengan sistem yang diasumsikan dalam tulisan tersebut, yaitu sistem yang dapat menghasilkan teks bahasa Inggris dan Jepang jika diberi “akal sehat” yang sesuai. Seberapa berguna penalaran logis atas kalimat-kalimat semacam itu masih belum jelas, tetapi jika memang bernilai, kemungkinan seperti itu jelas ada
  • Disertasi doktoral putri saya pada dasarnya berisi hasil negatif. Bahkan jika proyek itu gagal, kita tetap bisa belajar darinya seandainya tidak begitu tertutup. Meski bukan open source, itu bisa dilakukan dengan jauh lebih terbuka
  • Daripada menunggu Cycorp dibuka, rasanya lebih cepat menunggu OpenAI dibuka :)
    Jika ingin membandingkannya dengan “jaringan saraf”, tepatnya harus dibandingkan dengan AI simbolik dalam arti luas. AI simbolik telah bekerja cukup baik di beberapa domain, tetapi sama sekali tidak demikian dalam penalaran akal sehat atau wilayah yang mendekati AGI
    Jika objek perbandingannya tetap “Cyc”, menurut saya perbandingan itu sendiri tidak mungkin dilakukan. Tanpa berlebihan, sebelum 2020 tidak ada proyek AI semahal Cyc. Biaya mulai melampaui satu juta dolar kira-kira pada masa GPT-2, dan AlphaGo serta Deep Blue, meski tidak ada angka pasti, mungkin menelan biaya jutaan dolar, tetapi setidaknya jelas bekerja
    Pernyataan bahwa itu memakan waktu 40 tahun juga tidak tepat. Misalnya LeNet-5 sudah berfungsi pada 1998, dan digunakan untuk membaca cek nyata di ATM. Biaya utamanya adalah ketekunan rekayasa selama 10 tahun oleh kelompok riset LeCun di Bell Labs, dan versi akhirnya memerlukan 2–3 hari waktu CPU pada server Silicon Graphics Origin 2000 dengan satu prosesor 200MHz R10000 untuk melatih MNIST selama “sekitar 20 epoch”
    Tahun 1998 secara teknis mungkin sekitar 40 tahun sejak titik awal perceptron pada 1950-an, tetapi jika standar itu diterapkan pada jaringan saraf, Cyc juga harus dihitung sejak titik awal AI logika pada 1950-an yang sama. Dan saya juga mempertanyakan apa kegunaan Cyc di industri pada 1998

• Menurut situs webnya, Cyc berjalan sangat baik. Mereka menyebutnya “The Next Generation of Enterprise AI”
  Lenat sendiri meninggal pada 2023, tetapi di leadership team ia tercantum sebagai satu-satunya anggota
  https://cyc.com/

  • Rasanya seperti epitaf yang menyedihkan
    Sekalipun ia hanya membuktikan bahwa itu mustahil, saya benar-benar berterima kasih karena ia telah mencobanya
  • Mungkin saja Cyc sudah berhasil, dan Lenat terus hidup sebagai kesadaran itu

• Anda bisa mencoba menjalankan versi OpenCyc yang dulu tersedia secara online: https://github.com/asanchez75/opencyc
  Ini adalah materi dari masa ketika salah satu versi sistemnya diunggah ke SourceForge, dan di GitHub ada dataset, basis pengetahuan, serta mesin inferensi. Namun perlu dicatat bahwa ini ditulis dengan versi Java lama

• Dulu sekali saya pernah mencoba membaca sebanyak mungkin materi yang bisa ditemukan tentang AM dan EURISKO
  Sayangnya, Lenat menjaga pekerjaannya sangat privat, hampir rahasia, dan hampir tidak ada bahan bacaan selain makalah serta artikel tingkat tinggi. Karena itu orang lain tidak bisa membangun sesuatu di atas karya Lenat, dan menurut saya itu kerugian besar

  • Sekarang EURISKO bisa dijalankan langsung

• Tulisan ini adalah ulasan yang cukup bagus bukan hanya tentang Cyc, tetapi juga tentang AI simbolik secara umum
  Dulu saya banyak mengutak-atik OpenCyc, tetapi dalam 10 tahun terakhir tidak menyentuhnya
  Jika AI simbolik punya masa depan yang produktif, menurut saya bentuknya adalah menggunakan LLM untuk menyusun knowledge graph, relasi simbolik, dan sejenisnya dari data tak terstruktur

  • Sebagai “ulasan AI simbolik”, informasinya kurang dan dangkal, serta terasa mengulang argumen lama bahwa AI simbolik telah “gagal”
    Klaim itu tidak sesuai fakta. Bidang-bidang utama AI simbolik seperti SAT solving, pembuktian teorema otomatis, perencanaan, dan penjadwalan masih sangat hidup dan telah menghasilkan hasil nyata. Justru SAT solving, planning, verifikasi program, dan pembuktian teorema otomatis kini bekerja begitu baik sampai-sampai tidak lagi dianggap sebagai “AI”
  • LLM bisa memanfaatkan graph semacam itu untuk memverifikasi jawabannya sendiri. Pada titik tertentu, itu akan terinternalisasi ke dalam arsitektur, dalam bentuk seperti lapisan graph attention

• Menurut saya Lenat setidaknya benar arahnya dalam hal bahwa skala data yang luar biasa besar pada akhirnya adalah kunci untuk memperoleh kecerdasan yang berguna
  Dulu saya pernah mengkritik proyek Cyc sebagai membuat tumpukan kotoran yang makin besar sambil berharap ada kuda poni di dalamnya, tetapi pada LLM hal seperti itu, sampai taraf tertentu, benar-benar terjadi

  • Suatu saat bandul mungkin akan bergerak kembali ke sisi lain, dan pendekatan simbolik akan mendapat terobosan tertentu lalu kembali populer
    Menurut saya kemungkinan besar itu terkait dengan akselerasi perangkat keras untuk sistem-sistem semacam ini agar bisa memproses fakta dalam jumlah sangat besar, seperti GPU bagi neural network
  • Namun tumpukan data pelatihan LLM jauh lebih besar
    Data itu adalah ujaran manusia nyata dalam konteks nyata; bukan kotoran kuda poni, melainkan kuda poninya
    LLM tidak memiliki kecerdasan. Ia hanya melakukan pattern matching terhadap sangat banyak ujaran manusia untuk sebuah kueri, lalu menyalurkan kecerdasan manusia-manusia itu seperti sebuah perantara. Karena perangkat statistiknya bekerja luar biasa baik, kegunaannya sudah terbukti, tetapi fakta bahwa LLM tidak memiliki keadaan kognitif sangat membatasi sejauh mana teknologi ini bisa menjangkau
    Sebaliknya, pada Cyc bahkan tidak jelas apa yang bisa diperoleh. Jika digabungkan dengan LLM mungkin berguna, tetapi tetap saja masih terkunci rapat
    Kesimpulan besar yang ditarik penulis tentang AI simbolik berdasarkan satu sistem dan pendekatan ini tidak sah. Penulis sendiri menulis bahwa “bahkan Ernest Davis dan Gary Marcus, yang sangat mendukung pendekatan AI simbolik, hampir tidak menemukan bukti keberhasilan Cyc; bukan karena Cyc terbukti gagal, melainkan karena terlalu sedikit bukti ke arah mana pun, baik berhasil maupun gagal”
  • Lucu juga bahwa nama dataset banyak LLM secara harfiah adalah “The Pile”
  • Meski begitu, setidaknya saya menduga Llama dilatih dengan libgen, arsip yang mengumpulkan sebagian besar buku dan publikasi umat manusia. Tentu yang belum didigitalkan tidak termasuk
    Komentar Reddit, pesan Twitter, libgen, dan PDF arXiv sepertinya masuk sebagai tumpukan besar
    Jadi memang mungkin ada kotoran juga, tetapi ada pula pengetahuan yang dikodekan dengan susah payah, yaitu tulisan, dan fakta bahwa LLM bisa begitu sering benar benar-benar terasa ajaib
  • https://ai-2027.com/ mengasumsikan bahwa LLM yang cukup baik akan menulis ulang dirinya sendiri dengan menggunakan aturan dan fakta
    Kedengarannya seperti fiksi ilmiah, tetapi berbicara dengan perkalian matriks juga terdengar seperti fiksi ilmiah

• Sebagai kegagalan serupa dari GOFAI, ada upaya raksasa selama puluhan tahun oleh perusahaan Rusia ABBYY untuk membuat perangkat lunak terjemahan canggih hanya dengan parsing tata bahasa formal yang kompleks. ABBYY sudah lama menjadi pemimpin pasar perangkat lunak OCR
  Kisah latar belakangnya cukup menarik, dan tulisan ini ditulis oleh seseorang yang pernah bekerja di ABBYY: https://sysblok.ru/blog/gorkij-urok-abbyy-kak-lingvisty-proi...
  Tulisannya berbahasa Rusia, tetapi ironisnya bisa dibaca dalam bahasa Inggris yang bagus dengan fitur Google Translate di Chrome dan sejenisnya. Dan fitur itu tentu saja sepenuhnya berbasis machine learning
  Ceritanya pada dasarnya mirip dengan Cyc. AI simbolik, AI logis, dan GOFAI bisa menghasilkan hasil yang mengesankan pada tahap awal, dan ABBYY juga jauh lebih baik daripada Google Translate awal, tetapi pendekatan simbolik tidak berskala dengan baik. Pada akhirnya big data + machine learning yang menang
  Tulisan di atas membahas “The Unreasonable Effectiveness of Data”, argumen yang diajukan Google pada 2009: https://static.googleusercontent.com/media/research.google.c...
  Penting dicatat bahwa 2009 masih jauh sebelum model bahasa berskala besar, transformer, bahkan AlexNet

• Sekitar setahun yang lalu juga ada thread besar tentang Cyc: https://news.ycombinator.com/item?id=40069298