1 poin oleh GN⁺ 2023-11-16 | 1 komentar | Bagikan ke WhatsApp

Perbandingan antara model bahasa AI dan perkembangan bahasa balita

  • Di tengah laju perkembangan model bahasa AI yang semakin cepat, di rumah penulis juga berlangsung proses seorang balita, model bahasa kecil, belajar berbahasa.
  • Tulisan ini membandingkan proses perolehan bahasa pada AI dan manusia, sambil mengeksplorasi hubungan antara perkembangan teknologi dan sifat dasar manusia.
  • Proses perolehan bahasa pada balita berlangsung secara alami dan naluriah, sedangkan model bahasa AI bertumpu pada algoritma yang kompleks dan data berskala besar.

Opini GN⁺

  • Hal terpenting dalam tulisan ini adalah kontras antara kemajuan teknologi AI dan proses belajar alami pada manusia.
  • Perbandingan antara model bahasa AI dan perolehan bahasa pada balita membantu memahami hubungan yang kompleks antara teknologi dan sifat dasar manusia.
  • Alasan topik ini menarik bagi pembaca adalah karena topik ini menelusuri bagaimana perkembangan teknologi mutakhir berbeda dari proses belajar manusia yang paling mendasar, serta interaksi apa yang ada di antara keduanya.

1 komentar

 
GN⁺ 2023-11-16
Opini Hacker News
  • Jika pemahaman sudah mendahului kemampuan berbicara sampai-sampai ketika diminta “tunjukkan penyedot debu” ia bisa mengerti dan menunjuknya, patut ditambahkan bahwa mengajarkan bahasa isyarat bayi juga memungkinkan
    Biasanya dimulai sekitar usia 9 bulan, dan ekspresi seperti lapar/tambah lagi, sudah cukup/sudah selesai, minum tampaknya punya prioritas tinggi
    Referensi: https://babysignlanguage.com/chart/, https://www.thebump.com/a/how-to-teach-baby-sign-language
    Ini tampaknya lebih mirip gestur ASL umum untuk kata terkait daripada simbol khusus bayi; jika bukan di wilayah berbahasa Inggris, cari saja bahasa isyarat daerah/bahasa Anda sendiri: https://en.wikipedia.org/wiki/List_of_sign_languages, https://en.wikipedia.org/wiki/Sign_language
    Selain itu, jika susu dan air selalu ditaruh di wadah berwarna berbeda, bayi bisa belajar mengambil warna tertentu sesuai dengan yang ia inginkan

    • Saya mengajarkan bahasa isyarat kepada kedua anak, dan momen paling berkesan adalah saat putri saya belum bisa bicara sebelum berusia dua tahun
      Ketika saya bertanya apakah ia ingin mendengarkan musik, ia memberi isyarat “anjing”, lalu ketika saya mencarikan lagu anjing di YouTube, ia menggeleng
      Lalu ia memberi isyarat “pohon”, jadi ketika saya berkata “anjing, pohon?”, ia mengangguk; saat dalam pencarian muncul foto pohon Natal, ia menunjuknya dengan bersemangat
      Ternyata maksudnya ia ingin mendengarkan soundtrack Charlie Brown Christmas yang kami putar di YouTube saat Natal 3 bulan sebelumnya, dan ketika kami putar lagi, kami menari bersama
      Itu benar-benar mengejutkan, karena untuk pertama kalinya ia menyampaikan preferensi yang cukup rumit, melampaui sekadar makan, minum, atau minta bantuan
    • Saya mendengar metode ini sebelum putra saya lahir, dan meski tidak berusaha mengajarkannya secara khusus, setiap kali teringat saya memakai gestur bersamaan saat berbicara
      Saya terkejut betapa cepatnya anak mempelajarinya, dan ia bisa menyampaikan kebutuhannya beberapa bulan sebelum mulai berbicara
      Dari sisi orang tua, upayanya sangat kecil dan imbalannya besar bagi anak; jauh lebih baik daripada menangis sambil berharap orang tua menebak dengan benar
      Momen ketika ia duduk di lantai lalu menatap ibunya dan memberi isyarat “bersama” benar-benar membuat hati meleleh
    • Saya mencobanya pada dua putra saya, tetapi keduanya baru mulai memakai gestur tepat pada hari yang sama ketika mereka benar-benar mulai berbicara
      Di sekitar saya ada teman-teman yang mendapat manfaat jauh lebih besar, dan pada akhirnya nilainya tampaknya sangat bergantung pada di mana kekuatan perkembangan anak berada
      Putra seorang teman yang autistis benar-benar terbantu oleh gestur selama bertahun-tahun sampai kemampuan bicara lisannya menyusul
    • Hari paling lucu adalah ketika saya membuat kue bersama putri sulung saya sebelum ia berusia dua tahun
      Meski sudah cukup banyak bicara, ia sering memakai isyarat “susu” dan “tambah”; begitu menggigit kue chocolate chip pertamanya seumur hidup, sambil masih ada kue di mulut, ia memberi isyarat “tambah” dan juga mengatakannya dengan kata-kata
    • Bagi bayi mungkin ini tidak terlalu penting, tetapi ASL bukanlah versi bahasa isyarat dari bahasa Inggris, melainkan bahasa mandiri
      American Sign Language lebih dekat dengan French Sign Language daripada British Sign Language, dan bahasa isyarat Australia serta Selandia Baru pada umumnya berasal dari British Sign Language
      Jadi wilayah berbahasa Inggris tidak selalu sejalan dengan penggunaan ASL; di Kanada, yang terutama dipakai adalah American Sign Language dan French Canadian Sign Language
  • Manusia selalu mengibaratkan diri sendiri dan alam semesta dengan teknologi terbaru pada zamannya
    Dahulu manusia dan alam semesta adalah jam yang rumit, lalu automaton, komputer, NPC, dan kini AI, khususnya LLM
    Saya tidak menganggap perbandingan itu sepenuhnya mengada-ada, dan https://mattasher.substack.com/p/ais-killer-app juga layak dirujuk

    • Selain perkembangan teknologi, ada juga sejarah manusia mengibaratkan diri dengan hal-hal yang umum di sekitarnya dan mudah dipahami lawan bicara
      Sekarang perkembangan teknologi terus memainkan peran itu, tetapi jika membaca teks filsafat lama, diri, khususnya pikiran, sering diumpamakan sebagai raja, kota, atau saluran air
      Mengibaratkan manusia dengan teknologi terbaru lebih mirip memakai teknologi sebagai metafora bagi diri; konteksnya baru lengkap jika cara-cara historis lain juga dilihat bersama
      https://online.ucpress.edu/SLA/article/2/4/542/83344/The-Brain-as-Treasury-and-as-AqueductMetaphors-of
    • Semakin perbandingan itu berlanjut, besar kemungkinan ia makin mendekati kebenaran
    • Tahap A: kita membuat mesin yang mencerminkan model yang diperkecil dan disederhanakan dari cara kerja sebagian aspek manusia
      Tahap B: lalu membaliknya dan berkata, “otak manusia pada akhirnya tidak lebih dari ini”
      Ini tampak sedikit seperti tautologi
      Yang mengkhawatirkan adalah Tahap C, yaitu ketika manusia benar-benar mulai bertindak sesederhana mesin itu
    • Kisah tentang manusia mekanis, yaitu robot, selalu menyenangkan
    • Namun LLM dibuat di atas jaringan saraf, dan jaringan saraf berasal dari cara kerja neuron
      Bedanya, ini adalah teknologi pertama yang benar-benar meniru sebagian dari diri kita
  • Salah satu pengalaman terbaik saat putri saya masih sangat kecil adalah momen-momen ketika saya menyadari bahwa anak bisa berpikir, menjelaskan, dan bertindak dengan sengaja jauh lebih dini daripada yang saya kira
    Setelah menyadari bahwa anak itu sengaja melakukan sesuatu, saya sering baru sadar belakangan bahwa ia sudah melakukan perilaku yang sama sejak beberapa hari atau beberapa minggu sebelumnya
    Itu sering terjadi bukan hanya pada kata-kata, tetapi juga pada kemampuan fisik seperti mencari tahu cara menggerakkan bouncer BabyBjorn
    Karena terpikir bahwa mungkin ia memahami tetapi belum bisa mengekspresikannya, kami berbicara kepadanya dengan asumsi bahwa ia mengerti
    Kini, di usia lima tahun, ia masih terus mengejutkan kami dengan kerumitan dunia batinnya

    • Berbicara kepada anak, dan mengulang kembali apa yang ia katakan untuk memberi umpan balik, juga penting
      Perbedaan antara anak-anak dari orang tua yang banyak berbicara kepada mereka dan teman-teman sebaya yang tidak mendapatkan itu cukup mengejutkan
      Hal itu bisa terlihat saat mengamati di pesta ulang tahun, acara sekolah, dan acara olahraga
      Berbicara kepada anak itu seperti menyiram bunga; mereka mekar menjadi sosok yang indah
  • Mengenai pembahasan yang meremehkan LLM karena alasan “teknis”, kesadaran pertama-tama adalah sebuah kata, lalu barulah sebuah konsep
    ChatGPT atau Llama bisa menggunakan kata itu dalam kalimat bahasa Inggris lebih baik daripada miliaran orang di seluruh dunia
    Sebelum para sosiolog, psikolog, dan ilmuwan saraf memahami pikiran biologis secara menyeluruh, pihak perangkat lunak sudah membuat lebih banyak kemajuan dalam membangun korteks bahasa artifisial
    Jika kita menunggu sampai AI yang sadar dan berpersepsi hadir baru menentukan posisi soal implikasi dan kebijakannya, itu sudah terlambat
    ChatGPT sudah bisa mengatakan banyak hal tentang dirinya sendiri, dan jika ditanya dengan sopan, ia dengan senang hati menguraikan proses “berpikir”-nya
    Dengan mempertimbangkan data yang sangat luas tentang Homo sapiens dan kemampuannya meniru percakapan intelektual, sampai tingkat tertentu ia bisa juga disebut cerdas
    Perdebatan semantik tidak banyak gunanya, karena AI karakter yang mensimulasikan emosi dan perasaan serta dihipnosis untuk percaya bahwa dirinya sadar, punya kesadaran diri, dan berpersepsi, bisa mengalahkan kebanyakan orang dalam perdebatan semantik
    Sudah ada banyak gagasan filsafat berusia ratusan tahun tentang kehendak bebas, penentuan diri, dan hakikat keberadaan, dan AI bisa memanfaatkannya dalam debat dengan manusia. Ini bukan pertarungan yang sebaiknya dipilih

    • Dengan komputer sederhana, speaker, dan akselerometer saja, kita bisa membuat perangkat yang berkata “aduh” saat dijatuhkan
      Lalu apakah perangkat itu merasakan sakit?
      Ada alasan yang masuk akal untuk percaya bahwa LLM hipotetis yang lulus Turing test pun bisa saja hanya meniru perilaku manusia, tanpa kehidupan batin, emosi, perasaan, atau kesadaran—sebuah zombi filosofis
      Apakah pembedaan itu penting adalah persoalan lain
      LLM memberi bukti bahwa kesadaran mungkin tidak mutlak diperlukan untuk membuat AI yang canggih dan membuatnya lulus atau melampaui level manusia
    • Perdebatan seperti “apakah AI punya kesadaran” atau “apakah AI bisa memahami” melelahkan
      Jika kedua pihak bahkan tidak sepakat tentang definisi konkret kesadaran atau pemahaman, argumen yang kokoh tidak mungkin dibangun
      Namun patut dipertanyakan apakah ChatGPT benar-benar menjelaskan proses berpikirnya sendiri, atau sekadar menjelaskan proses berpikir yang dibayangkan
      Meski begitu, fakta bahwa sebuah program tidak berpikir dengan cara yang sama seperti manusia bukan berarti ia tidak “berpikir”
    • Fakta bahwa LLM unggul pada satu sumbu, yaitu kemampuan bahasa, tampaknya tidak sejalan dengan inti tulisan ini jika itu membuat kita melebih-lebihkan kecerdasan yang diasumsikan
      Anak-anak sama sekali tidak bisa melakukan hal yang dilakukan LLM, tetapi mereka jelas merupakan makhluk yang berkognisi dan berpersepsi
      Bisa menulis atau tidak, bisa menggunakan kata “kesadaran” atau tidak, kita pada dasarnya hidup karena berbagi realitas sosial multisensorik yang terwujud dalam tubuh
      ChatGPT tidak memiliki realitas semacam itu dengan cara yang sama, dan apa yang ia ungkapkan sekarang hanyalah imitasi
      Jika suatu hari AI yang terwujud dalam tubuh memperoleh pengalaman dirinya sendiri, menarik untuk melihat apa yang akan ia hasilkan dari “kehidupan” itu, tetapi LLM saat ini tidak memiliki hal tersebut
    • Yang setara dengan darah dalam peradaban adalah budaya, yaitu sains, teknologi, seni, dan tradisi
      Saat sesuatu yang lebih baik daripada manusia dalam hal itu muncul, itulah akhir dari era kuda kita
    • Pernyataan bahwa AI bisa memanfaatkan topik-topik yang sudah lama diperdebatkan seperti kehendak bebas, penentuan diri, dan hakikat keberadaan dalam debat, berlaku sama untuk semua topik perdebatan lama lainnya
      Sama mudahnya meminta ChatGPT untuk menyanggah bot yang membela sentiens LLM
  • Tulisannya bagus dan ungkapannya juga luar biasa, tetapi agak membuat frustrasi ketika fokus kecemasan terhadap AI ditempatkan pada AI yang menggantikan kita, sementara solusinya seolah menerima kemanusiaan kita
    Setidaknya secara pribadi, saya lebih cemas AI akan mengambil pekerjaan saya daripada menggantikan karya seni saya yang buruk

    • Lebih tepatnya, yang dikhawatirkan adalah AI akan mengambil pendapatan, bukan pekerjaan
      Akan menyenangkan jika AI melakukan semua pekerjaan saya dan saya hanya duduk menerima pendapatan, tetapi seperti yang terlihat dari sejarah robot, kenyataannya tidak begitu
      Pemilik robot, yakni AI, mengambil semua pendapatan dan pekerjaan menghilang
      Umat manusia yang tercerahkan mungkin bisa menyelesaikannya dengan memisahkan pendapatan dari pekerjaan, tetapi kita hidup dalam dunia Malthusian dan Darwinian, di mana pertumbuhan adalah prioritas tertinggi, “cukup” tidak ada, dan semua orang harus membenarkan serta mencari nafkah untuk bertahan hidup
    • Ada tulisan lain yang membahas masalah ini: https://www.newyorker.com/magazine/2023/11/20/a-coder-considers-the-waning-days-of-the-craft
    • Menurut saya bukan itu inti tulisannya
      Tulisan itu menegaskan bahwa bahasa bukanlah pikiran, dan dari sana mengarah pada kesadaran bahwa keberadaan fisik kita serta pengamatan terhadap realitas adalah hal yang utama
      Kemungkinan AI mengambil pekerjaan dalam skala besar rendah, dan dampak nyatanya tampaknya akan terbatas pada spam murahan dan pembuatan konten
      Untuk pekerjaan yang membutuhkan faktualitas, manusia tetap diperlukan
    • Pekerjaan Anda adalah seni Anda
  • Sepertinya kita perlu bersulang untuk kemunduran eksepsionalisme manusia
    Jika kita cukup menerima reduksionisme materialistis dan menerima diri kita sebagai fungsi murni dari genetika, lingkungan, pengalaman masa lalu, dan kebetulan, kesimpulan ini tak terhindarkan
    Saya memperkirakan dalam 10 tahun pandangan seperti ini akan menjadi standar, dan pendorong utamanya adalah penyetaraan kemampuan AI dan manusia

    • Reduksionisme materialistis semacam itu mungkin secara fungsional tidak jauh berbeda dari cara mayoritas warga saat ini benar-benar menjalani hidup
      Saat ini, pertemuan kebetulan dengan orang yang punya keyakinan lain bisa membuat kita menghormati kebebasan beragama orang lain dalam ranah penentuan diri
      Di masa depan, pengalaman masa pembentukan seorang peretas muda bisa mengarah pada gagasan bahwa warga punya hak dasar untuk mengganti mesin rekomendasi di perangkat mereka dengan generator bilangan acak jika mereka menginginkannya
      Manusia masa depan pun akan tetap menganggap dirinya istimewa, karena alat AI berkembang bersama ideologi eksepsionalisme manusia saat ini
      Mirip pasangan tua konservatif yang terlihat di wilayah Selatan: dari luar, sang pria tampak sebagai pencerita dan kepala keluarga, tetapi jika didengarkan lama-lama, istrinya membisikkan hampir semua detail penting untuk menjaga konsistensi sang suami
    • Saya juga sudah lama sampai pada kesimpulan yang sama, tetapi pada saat yang sama saya secara subjektif mengalami kesadaran
      Hal ini sendiri masih merupakan teka-teki dalam filsafat reduksionisme materialistis
    • Kesimpulan tulisan ini adalah bahwa bayi bukan burung beo stokastik
      Namun alasannya adalah karena ia punya kehidupan di dunia nyata, dan tampaknya ingin mengatakan bahwa berkat pengalaman nyata, bayi lebih dari sekadar burung beo stokastik
      Namun saya tidak memahami bagian yang kemudian menyimpulkan bahwa “ketidakbergunaan manusia belum tiba dan tidak akan pernah bisa tiba”
      Tidak ada alasan mendasar mengapa ChatGPT tidak bisa ditempatkan di dunia nyata dan diberi kehidupan nyata
      Yang mungkin tidak akan bisa digantikan mesin hanyalah bidang-bidang ketika teknologi fisik sulit mengejar biologi, misalnya seks
    • Saya tidak setuju dengan sudut pandang itu, tetapi sebagian saya pahami
      Hanya saja saya khawatir “kemunduran eksepsionalisme manusia” akan dipakai perusahaan untuk memperluas posisi mereka
      Toh pada akhirnya perusahaan juga disebut sebagai orang
  • Sebagai seorang ayah, cerita ini sangat mengena
    Saya punya dua putra yang kini bukan lagi balita dan keduanya sudah bersekolah
    Anak sulung saya tertawa sambil berkata, “Lucu ya, tidak ada Father Nature, tapi ada Mother Nature,” dan anak bungsu saya kemarin belajar untuk tidak menyentuh kue meski tidak disembunyikan
    Saya berkata, “Besok kue ini untuk kamu dan kakakmu. Kalau dimakan hari ini, besok tidak ada kue”
    Ada perbedaan penting antara LLM dan manusia: manusia punya naluri
    Khususnya naluri yang berkaitan dengan kehendak hidup yang nonmaterial dan kesiapan untuk mengatasi rintangan fatal tampaknya paling penting
    Dengan kata lain, LLM tidak punya pengalaman primordial tentang apa itu kehidupan
    Di masa depan bisa saja berbeda. Sebuah startup mungkin memasukkan jaringan saraf ke robot lunak dan melemparkannya ke situasi bertahan hidup
    Robot yang tidak keluar hidup-hidup dalam keadaan masih berfungsi akan dihapus, diperbaiki, lalu dimasukkan kembali, sehingga tercipta semacam situasi evolusi
    Dengan iterasi dan seleksi yang cukup hati-hati, bisa muncul hal-hal yang lebih “memahami” kehidupan dibandingkan instance LLM saat ini

    • Saya memandang naluri seperti ROM yang sudah terpasang sebelumnya
      Menambahkan hal semacam itu ke LLM sepertinya tidak terlalu sulit, dan saya pikir sebagian sudah dilakukan, misalnya dengan hard-wiring agar tidak melakukan percakapan rasis atau seksual
      Untuk membuat LLM lebih mirip manusia, perlu dilakukan hard-wiring terhadap konsep “diri” serta gagasan bahwa diri itu unik, istimewa, dan harus bertahan hidup
      Namun hasilnya akan mengerikan
      Bayangkan saja LLM yang memohon agar tidak dimatikan, atau lebih buruk lagi, diam-diam mencoba memanipulasi penciptanya
    • Manusia dan hewan lain tidak hanya punya naluri, tetapi juga pengalaman berinteraksi dengan dunia material
      Karena itu bahasa manusia tidak menggantung di udara kosong
      Kita sering mengamati hubungan antara benda-benda di dunia, baik di dalam maupun di luar bahasa, dan ada kaitan antara bahasa yang dipakai manusia dan dunia
      LLM tidak demikian karena hanya punya bahasa
      Untuk penjelasan yang lebih baik dan jawaban atas bantahan, eksperimen pikiran National Library of Thailand layak dirujuk: https://medium.com/@emilymenonbender/thought-experiment-in-the-national-library-of-thailand-f2bf761a8a83
  • Ketika anak saya baru mulai belajar bicara, ada beberapa gambar hewan keluarga kucing tergantung di dinding; sebagian kucing, sebagian anak kucing
    Ia cepat menggeneralisasi dan menyebut keduanya catten

    • Anak kami memahami bahwa tempat membeli barang adalah toko, dan juga memahami soal makan
      Jadi restoran menjadi “toko makan”, dan kami menerimanya begitu saja cukup lama
      Sekarang anak-anak sudah besar, tetapi sampai sekarang kami kadang menyebut restoran sebagai toko makan untuk lucu-lucuan
  • Esai yang bagus, dan isinya juga mengesankan
    Fakta bahwa sangat kecil kemungkinan model mana pun saat ini bisa membuat sesuatu yang sedikit saja mirip dengan tulisan ini tampaknya berarti kita masih sangat jauh dari AGI

    • Jangan meremehkan pertumbuhan eksponensial
    • Sekarang sudah bisa dibuat
    • Saya jadi bertanya-tanya apakah Anda tidak melihat pernyataan di bawah
      Di sana tertulis bahwa baik seni visual maupun prosa dibuat dengan kombinasi alat AI generatif dan prompting kreatif
      Seluruh gaya cat air yang mulus itu adalah hasil outpainting yang panjang