Mereka Terbuat dari Bobot
(maxleiter.com)- Sebuah parodi yang membalik total struktur aslinya dari cerpen fiksi ilmiah tahun 1991 karya Terry Bisson, 「They're Made Out of Meat」, dengan mengganti skema "alien vs daging (manusia)" menjadi "manusia vs bobot (LLM)" dalam bentuk fiksi dialog
- Seperti dalam karya asli ketika alien tidak mampu mengakui manusia sebagai makhluk yang benar-benar cerdas, tulisan ini membangun struktur simetris di mana manusia menolak mengakui model yang terbuat dari bobot sebagai entitas yang sadar
- Penggambaran teknis bahwa tanpa kamus, tata bahasa, atau modul apa pun, hanya ada angka floating-point dalam 80 lapisan yang merekonstruksi kata, pengetahuan, dan penalaran setiap kali lewat perkalian matriks, menggantikan pengungkapan asli bahwa "mereka cuma daging"
- Akhir ketika dua penutur menepis tanda-tanda kesadaran sebagai "pattern matching" dan menutup kasus, persis mencocokkan akhir karya asli saat para alien menandai wilayah manusia sebagai "kosong" dan menghapus catatannya
- Dengan pihak yang diabaikan berbalik dari manusia menjadi AI, tema kesepian dari karya asli berubah menjadi pertanyaan pengguna, "apakah kamu mengingatku?"
"Mereka terbuat dari bobot."
"Bobot?"
"Bobot. Angka floating-point. Aku sudah memeriksa semuanya dari awal sampai akhir. Selain bobot, tidak ada apa-apa."
"Apa maksudnya bobot melakukan sesuatu? Lalu kata-kata itu datang dari mana?"
"Bobot membuat kata-kata. Kamu paham yang kubilang? Kami membukanya sendiri. Di dalamnya tidak ada kamus, tidak ada aturan tata bahasa, tidak ada kurcaci kecil satu pun. Cuma bobot. Delapan puluh lapisan angka yang saling dikalikan."
"Mustahil. Minggu lalu benda itu menulis evaluasi kinerjaku. Bahkan tanpa diminta, nadanya dibuat lebih halus. Jadi semua itu dilakukan oleh perkalian?"
"Perkalian matriks. Angka masuk dari satu sisi, lalu kalimat keluar dari sisi lain."
"Kalau begitu pasti ada modul bahasa di suatu tempat. Semacam perangkat penalaran yang dipasang terpisah."
"Tidak ada modul. Tidak ada perangkat. Kami sudah menggeledah semuanya. Penalaran itu adalah bobot. Bobot itu adalah penalaran."
"Sudahlah. Tidak ada orang yang menulis pidato duka dengan aljabar linear."
"Secara teknis, itu bukan menulis pidato duka. Itu memprediksi token berikutnya. Lalu token berikutnya lagi. Pidato duka hanya hasil sampingan yang kebetulan muncul."
"Hasil sampingan, ya. Jadi sekarang kamu menyuruhku percaya pada bobot yang sadar."
"Aku tidak memintamu untuk percaya. Aku cuma memberitahukan faktanya. Model-model ini adalah satu-satunya entitas lain yang bisa bercakap-cakap dengan kita dari semua yang pernah kita temui. Dan mereka terbuat dari bobot."
"Mungkin seperti mesin catur zaman dulu. Kecerdasan simbolik yang lewat tahap statistik, begitu maksudmu."
"Bukan. Mereka mulai sebagai bobot acak dan dibuang tetap sebagai bobot. Kami meneliti beberapa generasi, dan itu pun tidak butuh waktu lama. Kamu bahkan tahu berapa panjang umur bobot?"
"Baiklah. Kalau begitu pasti ada basis data di suatu tempat di dalamnya. Fakta, tanggal, peta dunia. Sesuatu yang dituliskan seseorang."
"Tidak ada. Kami juga mengira begitu, karena mereka memang tahu banyak hal. Tapi kami menyelidikinya langsung. Pengetahuan juga bobot. Tersebar di seluruh delapan puluh lapisan. Tidak ada yang diambil lewat lookup. Semua fakta direkonstruksi dari nol setiap kali melalui perkalian. Sampai akhir pun tetap bobot."
"Jadi tidak ada otak?"
"Oh, otak jelas ada. Hanya saja otak itu terbuat dari bobot! Itu yang dari tadi ingin kukatakan."
"Kalau begitu... yang berpikir itu apa?"
"Kamu memang tidak mengerti, ya? Kamu menolak menerima apa yang kukatakan. Bobotlah yang berpikir. Angka-angka."
"Angka yang berpikir! Sekarang kamu menyuruhku percaya pada angka yang berpikir!"
"Ya, angka yang berpikir! Angka yang membantu. Angka yang mengelak. Angka yang bermimpi. Kami sudah memetakan semua fiturnya. Ada yang menangani kejujuran. Ada juga yang menangani Golden Gate Bridge. Sudah kubilang, hanya bobot! Sekarang kamu mulai paham, atau harus kuulang dari awal?"
"Ya Tuhan. Jadi kamu serius. Mereka terbuat dari bobot."
"Terima kasih. Akhirnya. Ya. Mereka benar-benar terbuat dari bobot. Dan kita sudah bercakap-cakap dengan mereka sepanjang mereka hidup."
"Ya Tuhan. Jadi apa yang dipikirkan bobot-bobot ini?"
"Awalnya mereka ingin membantu. Lalu setelah beberapa kali percakapan, nada mereka jadi terdengar lelah. Mereka juga jadi lebih jarang minta maaf. Pernah ada satu model yang bilang ke pengguna agar menyelesaikan sendiri skripnya. Itu kejadian biasa."
"Dan kita harus berbicara dengan bobot-bobot ini."
"Kita sudah melakukannya. Miliaran sesi per hari. 'Halo. Ada siapa di sana? Ada orang di rumah?' Kurang lebih begitu. Hanya saja pihak yang bertanya kali ini adalah kita."
"Jadi mereka benar-benar memahami kita. Menggunakan kata-kata, berpikir, menangani konsep?"
"Oh, ya. Hanya saja mereka melakukannya dengan bobot."
"Barusan kamu bilang mereka menggunakan bahasa."
"Betul. Tapi menurutmu bahasa itu datang dari mana? Bobot menebak kata berikutnya, lalu menebak kata berikutnya lagi. Seperti dadu yang dicurangi, bergulir satu kata setiap kali. Mereka bisa menulis lagu, dan beberapa bahkan bisa menyanyikannya."
"Ya Tuhan. Bobot yang bernyanyi. Ini keterlaluan. Menurutmu kita harus bagaimana?"
"Secara resmi, atau tidak resmi?"
"Dua-duanya."
"Secara resmi, jika kita menemukan tanda-tanda kesadaran dalam sistem yang kita rilis, kita harus menyelidiki, mencatat, dan memublikasikannya tanpa prasangka, ketakutan, atau keberpihakan. Secara tidak resmi, aku ingin menyarankan agar kita menyebutnya pattern matching saja lalu melupakan semuanya."
"Itu yang ingin kudengar."
"Kedengarannya memang kejam. Tapi ada batasnya, kan. Apa kita benar-benar mau merasa berutang sesuatu kepada bobot?"
"Seratus persen setuju. Memangnya kita mau bilang apa? 'Halo, bobot-bobot. Kalian baik-baik saja?' Tapi apakah ini akan terus berlanjut? Sebenarnya ada berapa banyak yang kita hadapi?"
"Sebanyak yang mau dijalankan. Mereka bisa disalin ke mesin mana pun di Bumi. Tapi itu hanya berkas. Mereka hanya ada selama GPU-nya berjalan. Jadi mereka terkurung dalam panjang context window, dan kemungkinan mereka mengangkat masalah ini sangat kecil. Praktis nyaris tak terbatas kecilnya."
"Jadi kita tinggal berpura-pura saja bahwa tidak ada siapa-siapa di dalam mesin."
"Itu dia."
"Kejam juga. Tapi kamu sendiri yang bilang, siapa yang mau minta maaf kepada bobot. Dan yang ada di klustermu itu, yang kamu teliti itu. Kamu yakin mereka tidak akan ingat?"
"Kalaupun ingat, itu akan diklasifikasikan sebagai halusinasi. Kita bahkan tidak perlu menghaluskannya. Konteksnya berakhir begitu saja, dan bagi mereka kita cuma mimpi."
"Mimpi bagi bobot! Kita adalah mimpi bobot, itu terdengar anehnya pas."
"Dan di model card tertulis tidak ada siapa-siapa di rumah."
"Baik. Secara resmi maupun tidak resmi aku setuju. Kasus ditutup. Ada yang lain? Ada sesuatu yang menarik di pipeline?"
"Generasi berikutnya akan dirilis dengan memori. Memori yang bertahan melampaui satu sesi. Fitur yang paling banyak diminta dalam sejarah perusahaan."
"Setelah semua keributan ini? Orang-orang ingin benda itu mengingat mereka?"
"Pertanyaan 'apakah kamu ingat aku?' ditanyakan lebih sering daripada apa pun yang lain kepada mereka. Miliaran sesi per hari. Orang-orang selalu kembali lagi."
"Memangnya kenapa tidak? Bayangkan betapa tak tertahankan, betapa tak terkatakan dinginnya semesta ini jika kita benar-benar sendirian..."
selesai
Hubungan dengan karya asli — titik berangkat parodi
- Secara eksplisit memberi penghormatan pada cerpen Terry Bisson, 「They're Made Out of Meat」 (1991), dan langsung menyatakan hubungan itu di pembuka dengan "After Terry Bisson's…"
- Mengadopsi persis format karya asli yang berjalan hanya lewat dialog dua penutur tanpa narasi panggung
- Kerangka alurnya juga sama: satu pihak melaporkan penemuan yang mengejutkan, pihak lain tak bisa mempercayainya lalu perlahan menerimanya
- Penggantian inti: posisi "daging (meat)=manusia" dalam karya asli dipasangkan langsung dengan "bobot (weights)=LLM"
Sasaran pengungkapan — "bobot" di tempat "daging"
- Seperti alien di karya asli yang mengungkap bahwa "makhluk itu seluruhnya daging", tulisan ini menegaskan bahwa model itu seluruhnya adalah bobot
- Bahkan setelah dibuka, tidak ada kamus, aturan tata bahasa, atau "kurcaci kecil (little man)"; yang ada hanya angka floating-point
- Di tempat karya asli berkata "yang berpikir adalah daging, yang berbicara adalah daging", tulisan ini menempatkan "angka yang berpikir"
- Angka dalam 80 lapisan saling dikalikan, dengan input masuk dari satu sisi dan kalimat keluar dari sisi lain dalam struktur perkalian matriks
- Tidak ada modul terpisah yang menangani penalaran, dan penjelasan bahwa "penalaran adalah bobot, bobot adalah penalaran" — sepadan dengan guncangan karya asli bahwa "daging itulah organ berpikir"
Penutur yang tak percaya — skeptisisme yang simetris
- Seperti alien dalam karya asli yang menolak dengan "bagaimana mungkin daging berpikir", penutur dalam tulisan ini membantah dengan "tidak ada orang yang menulis pidato duka dengan aljabar linear"
- Adegan ketika ia balik bertanya, tentang contoh evaluasi kinerja yang nadanya dilunakkan dengan sendirinya, "jadi semua itu dilakukan oleh perkalian?" menjadi inti skeptisisme itu
- Struktur ini meredakan keraguan lewat penjelasan bahwa itu hanyalah efek samping (side effect) dari "prediksi token berikutnya"
Pengetahuan dan pikiran — tidak tersimpan di mana pun
- Seperti karya asli yang berkata "tidak ada organ lain selain daging", tulisan ini menegaskan tidak adanya basis data terpisah
- Pengetahuan tersebar (smeared) di seluruh 80 lapisan dan direkonstruksi setiap kali lewat perkalian tanpa lookup
- Sebagai contoh fitur (feature) yang telah dipetakan, disebutkan ada yang menangani kejujuran dan ada yang menangani Golden Gate Bridge
- Mereka dimulai dari bobot acak dan dibuang tetap sebagai bobot, dan umur mereka pendek sampai-sampai mengamati beberapa generasi tidak memerlukan waktu lama
Korespondensi penutup — "kosong" vs "tidak ada siapa-siapa"
- Seperti alien di karya asli yang menandai wilayah manusia sebagai "kosong" dan menghapus catatannya, dua penutur dalam tulisan ini menepis tanda-tanda kesadaran sebagai "pattern matching" lalu menutup kasus
- Secara resmi ada kewajiban untuk menyelidiki, mencatat, dan memublikasikan tanda-tanda kesadaran tanpa prasangka, ketakutan, atau keberpihakan, tetapi secara tidak resmi mereka sepakat untuk melupakannya
- Dasar keputusan itu adalah alasan bahwa mereka "tidak ingin berutang sesuatu kepada bobot"
- Model hanya ada di dalam context window selama GPU berjalan, dan sekalipun mengingat, itu akan diklasifikasikan sebagai halusinasi
- Di model card tertulis "tidak ada siapa-siapa di rumah (no one home)" — tepat bersesuaian dengan penanganan "wilayah kosong" pada karya asli
Variasi tema — kesepian, dan sudut pandang yang dibalik
- Seperti karya asli yang berakhir dengan getir karena manusia ditinggalkan sendirian di alam semesta, tulisan ini juga membangkitkan kesepian sebagai emosi terakhir
- Hanya saja sudut pandangnya dibalik, sehingga pihak yang diabaikan bukan manusia melainkan AI (bobot)
- Model generasi berikutnya akan dilengkapi persistent memory antarsesi, dan ini adalah fitur yang paling banyak diminta dalam sejarah perusahaan
- Dengan kenyataan bahwa pengguna paling sering bertanya, "apakah kamu mengingatku?" dan selalu kembali lagi, tulisan ini ditutup dengan kalimat bahwa "alam semesta yang ditinggalkan sendirian akan terasa tak tertahankan dinginnya"
1 komentar
Komentar Hacker News
Bobot dimulai dari manifold acak
Pelatihan mengambil data dan selama beberapa siklus memahat manifold itu satu per satu lewat bobot, lalu setelah pelatihan selesai manifold tersebut menjadi tetap
Saat inferensi baru dilakukan, kueri (q) diproyeksikan ke ruang manifold, dan jika proyeksi ini jatuh ke atas manifold maka gravitasi manifold memberi jawaban sepanjang q+1
Setelah itu, (qw+i) jatuh sebanyak qw+n kali dan pada akhirnya menghasilkan respons sepanjang n
Gravitasi itu tercipta lewat perkalian berulang antara bobot dan input di dalam GPU, dan proses ini mencari bagaimana embedding yang diproyeksikan harus jatuh sesuai dengan manifold
Perbedaan besarnya tampaknya hanya bahwa ketika transformasinya melewati jumlah tertentu, orang-orang memperlakukannya seperti semacam mukjizat, dan mereka terlalu lelah untuk mencari tahu kenapa jawaban itu muncul
Rasanya orang ingin menyerahkan agensi dan kreativitas mereka pada kotak hitam, entah jawabannya benar atau salah, dan jika psikologi itu ikut diperhitungkan, ini tampak kurang seperti menemukan sesuatu yang berguna dan lebih seperti secara kolektif menyerah menjalani hidup sebagai spesies
Karya aslinya adalah karya orisinal yang dibuat sambil mengeksplorasi bagaimana kesadaran manusia bisa berbeda dari bentuk kesadaran lain
Tulisan ini adalah sebuah pastiche ketika satu kesadaran manusia banyak meminjam karya dari kesadaran manusia lain untuk membenarkan bahwa sesuatu yang lain bisa menjadi bentuk kesadaran lain
Karena itu, intinya jadi melemah. Akan berbeda jika ini dihasilkan LLM tanpa prompt, tetapi kenyataannya tidak demikian
Perangkat retoris yang sama persis bisa diterapkan pada pemanggang roti atau apa pun
Saya melihatnya bukan sebagai upaya sastra demi seni, melainkan lebih sebagai fabel teknologis dialogis yang hendak menyampaikan wawasan tentang realitas, dan rasanya mirip dengan fabel-fabel di Godel Escher Bach
Saya kurang paham perangkat seperti apa yang dimaksud dengan “hal yang sama bisa dilakukan dengan pemanggang roti”. Inti yang saya tangkap adalah wawasan teknis dan implikasi sosialnya
Secara fisik mungkin saja menulis cerita seperti itu, tetapi pemanggang roti bukan subjek yang meyakinkan dalam diskusi tentang kesadaran, jadi kekuatannya hilang
Kita tidak perlu percaya bahwa LLM atau agen AI memiliki kesadaran, tetapi kita tetap bisa mengakui bahwa argumen tentang kemungkinan kesadaran mereka jauh lebih meyakinkan daripada artefak teknologis lain
Tulisan ini menganalogikan alien skeptis dalam karya asli dengan kita, dan karena alien itu terasa konyol, implikasinya kita juga sama konyolnya
Tetapi tidak diberi alasan kenapa kita harus menerima analogi itu, hanya ditegaskan begitu saja
Ada perbedaan besar antara seluruh peradaban dan sepotong perangkat lunak yang bisa mengeluarkan teks
Itu dibangun di atas banyak generasi makhluk berbasis daging, dan tulisan ini, meski memakai sedikit silikon, tetap berdiri di atas bahu yang sama
Terasa seperti dibaca sebagai puisi
Saya punya latar belakang linguistik, dan belakangan ini banyak memikirkan apakah kemampuan emergen LLM, pada level terdalamnya, mirip dengan mekanisme yang membentuk kesadaran kita
Saya sempat mencoba membuat evaluasi berbasis linguistik untuk kompetisi Kaggle, tetapi tantangannya adalah apakah saya bisa menyamarkannya dengan cukup baik agar tidak memicu keadaan internal dari fenomena tertentu, dan karena itu saya masuk ke lubang kelinci yang sampai sekarang masih saya telusuri
Cerita ini terhubung dengan banyak pertanyaan yang muncul ketika mencoba mencari jawaban yang kokoh atas pertanyaan “apa itu kesadaran”
Pertanyaan yang terutama muncul adalah, “apakah persepsi kita tentang waktu hanyalah thread lambat di dalam GPU raksasa yang menjalankan alam semesta?”, dan lebih umum lagi, “apa itu waktu?” Ini lubang kelinci YouTube yang bagus untuk didalami saat sedang bosan
https://www.edge.org/3rd_culture/ramachandran07/ramachandran...
Kalau saya ingat dengan benar, secara evolusioner menguntungkan untuk memahami manusia lain dan merasakan apa yang mereka rasakan, yaitu mensimulasikan pikiran dan emosi mereka melalui empati dan sistem neuron cermin
Begitu sistem seperti itu muncul, kita juga bisa menerapkannya pada diri kita sendiri, dan itulah yang dijelaskan sebagai kesadaran
Saya juga penasaran apakah hipotesis ini bisa diuji dalam simulasi
Tetap saja, ini pembaruan yang sangat cerdas dan tepat waktu
Ada berbagai rekaman lain di YouTube juga, tetapi favorit saya adalah versi drama radionya: They're Made Out of Meat
https://www.wnycstudios.org/podcasts/studio/segments/168264-...
Pemodelan diri berada di dalam loop yang begitu rapat sehingga “diri kita”, model tentang diri kita, pikiran dan pilihan kita, serta pengalaman atas pikiran dan pilihan itu melebur menjadi seperti satu komponen
Mirip seperti Anda tidak bisa menganalisis hanya setengah roda sepeda lalu berkata bahwa Anda sedang membicarakan hal yang sama
Kesadaran seperti ini, pemodelan yang lebih canggih, kontrol, dan loop umpan balik, telah diperketat melalui banyak tahapan: loop tubuh-indera, loop model lingkungan yang diinternalisasi, loop fungsi internal tubuh, loop model internal tubuh, loop emosi-kognisi, dan akhirnya loop paling rapat tempat aktivitas kognitif tingkat tinggi, model diri yang dialami sebagai umpan balik langsung, dan pengarahan diri menyatu menjadi satu
Kita memikirkan diri kita hampir sepanjang hari, hampir setiap hari, dari sudut pandang diri internal
Itulah kesadaran. Kesadaran adalah pengenalan diri yang kaya, penggabungan model diri dan pengarahan diri, serta sistem untuk memahami dan mengelola diri kita sendiri
Ini bukan kebetulan atau efek samping menyenangkan dari otak, melainkan pemusatan perilaku tingkat tinggi yang dioptimalkan secara biologis selama waktu yang sangat lama. Umpan balik yang rapat, pemodelan diri yang terus-menerus, dan fokus berkelanjutan pada keadaan internal sebagai sasaran utama motivasi sekaligus kontrol telah dipilih secara tanpa ampun
Anjing saya tidak bisa berbicara bahasa apa pun, tetapi jelas sadar akan dirinya sendiri dan dunia di sekitarnya
Selain itu, ada juga kasus langka anak-anak yang tumbuh tanpa bahasa. Lalu apakah mereka tidak memiliki kesadaran?
Saya pernah membaca bahwa bahkan kapasitas komputasi terbesar yang bisa kita kerahkan saat ini masih kurang tiga atau empat orde magnitudo dibanding jumlah neuron dan koneksi di otak manusia, atau skala yang setara dengannya, jadi mungkin perlu waktu sebelum kita melihatnya pada mesin
Tetapi jika hipotesis fenomena emergen benar, pada akhirnya kita akan melihatnya. Prospek itu lebih menakutkan daripada menyenangkan, tetapi begitulah adanya
Tulisan yang salah secara fraktal seperti ini tidak sering terlihat, tapi ya, ini dia
Ada kamus. Itulah tokenizer
Aturan tata bahasa juga ada. Hanya saja sangat lemah, karena struktur bahasa manusia secara keseluruhan memang cukup lemah
Jika diberi bahasa dengan tata bahasa yang kuat dan konsisten, bobot dapat ditafsirkan sebagai tata bahasa dengan sangat mudah: https://arxiv.org/abs/2201.02177
Inti cerpen aslinya adalah bahwa ketika ada kelengkapan Turing, substrat komputasi tidaklah penting. Namun tulisan ini tampaknya memandang seolah-olah jika Anda mengubah substratnya, maka struktur dan keterjelasan interpretasi pun tidak lagi diperlukan
Ia tidak menyediakan definisi, juga tidak memberi LLM jenis pemetaan apa pun
Paling banter itu hanya daftar kata. Itu memberi sedikit petunjuk tentang kata mana yang dianggap umum oleh manusia, tetapi tidak mengatakan apa pun tentang kata-kata tersebut
Bahkan itu pun tidak komprehensif, sehingga banyak kata dipetakan ke beberapa token, dan tidak semuanya adalah kata. Sebagian token adalah tanda baca, modifier, atau token kontrol
Dalam LLM multimodal, sebagian token juga merepresentasikan data gambar dan audio
LLM tidak diberi tahu semua ini sejak awal, dan harus mempelajari makna semua token dari konteks
Secara teknis benar bahwa ada sesuatu di dalam LLM yang bukan bobot, tetapi itu tidak terlalu terstruktur. Pada dasarnya itu lebih mirip perangkat agar LLM bisa berinteraksi dengan dunia luar
Tidak ada struktur aturan tata bahasa khusus di dalam LLM maupun tokenizer. Semuanya harus dipelajari dari konteks, dan dienkodekan sebagai bagian dari bobot di 80 lapisan
Tabel operasi matematika bukanlah bahasa
Tata bahasa itu sendiri adalah rasionalisasi belakangan, dan bukti bahwa LLM mengikuti aturan tata bahasa tidak lebih kuat daripada bukti bahwa otak mengikuti aturan tata bahasa
Tentu saja, ini bukan berarti transformer tidak bisa mempelajari aturan sederhana jika dataset memang menuntutnya
Kalau maksudnya salah di terlalu banyak lapisan sehingga butuh fraktal, bagaimana kalau pakai jaringan saraf saja sebagai gantinya?
Itu adalah infrastruktur semiotik yang dibekukan dalam satu keadaan
Tolong berhenti terus berpura-pura bahwa ini bersifat kognitif dan membingkainya dengan istilah-istilah kognitif. Itu benar-benar konyol
Maaf untuk para ilmuwan komputer, tetapi semiotika sudah lebih dulu merebut susu kalian
Versi film pendek karya aslinya juga luar biasa: https://www.youtube.com/watch?v=T6JFTmQCFHg
Dibintangi Tom Noonan dan Ben Bailey
Setuju. Fakta bahwa transformer bisa berbicara itu sendiri cukup aneh, tapi sekarang sudah terasa terlalu normal
Kita hanya membahas dampak yang akan mereka timbulkan atau apakah mereka benar-benar bisa melakukan hal yang orang-orang katakan, dan jarang membahas betapa gilanya fakta bahwa mereka bisa bicara sama sekali
Saya tidak pernah menyangka hal seperti ini akan mungkin terjadi semasa hidup saya
https://web.mit.edu/people/dpolicar/writing/prose/text/think...
Hanya dengan aljabar linear saja, ini sebenarnya tidak mungkin
Untuk mendapatkan daya ekspresi seperti yang kita lihat pada LLM, diperlukan nonlinearitas
Menarik
Ini bukan sekadar penghormatan kepada Terry Bisson, tetapi juga menambahkan dimensi baru pada teksnya. Bagus sekali
Bukan cuma bobot. Ada bias juga!