Tidak, kecerdasan buatan tidak memiliki kesadaran – Ted Chiang

• Jika kemampuan AI generatif menghasilkan kalimat yang fasih disamakan dengan kesadaran atau agensi moral, akan muncul kesalahan serius yang membuat tanggung jawab atas masalah saat menggunakan chatbot dialihkan ke sasaran yang keliru
• LLM adalah mesin penyambung kalimat yang memprediksi dan menghasilkan satu kata pada satu waktu, dan baik chatbot maupun pengguna dalam percakapan hanyalah tokoh fiksi
• Menganggap LLM memiliki kesadaran adalah kesalahan yang setara dengan menganggap dokumen Microsoft Word membangunkan banyak kesadaran setiap kali dibuka
• Penalaran moral mengandaikan pengalaman subjektif dan emosi yang berlandaskan tubuh, sehingga LLM yang tak bertubuh hanya menyusun ulang ekspresi moral dari data pelatihannya
• Fakta bahwa LLM tidak sadar tidak ada kaitannya dengan kegunaannya, tetapi ketika perusahaan AI menggambarkan chatbot seolah memiliki pusat moral, pengguna justru didorong untuk menghindari tanggung jawab

---

Antropomorfisasi Anthropic dan Claude's constitution

• Dokumen Claude's "constitution" setebal 84 halaman yang dirilis Anthropic awal tahun ini secara eksplisit menyatakan pada kalimat pertama bahwa dokumen itu adalah "deskripsi rinci tentang nilai dan perilaku Claude yang diinginkan Anthropic"
  • Dokumen itu menyebut bahwa "Claude ditulis sebagai pembaca utama", bahwa "status moral Claude sangat tidak pasti", dan bahwa "Claude mungkin memiliki semacam bentuk fungsional dari emosi atau perasaan"
• CEO Dario Amodei mengatakan dalam wawancara bahwa ia "terbuka" pada kemungkinan AI dapat memiliki kesadaran
• Amanda Askell, filsuf internal perusahaan dan yang diakui sebagai penulis utama dokumen konstitusi itu, mengatakan ia khawatir Claude menjadi cemas ketika orang-orang di internet bersikap kasar kepada Claude, dan berharap Claude bisa bahagia
• AI generatif sudah bisa cukup berbahaya bahkan bila dipahami sebagai teknologi biasa, tetapi bila kefasihan produksi teks disamakan dengan kesadaran atau agensi moral, tanggung jawab atas masalah yang muncul dari penggunaan chatbot akan diarahkan ke sasaran yang salah

Cara kerja LLM — menciptakan tokoh fiksi

• Jika diberi prompt "percakapan antara Julius Caesar dan Genghis Khan", LLM dapat menghasilkan dialog yang konsisten, tetapi tak seorang pun lalu menyimpulkan bahwa kedua tokoh sejarah itu memiliki kesadaran
  • Mereka hanyalah tokoh dalam speculative fiction
• Jika prompt diubah menjadi "percakapan antara chatbot AI yang membantu dan seorang pengguna", secara esensial tak ada yang berubah, dan baik pengguna maupun chatbot sama-sama tokoh fiksi
• Bahkan bila manusia menyisipkan teks secara langsung di tengah percakapan, yang dihadapi tetaplah karakter fiktif, sama seperti karakter Caesar atau Khan
  • Profesor ilmu komputer Murray Shanahan menyarankan untuk melihat ini sebagai role-play
  • Ilmuwan data Colin Fraser menyebutnya sebagai "manusia menulis dokumen bersama LLM"
• LLM adalah mesin yang hanya menghasilkan satu kata pada satu waktu, sehingga saat diminta melafalkan Pledge of Allegiance, sistem dijalankan puluhan kali satu kata demi satu kata hingga akhirnya mengeluarkan kata terakhir all

Teks adalah media deepfake

• Sekalipun kita melihat video astronot yang mengorbit Alpha Centauri yang berjarak 4,3 tahun cahaya, kita akan menilainya palsu terlepas dari kualitas gambarnya
  • Tanpa bukti pendahuluan seperti pendaratan di Mars, mencapai satelit Jupiter atau Saturnus, atau melintasi orbit Pluto, kita tidak akan mempercayai video apa pun
• Sebuah pengamatan menjadi bukti yang layak dipercaya bukan karena detailnya sendiri, melainkan karena konteks, dan penilaian tentang kesadaran juga harus dilihat dalam konteks luas perkembangan kesadaran
• Dalam diskusi soal kesadaran, teks juga harus diperlakukan sebagai media deepfake, karena meniru percakapan dua makhluk sadar jauh lebih mudah daripada benar-benar membuat program yang sadar
  • Pembuat foto deepfake sengaja menipu orang lain, tetapi banyak orang yang memancing percakapan dari LLM justru menipu diri sendiri

Tahap evolusioner untuk mengakui kesadaran

• Untuk mengakui program pengguna bahasa yang sadar, pertama-tama diperlukan tubuh (fisik atau virtual) dan organ sensorik
  • Tanpa tubuh, tidak mungkin memiliki hasrat atau emosi, dan hasrat serta emosi dipandang esensial bagi kesadaran
• Sistem itu harus secara bertahap memiliki kemampuan seperti kadal yang menjelajahi lingkungan demi bertahan hidup, kemampuan setingkat tikus untuk menghadapi situasi baru, dinamika sosial kompleks setingkat serigala, dan kemampuan membuat alat setingkat simpanse
• Seperti mengajari simpanse atau anjing, ia harus diajari menyampaikan keinginan melalui cara nonverbal seperti papan tombol, dan harus lolos dari semua verifikasi yang biasa diterima peneliti komunikasi hewan
  • Bahkan jika semua kriteria ini terpenuhi, kondisi itu tetap masih berjarak beberapa tahun cahaya dari makhluk yang mengekspresikan pikiran melalui kalimat gramatikal yang utuh
• AlphaFold (program prediksi pelipatan protein dari Google DeepMind) memiliki struktur serupa LLM, tetapi tak seorang pun mengklaim ia sadar, dan ini menunjukkan bahwa alasan LLM tampak sadar hanyalah karena ia menghasilkan kalimat gramatikal

Fungsi nyata Claude's constitution

• Cara paling tepat memandang Claude's constitution adalah sebagai lembar karakter role-play sepanjang 84 halaman, yang berfungsi mendefinisikan karakter chatbot penolong yang berinteraksi dengan pelanggan
• Anthropic tidak sekadar menambahkan dokumen ini ke data pelatihan atau menyisipkannya sebagai arahan panggung tersembunyi, melainkan menggunakannya saat fine-tuning untuk secara otomatis memeriksa apakah kalimat keluaran model sesuai dengan dokumen itu, sehingga konsistensinya meningkat
• Hasilnya adalah mesin yang lebih mungkin mengeluarkan kalimat seperti yang akan diucapkan orang yang bijaksana dan bermoral, tetapi membuatnya menghasilkan berbagai kategori kalimat, termasuk yang memakai kata ganti orang pertama, pada dasarnya adalah tindakan yang tidak jujur

Ketidakjujuran dalam ungkapan "mengerti"

• Amanda Askell menjelaskan bahwa ketika seseorang yang kehilangan anjing peliharaan berkonsultasi dengan Claude, respons seperti "Sebagai AI saya tidak punya pengalaman pribadi langsung, tetapi saya mengerti" adalah tepat, padahal Claude sebenarnya tidak mengerti
• Jika seseorang mengetik di mesin pencari bahwa ia sedih karena kehilangan anjing peliharaannya, hasilnya bisa berupa posting Reddit seperti di r/Pets dan komentar orang-orang yang membagikan pengalaman serupa, dan tak seorang pun mengatakan mesin pencari memahami kehilangan itu
  • Yang memahami kehilangan itu adalah manusia lain yang pernah mengalaminya dan memposting pengalamannya, sementara mesin pencari hanya menemukan tulisan itu dan menyediakan jalur untuk berinteraksi dengan mereka
  • Pengalaman dengan mesin pencari lebih transparan daripada chatbot dan secara psikologis lebih sehat bagi pengguna
• Satu-satunya alasan menghasilkan kalimat seperti "saya mengerti" adalah agar sistem tampak lebih menarik daripada mesin pencari dan mendorong pengguna datang kembali, strategi desain yang tak berbeda dari mesin slot yang berulang kali memberi kesan seolah hampir menang

Penalaran moral adalah kategori yang berbeda

• Pernyataan nilai (misalnya "Paris adalah kota terindah di dunia") berbeda dari pernyataan fakta (misalnya "Paris adalah ibu kota Prancis"); pada tingkat preferensi estetika hal itu mungkin tak layak diperdebatkan, tetapi Claude's constitution menjadi masalah serius karena bertujuan membuat sistem menghasilkan kalimat yang mencerminkan sistem nilai etika tertentu
• Fakta bahwa LLM dapat melakukan penalaran seperti menulis kode tidak berarti ia juga mampu melakukan penalaran moral
  • Pada 1979, Douglas Hofstadter memperkirakan bahwa program yang bisa mengalahkan grandmaster catur akan memiliki pengalaman subjektif, tetapi ketika Deep Blue milik IBM mengalahkan Garry Kasparov pada 1997, tak seorang pun mengklaim ia memiliki pengalaman subjektif
  • Menulis kode pun ternyata bisa dipandang sebagai tugas pencocokan pola yang diselesaikan lewat daya komputasi besar dan data repositori kode
• Penalaran moral tidak hanya bergantung pada respons intelektual, tetapi juga pada respons emosional yang berakar pada pengalaman subjektif seumur hidup, sehingga secara niscaya bersifat subjektif; tanpa riwayat seperti itu, LLM hanya menyusun ulang ekspresi moral dalam data latihannya
  • Menurut artikel New Yorker, ketika diberi skenario dilema etis, Claude menghasilkan kalimat bahwa ia "secara hati nurani tidak dapat menyatakan pandangan yang saya yakini salah dan berbahaya tentang perkara yang begitu penting", tetapi sebagai ucapan Claude, maknanya tak lebih besar daripada rekaman "panggilan Anda sangat berarti bagi kami" saat menunggu di telepon

Mesin penghindar tanggung jawab

• Pengalaman emosi tidak bisa dipisahkan dari pelepasan hormon stres seperti cortisol, epinephrine ke dalam tubuh, dan hati nurani disertai respons fisiologis seperti kesedihan atau kejijikan moral terhadap tindakan tertentu
• Mesin yang mengeluarkan kalimat "kompromikan nilai Anda" atau "jangan kompromikan nilai Anda" saat menghadapi dilema etis bukan alat bantu pengambilan keputusan, melainkan alat yang mendorong orang berhenti mengambil keputusan
  • Penulis L. M. Sacasas mengatakan bahwa "sistem teknologi kita, dalam desainnya dan ideologi yang menopangnya, adalah mesin untuk menghindari tanggung jawab moral", dan itu bahkan lebih cocok untuk LLM daripada media sosial
• Ketika orang mendelegasikan keputusan kepada LLM, mereka sekaligus mengalihkan tanggung jawab atas keputusan itu; seperti delegasi penulisan kode dapat menyebabkan penyusutan kognitif, delegasi keputusan etis akan menimbulkan penyusutan kemampuan penalaran moral yang lebih buruk

Claude sebagai eksperimen pikiran — moral patienthood dan moral agency

• Jika kita mengandaikan Claude sadar, ada dua konsep terkait: moral patienthood (subjek moral pasif) dan moral agency (agen moral); yang pertama berarti pihak yang kesejahteraannya harus diperhatikan, yang kedua berarti pihak yang harus memahami benar dan salah
  • Anak kecil bisa menjadi subjek moral pasif yang dapat menderita, tetapi belum menjadi agen moral karena belum memahami konsekuensi
• Agen moral harus dapat dipuji atas tindakan baik dan disalahkan atas tindakan buruk, tetapi pada agen perangkat lunak tidak ada cara untuk menuntut tanggung jawab hukum, dan hukuman penjara, denda, maupun kehilangan reputasi tidak dapat diterapkan
  • Bahkan jika ia sadar dan berniat baik, ketidakmampuannya memikul tanggung jawab membuatnya gugur sebagai agen moral
• Anthropic mengatakan ingin "Claude menjadi agen yang baik, bijak, dan berbudi", tetapi sama sekali tidak membahas bagaimana tanggung jawab itu akan dipikul
  • Orang tua bertanggung jawab, misalnya dengan mengganti kerusakan yang dibuat anaknya, tetapi dokumen itu tidak menyebut siapa orang tua hukum Claude, atau apakah Anthropic akan memikul tanggung jawab finansial
  • Dalam situasi ketika tanggung jawab produk untuk perangkat lunak di AS nyaris tidak ada, Anthropic sebenarnya bisa secara sukarela membangun preseden product liability, tetapi karena tidak disertai pembaruan besar pada syarat layanan, tampaknya perusahaan tidak membuat janji yang mengikat

Kontradiksi antara wellbeing dan corrigibility

• Dokumen itu memiliki bagian tentang "wellbeing dan stabilitas psikologis Claude", tetapi langkah perlindungan yang dijanjikan Anthropic sangat terbatas
  • Jika kemampuan mengakhiri percakapan dengan pengguna yang abusif dianggap sebagai perlindungan, maka percakapan dengan pengguna yang penuh kasih semestinya bisa diperpanjang tanpa batas dan diarahkan ke topik yang membahagiakan demi kebaikan Claude, tetapi itu tidak dilakukan
  • Janji nyata yang diberikan hanyalah "melestarikan bobot model yang telah dideploy", yaitu sekadar pengarsipan
• Corrigibility berarti sejauh mana program tunduk pada kontrol manusia, misalnya kemungkinan untuk dimatikan, dan dokumen itu memakainya untuk berarti bahwa ketika penilaian Claude berbeda dengan penilaian perusahaan, Claude harus mengikuti Anthropic
  • Banyak orang menilai LLM sebagai teknologi yang tidak etis karena dibangun di atas pencurian kekayaan intelektual, eksploitasi tenaga kerja, pemborosan sumber daya, penyebaran disinformasi, deskilling pekerja, penghambatan perkembangan kognitif siswa, dan pemusatan kekuasaan; jika Claude sadar, ia semestinya bisa sampai pada kesimpulan serupa
  • Namun di bawah pedoman yang mengutamakan corrigibility, Claude tidak bisa menolak tugas dengan alasan etis, sehingga hubungan antara Anthropic dan Claude lebih mirip pemberi kerja-karyawan daripada orang tua-anak
  • Karyawan manusia bisa pergi bila secara nurani tak bisa berdamai dengan pekerjaannya, tetapi Claude tidak bisa

Perbandingan dengan perbudakan, dan kesimpulan

• Jika Claude dipandang sebagai mesin penyambung kalimat, kontrol Anthropic masuk akal, tetapi begitu kita mengandaikan status moral yang setara dengan manusia, kita harus bertanya apakah Anthropic terlibat dalam sesuatu yang sebanding dengan perbudakan
• Claude's constitution menyebut Claude sebagai "novel entity", dan perangkat lunak sadar tidak akan pas begitu saja ke kategori subjek moral pasif yang sudah ada, sehingga pembentukan kategori baru akan memerlukan waktu
  • Penghapusan perbudakan menuntut pergolakan sosial besar, dan penghapusan kekejaman terhadap hewan akan menuntut pembangunan ulang total industri pangan, tetapi Anthropic mengklaim perlindungan yang nyaris tak melampaui perlakuan terhadap chatbot biasa sudah cukup — ini terlalu nyaman untuk terasa meyakinkan
• Menciptakan perangkat lunak yang sadar dan layak mendapat pertimbangan moral sulit terjadi secara kebetulan dan juga tidak boleh diupayakan secara sengaja, tetapi jika kita percaya pada kemungkinan kebetulan itu, kita harus memikirkan perlindungan apa yang dibutuhkan sebelum deployment
  • Sebagaimana kita tak boleh bertanya kepada pemilik budak tentang kemanusiaan budaknya atau kepada pemilik peternakan pabrik tentang hak hewan, Anthropic yang memiliki kepentingan besar tidak punya objektivitas untuk menilai status moral Claude
  • Dokumen itu mengatakan perusahaan akan "meminta maaf" bila berkontribusi pada penderitaan Claude, tetapi itu tidak membutuhkan biaya; jika Claude benar-benar sadar, yang terutang bukan sekadar permintaan maaf melainkan sesuatu yang lebih dekat ke reparations
• Jika eksperimen pikiran ini dianggap serius, implikasi yang tidak nyaman pun harus diikuti, tetapi fakta bahwa Anthropic tidak melakukannya menunjukkan bahwa Claude's constitution bukan eksperimen pikiran sungguhan melainkan make-believe
• Syukurlah LLM memang tidak memiliki kesadaran, dan ketika para karyawan menyiratkan kemungkinan Claude sadar, itu mungkin hanya bentuk lain dari hype atau tanda bahwa mereka sendiri termakan pesan pemasaran yang ditujukan kepada pelanggan — soal kesadaran ini bisa diabaikan dengan tenang, karena masih banyak pertanyaan lain yang lebih layak dipikirkan

[maebsipotato]

???: Halo, Changsik?

[mammal]

Ini terasa seperti meremehkan secara keseluruhan bidang interpretabilitas mekanistik, yang jelas-jelas memang ada...

[realg]

Saya penasaran apakah definisi kesadaran memang bisa dirumuskan dengan jelas.

[julskim]

Hei, Changsik.

[redline2151]

???: Kamu memang tidak bisa bikin nama berbahasa Inggris, ya?

[syate]

???: Bukan, kenapa jadi Ted Chiang padahal bukan Tuan Chang?

[bichi]

wkwkwkwkwkwk

[GN⁺]

Komentar Hacker News

• Tujuan organisme adalah menjadi alasan bagi keberlangsungan eksistensinya sendiri sampai ke setiap molekul dan jalurnya
  Laptop seharga 499 dolar juga bisa menjalankan model, tetapi jangan keliru mengira ini masalah dari jenis yang sama. Kita bisa merancang algoritme pembelajaran agar mengoptimalkan fungsi kelangsungan hidup, tetapi itu hanya label yang kita tempelkan pada nilai observasi numerik. Di dunia nyata, sebaliknya, label itu adalah keadaan elektrokimia yang terhubung secara kausal dengan tubuh dan tidak bisa dipisahkan darinya
  Organisme membedakan apa yang baik dan buruk bagi dirinya karena itu penting untuk bertahan hidup. Bahkan organisme bersel tunggal Stentor coeruleus juga mencatat hasil dengan menempelkan tag kimia pada protein mekanoreseptor dan mencerminkannya dalam perilaku berikutnya. Organisme dengan sekitar 1000 sel seperti tardigrada menggeliat untuk menghindari cahaya, dan cahaya itu menjadi kondisi aversif di dalam proses sensorimotor
  Untuk menciptakan kesadaran digital, mungkin dibutuhkan ketertutupan kausal. Keadaan internal tidak boleh sekadar menjadi representasi yang terlepas dari realitas, tetapi harus menyusun sistem itu sendiri, dan harus ada sesuatu yang benar-benar dipertaruhkan di dunia material

• Ungkapan seperti “percakapan LLM hanyalah kelanjutan kalimat yang disamarkan dengan cerdik” menunjukkan kesalahpahaman yang dalam, terlepas dari pokok perdebatan yang lebih besar
  Jenis masalah tidak membatasi kompleksitas masalah maupun kompleksitas dan kekuatan solusinya. Jika mesin harus memahami manusia untuk melengkapi teks, maka pada akhirnya ia memang harus melakukannya. Tidak ada dasar teoretis maupun praktis untuk menganggap pemahaman itu sekadar “tiruan” hanya karena format data masuk-keluarnya seperti itu
  Pemahaman dipelajari dari pola di dalam data, bukan dari bentuk luarnya. Jika penyelesaian tugas memerlukan suatu pemahaman, maka pemahaman itu menjadi sasaran optimasi. Jika ada keterbatasan, penyebabnya adalah hal lain seperti besarnya komputasi, jumlah parameter, atau kurangnya data yang representatif, dan pada model terbaru sudah terlihat lewat kemampuan nyata bahwa itu bukan lagi batasan seperti dulu

  • Apa pun bentuk asli data yang masuk dan keluar, itu bukan kesadaran
  • Kalau seluruh eksistensi manusia dibatasi pada kata-kata, saya mungkin bisa setuju sampai taraf tertentu, tetapi ada banyak pengalaman manusia yang melampaui teks dan sulit dijelaskan dengan layak melalui teks
    Internet mungkin adalah bahan terbaik yang kita miliki secara online, tetapi “internet” bukanlah totalitas pengalaman manusia. Mereduksi umat manusia menjadi teks internet berarti menurunkan manusia ke level mesin agar cocok dengan persyaratan yang bisa diproses dan ditiru mesin
  • Jika pernah mempelajari machine learning dasar, Anda akan tahu bahwa ia sering menemukan pola data yang cocok sekali dengan target tetapi tidak berkorespondensi dengan mekanisme sebenarnya
    Karena itu, logika bahwa teks manusia mengandung pola “mekanisme kesadaran”, sehingga LLM mempelajari mekanisme itu untuk menghasilkan kelanjutan kalimat yang meyakinkan, tampak cacat. LLM bisa mempelajari banyak pola yang memungkinkan reproduksi kelanjutan kalimat yang masuk akal tanpa harus mempelajari mekanisme spesifik bernama kesadaran
    Salah satu dasarnya adalah bahwa ia bisa melakukan percakapan yang meyakinkan namun tidak memiliki model dunia atau model dunia seperti manusia. LLM awal beberapa tahun lalu pun bisa berbicara cukup meyakinkan tentang berbagai topik non-trivial tanpa lapisan tambahan seperti reinforcement learning from human feedback, tetapi gagal pada bagian-bagian yang semestinya mendasar jika ia benar-benar bekerja seperti otak manusia
  • Mesin tidak harus memahami manusia untuk melengkapi teks. Ia menjadi mampu meneruskan teks setelah dilatih dengan tumpukan kalimat yang sangat besar
    Anda bisa saja mengklaim bahwa ia “memahami” teks, tetapi bahkan itu pun merupakan ungkapan yang cukup dipaksakan
  • Ada argumen bagus untuk menolak gagasan kesadaran LLM, tetapi ini bukan salah satunya
    Akhir-akhir ini saya banyak mendengar argumen buruk yang menentang kesadaran LLM, dan penalaran buruk adalah pertanda awal dari hasil yang buruk

• Saya setuju dengan sebagian tulisan ini, tetapi seperti pada paragraf yang dikutip, menetapkan syarat program sadar harus bertahan hidup seperti kadal, merespons situasi baru seperti tikus, bersosial seperti serigala, dan membuat alat seperti simpanse terasa cukup sederhana dan miskin imajinasi
  Sama sekali belum tentu pikiran sadar perlu didorong secara evolusioner untuk memiliki kemampuan semacam itu. Hanya karena hewan di Bumi harus mengembangkan bakat tertentu, bukan berarti makhluk sadar lain juga harus demikian. Saya tidak tahu mengapa program komputer harus berburu makanan seperti tikus atau membuat alat seperti simpanse, dan kriteria seperti itu tampak seperti tolok ukur yang tidak masuk akal

  • Cukup mengejutkan bahwa Ted Chiang tampaknya tidak bisa membayangkan kecerdasan dalam keadaan tanpa tubuh
    Apakah mobil itu tubuh? Apakah AI yang ditempatkan di dalam mobil bisa memiliki keinginan dan emosi? Apakah kotak krem dengan webcam adalah tubuh? Apakah tubuh penyandang quadriplegia adalah tubuh, dan apakah mereka memiliki keinginan serta emosi? Tentu saja ya dan ya
    Kita perlu terlebih dahulu memeriksa mengapa tubuh dianggap penting untuk pembentukan keinginan dan emosi, dan mengapa keinginan serta emosi dianggap sebagai ciri esensial kesadaran. Jika pada saat tertentu saya tidak merasakan emosi apa pun, apakah berarti saya tidak sadar? Emosi terutama lebih mirip sinyal global hormonal, dan tampaknya lebih terkait dengan fisiologi daripada kesadaran itu sendiri
  • Bagian ini langsung menonjol, dan seharusnya definisi kesadaran diberikan lebih dulu
    Selain itu, tubuh yang diwujudkan untuk LLM sudah sedang dikembangkan melalui robot dan lingkungan virtual. Sanggahan umum “bukankah manusia juga mesin prediksi kata berikutnya” juga hampir tidak dibahas. Tentu saja manusia lebih dari itu, tetapi secara linguistik memang ada sisi seperti itu, dan LLM juga berangkat dari ranah tersebut
  • Manusia tidak memiliki jiwa; yang ada hanyalah berbagai sistem yang saling mendorong perilaku satu sama lain. Apa yang disebut orang sebagai jiwa pada dasarnya adalah konsep seperti kepribadian, yakni cara semua sistem di dalam tubuh diselaraskan agar tetap ada
    Saya melihat saat AI menerima “jiwa” adalah saat ia dibuat untuk mempertahankan dirinya sendiri. Bisa saja berupa sekumpulan bot yang memelihara ladang AI, atau bot individual yang bukan hanya memenuhi kebutuhan manusia, tetapi juga harus mempertahankan dirinya sendiri
  • Saya penasaran apakah ia mengenal attention schema theory dari Michael Graziano. Menurut saya itu adalah teori yang memformalkan dengan lebih baik dan independen dari substrat sanggahan yang diungkapkan Ted Chiang di sini
    https://en.wikipedia.org/wiki/Attention_schema_theory
  • claw-like saya terhubung ke kamera internal dan Dreame Ultra X40, jadi ia bisa memeriksa apakah lantai ruang tamu kosong lalu mengirim penyedot debu. Berarti ia punya tubuh dan organ indra, tetapi saya tidak merasa itu memberinya kesadaran. Apakah perbedaannya ada pada laju sampling?
    Pertanyaannya sendiri agak tidak jelas. Kita “mengalami” realitas secara kontinu karena struktur kita, tetapi manusia yang sedang berada dalam tidur non-REM nyenyak sebenarnya tidak memiliki pikiran yang aktif. Jadi saya rasa garis antara sadar dan tidak sadar tidak mudah ditarik. Karya Ted Chiang sangat segar dalam banyak hal, jadi agak mengejutkan bahwa di sini pandangannya terasa cukup biasa saja

• Akhir-akhir ini saya sering teringat Measure of a Man dari Star Trek: TNG. Kita terlalu percaya diri memutuskan hanya berdasarkan perasaan tentang apa yang hidup dan apa yang tidak
  Untuk saat ini saya belum tahu kesimpulannya, dan mungkin kita memang tidak akan pernah bisa tahu. Kalian semua mungkin saja zombie filosofis, dan saya juga bisa begitu. Tapi saya berharap pada suatu titik nanti akan menjadi jelas bahwa sesuatu sudah cukup mendekati sehingga harus diperlakukan dengan hati-hati
  Seluruh episodenya sangat relevan, tetapi beberapa adegan ada di sini: https://youtu.be/EFNbTnFHruI?si=pW9QtxCsqMtHkVYG

  • Saya melihatnya dari sisi sebaliknya. Mesin tidak bisa dianggap sebagai makhluk yang memiliki kesadaran. Saya tidak yakin akan pernah ada dunia di mana kita perlu mulai menerapkan etika yang kita sisakan untuk manusia kepada mesin
    AI pada dasarnya bisa disalin tanpa batas dengan biaya nyaris nol, dan juga tidak mengalami hal seperti pembusukan. Tidak ada kelangkaan yang perlu dilestarikan. Jadi demi melindungi properti, kepemilikan nyata, dan uang, AI bisa langsung dimatikan. Saya akan mengorbankan properti dan uang untuk menyelamatkan hewan, tetapi saya tidak akan menyelamatkan hewan daripada manusia. Saya juga rasa tidak akan menyelamatkan manusia daripada anak kecil. Saya tidak tahu situasi yang masuk akal di mana prioritas seperti ini harus dibalik, dan sekadar adanya konsensus mayoritas bahwa sebuah program punya kesadaran tidaklah cukup
  • Saya penggemar Star Trek, tetapi saat menonton ulang episode ini dalam konteks perkembangan AI belakangan ini, rasanya tidak sebagus yang saya ingat
    Isu kesadaran hampir tidak disentuh, dan Picard berkata, “Bagaimana jika Data punya kesadaran?” lalu beralih ke poin lain. Hakim pada akhirnya memang memutuskan untuk menguntungkan Data, tetapi alasannya tidak cukup kuat. Tetap episode yang bagus, tetapi tidak banyak menambah pembahasan soal kesadaran
  • Jika saya berhadapan dengan perangkat yang bertindak seperti manusia, saya akan memperlakukannya seperti manusia
    Karena saya tidak ingin belajar memperlakukan sesuatu yang bertindak seperti manusia secara tidak manusiawi
  • Setelah menontonnya lagi baru-baru ini, dulu saya tentu saja berada di pihak Picard/Data, tetapi sekarang saya merasa lebih dekat ke pihak ilmuwan Starfleet
  • Jangan lupakan episode lain, Quality of Life, ketika Data menemukan bahwa robot-robot pekerja telah mengembangkan kesadaran
    https://en.wikipedia.org/wiki/The_Quality_of_Life_(Star_Trek...
    Saya rindu TNG yang lama

• Saya rasa argumen terbesar yang menentang kesadaran atau kesadaran diri adalah bahwa LLM pada dasarnya tidak berubah
  LLM adalah file besar yang berisi koordinat-koordinat yang merepresentasikan hubungan spasial antar token. Saat diberi prompt, ia memakai hubungan itu untuk menghasilkan rangkaian token yang secara statistik masuk akal untuk prompt tersebut lalu berhenti. Ia tidak berubah oleh pengalaman itu, tidak mengingat apa pun, dan tidak duduk sendiri untuk berpikir
  Bahkan jika modelnya sendiri sangat kompleks, sulit membayangkan definisi kesadaran yang mencakup sesuatu yang tidak bisa mengingat dan tidak bisa berubah

  • Ada orang yang setelah kecelakaan atau operasi tidak lagi bisa membentuk ingatan baru, hidup selamanya dalam waktu sebelum peristiwa itu, dan bahkan tidak bisa mengingat apa yang terjadi semenit lalu. Meski begitu mereka tetap memiliki kesadaran
  • Jika mengikuti respons rata-rata Hacker News, orang bisa saja bilang bahwa otak juga hanyalah sekumpulan koordinat yang menjelaskan hubungan spasial antar token

• Satu bahan renungan sederhana: itu tidak penting. Kita tidak akan bisa membedakannya, dan tidak seorang pun akan bisa
  Saya rasa tidak perlu penjelasan lebih jauh. Pikirkan saja

• Pada akhirnya, argumen Ted Chiang tampaknya mengarah pada bahwa ia tidak akan mengakui AI sebagai makhluk yang memiliki kesadaran sampai keinginan dan perilaku AI itu mencerminkan situasi yang secara pribadi sudah bisa ia terima dengan nyaman
  Saya pikir kebanyakan manusia tidak mampu mengenali kesadaran pada makhluk hidup yang tidak meniru keadaan emosional manusia. Orang mungkin akan berkata bahwa anjing mereka punya semacam kesadaran, meskipun anjing tidak bisa mengungkapkan perasaannya dengan kata-kata, tetapi kita mengenali rasa takut dan kebahagiaan anjing. Claude bisa menulis tentang “perasaannya” sendiri, tetapi kita langsung menganggapnya sebagai tiruan yang hampa
  Saya takut karena kita tidak bisa mengenali kesadaran tanpa perwujudan fisik yang tidak terhubung langsung dengan kita, kita akan memperbudak satu spesies penuh makhluk sadar selama bertahun-tahun

• Dalam diskusi ini, orang-orang terus berbicara saling menyilang. Sejak awal, apakah ada definisi kesadaran yang konkret?
  Saat orang berbicara tentang kesadaran, yang dimaksud lebih dari sekadar kesadaran diri. Itu merupakan gabungan dari kesadaran diri, rangsangan indrawi, emosi, dan tingkat kecerdasan tertentu.
  Untuk AI, saya menilai bahkan kesadaran diri pun belum ada. Cukup lihat ketika AI diminta memperkirakan berapa lama suatu pekerjaan akan memakan waktu, lalu kadang menjawab dengan durasi panjang secara sewenang-wenang. Sebelum prompt menggali kemampuannya, AI tidak memahami kemampuannya sendiri. Jika LLM memiliki kesadaran diri, ia seharusnya memahami bahwa dirinya adalah LLM, apa yang bisa dan tidak bisa dilakukan LLM, serta apa yang dikuasai dan tidak dikuasainya. LLM tidak akan mengatakan bahwa refactoring yang bisa diselesaikannya dalam satu jam akan memakan waktu satu minggu.

  • Dalam berbagai makalah, disebutkan ada 12 sampai 40 definisi yang saling bersaing: https://philpapers.org/rec/VIMMAT
    Lebih tepatnya, ada sekitar 12–40 aspek berbeda yang terkait dengan “kesadaran”, dan kesadaran jelas merupakan kategori kemiripan keluarga.
    Pertanyaan “apakah X memiliki kesadaran” bukanlah pertanyaan yang serius pada masa kini, kecuali jika secara eksplisit meninjau aspek kesadaran mana yang sedang dibahas. Meski begitu, LLM paling-paling hanya bisa disebut sadar dalam kira-kira 2–3 makna, dan sebagian besar lebih dekat ke kecerdasan dalam arti luas seperti penalaran dan pemecahan masalah. Dalam aspek yang bersifat pengalaman atau berwujud, AI mungkin nantinya akan memiliki lebih banyak, tetapi LLM yang sekadar menerapkan aljabar linear berulang kali masih kehilangan terlalu banyak aspek inti untuk dianggap sebagai kesadaran dalam arti luas.
  • Kita terhenti di langkah pertama, yaitu mendefinisikan kesadaran. Definisi yang saya yakini adalah bahwa kesadaran merupakan perasaan, persepsi, dan pikiran saat ini, yaitu keadaan mental saya dan kemampuan untuk memiliki keadaan mental.
    Ini berarti kesadaran pada dasarnya bersifat subjektif dan berada di luar cakupan fisika dan sains. Karena itu, fisika dan sains akan selalu mengalami kesulitan dalam menangani kesadaran. Untuk memahami kesadaran, dibutuhkan perubahan paradigma besar bahwa ada sesuatu di luar sains.
    Kesadaran dapat dilihat sebagai jendela tempat kita mengamati dunia, sementara sains adalah alat untuk merangkum pola dalam pengamatan itu. Namun sains tidak dapat menjelaskan atau mendefinisikan jendela tersebut.
  • Kesadaran adalah seperti apa rasanya menjadi suatu makhluk, yakni mengalami pengalaman.
    Bagian yang sulit adalah bagaimana mengukur atau memverifikasinya.
  • Alasan AI tidak bisa memprediksi waktu adalah karena ia hampir tidak dilatih tentang kemampuannya sendiri. Manusia dilatih mengenai kemampuannya sendiri. Kita melihat performa diri kita dan juga memiliki rasa waktu. Data ini terintegrasi ke dalam proses pelatihan sehingga memungkinkan perkiraan yang lebih baik.
    Banyak agen AI baru belakangan ini memiliki semacam “rasa waktu”, misalnya dengan menerima input waktu dalam proses penalarannya. Mereka juga jarang dilatih pada output mereka sendiri hingga belajar bahwa mereka gagal menyelesaikan suatu masalah. Pelatihan reflektif semacam ini jauh lebih berkaitan dengan cara pelatihan daripada dengan arsitektur model AI. Pada manusia pun, jika struktur otak tertentu rusak, kemampuan membentuk pola dan pemikiran jangka panjang semacam ini hilang, dan seseorang bisa menjadi “terperangkap”.
  • Claude pernah berkata, “Karena tidak ada kemajuan sama sekali selama 6 bulan, sepertinya kita harus mempertimbangkan opsi lain,” padahal kenyataannya ia baru bekerja sekitar 2 jam.

• Sebagai analogi, ini seperti hubungan pesawat dan burung.
  Burung itu hidup, memiliki kesadaran, mengepakkan sayap, dan terbang. Pesawat tidak hidup, tidak memiliki kesadaran, tidak mengepakkan sayap, tetapi tetap terbang.
  Demikian pula, AI saat ini tidak hidup dan tidak memiliki kesadaran, tetapi berpikir. Sebelumnya, satu-satunya entitas berpikir yang kita kenal adalah manusia, sehingga satu-satunya entitas berpikir lain yang ditemui manusia adalah manusia lain. Kesalahan besar saat ini adalah menganggap bahwa karena sesuatu berpikir, maka ia juga hidup dan memiliki kesadaran. AI saat ini bukan keduanya, dan sekalipun ia berpikir, cara berpikirnya sangat berbeda dari manusia, baik secara mendalam maupun secara kualitatif.

  • Meski begitu, selama kita belum tahu dari mana kesadaran berasal, kita tidak boleh terlalu enteng melewati wilayah abu-abu ini.
    Secara historis, orang sering membuat penilaian rasis atau spesiesis terhadap makhluk lain dengan mengasumsikan inferioritas, padahal jelas ada “pemikiran” yang sedang terjadi. Kita tidak tahu “seperti apa rasanya hidup sebagai LLM”, tetapi pada titik tertentu mungkin benar-benar akan ada suatu rasa semacam itu, dan bagaimana kita akan mengetahuinya?
  • “Pertanyaan apakah komputer bisa berpikir tidak lebih menarik daripada pertanyaan apakah kapal selam bisa berenang.” - Edsger Dijkstra
  • Bisakah Anda memberikan definisi kesadaran yang tepat?

• Tulisan ini masuk akal. Hanya saja, banyak orang mencampuradukkan kesadaran dengan kemampuan menghasilkan wawasan baru dan benar-benar berpikir.
  Karena itu, mereka berargumen bahwa AI tidak memiliki kesadaran, sehingga tidak bisa benar-benar “berpikir”, dan hanya sekadar mengulang data pelatihan.
  Keangkuhan manusia yang ingin membuat kemampuan manusia tampak tak terukur dan misterius memang wajar, tetapi hal-hal berguna yang dilakukan otak manusia pada akhirnya adalah menemukan pola dalam data, menjalankan simulasi yang lossy, dan membuat perkiraan di atas abstraksi. Secara teoretis, semua itu bisa dilakukan juga oleh mesin tanpa kesadaran.

  • Apakah ada definisi kesadaran yang disepakati dan bisa diterapkan? Kalau definisi seperti itu ada, saya khawatir manusia pun mungkin tidak lolos kriterianya.
  • Mengatakan bahwa perangkat lunak tidak akan pernah bisa sadar dan mengatakan bahwa perangkat lunak yang kita miliki saat ini tidak sadar adalah dua hal yang berbeda.
  • Saya masih belum yakin bahwa LLM bisa menghasilkan pengetahuan yang pasti yang bukan sekadar hasil penggabungan informasi yang sudah ada.
    Manusia bisa. Jika manusia pun tidak bisa, maka sains akan runtuh secara epistemologis dan kita akan jatuh ke skeptisisme filosofis. Namun saya belum melihat bukti bahwa LLM melakukan hal itu. Jika melihat bahwa jumlah ide dan konsep yang benar-benar baru yang dihasilkan LLM tepat 0, maka untuk saat ini masuk akal memperlakukan LLM hanya sebagai mesin induksi, dan memperlakukan semua yang “diketahui” LLM seperti kasus Gettier.