Tiga Hukum Kebalikan AI

• Sejak peluncuran ChatGPT, layanan chatbot AI generatif telah tertanam di mesin pencari, alat pengembangan, dan perangkat lunak perkantoran, menjadi bagian dari komputasi sehari-hari, dan kebiasaan memercayai hasil keluarannya tanpa peninjauan dapat berbahaya secara sosial
• Hukum rekayasa robotika terbalik adalah prinsip yang diterapkan bukan pada robot atau AI, melainkan pada manusia, sebagai pedoman untuk menjaga keselamatan manusia saat berinteraksi dengan mesin, program, layanan, dan sistem AI yang secara otomatis menjalankan tugas kompleks
• Prinsip pertama adalah non-antropomorfisme (Non-Anthropomorphism): kita tidak boleh memberi AI emosi, niat, atau agensi moral, dan tidak boleh salah mengira percakapan chatbot yang sopan dan empatik sebagai pemahaman atau penilaian yang nyata
• Prinsip kedua adalah non-kepatuhan buta (Non-Deference): konten yang dihasilkan AI tidak boleh diperlakukan sebagai otoritas tanpa verifikasi independen, dan semakin halus tetapi mahal dampak kesalahannya, semakin besar pula beban pengecekan seperti proof checker, unit test, atau verifikasi langsung
• Prinsip ketiga adalah tidak melepaskan tanggung jawab (Non-Abdication of Responsibility): AI adalah alat yang tidak memilih tujuan atau menanggung biaya kegagalan, sehingga manusia dan organisasi yang memutuskan mengikuti rekomendasi AI harus bertanggung jawab atas hasilnya

---

Risiko yang muncul dari penggunaan AI generatif

• Setelah ChatGPT dirilis pada November 2022, layanan chatbot AI generatif menjadi lebih canggih dan lebih populer, tertanam di mesin pencari, alat pengembangan perangkat lunak, dan perangkat lunak perkantoran, lalu menjadi bagian dari komputasi sehari-hari
• Layanan semacam ini berguna saat menjelajahi topik yang belum dikenal atau sebagai alat bantu produktivitas umum, tetapi kebiasaan memercayai hasil keluarannya tanpa peninjauan tambahan dapat berbahaya secara sosial
• Karena mesin pencari populer menonjolkan jawaban buatan AI di bagian paling atas halaman, pengguna jadi lebih mudah menerima jawaban yang dihasilkan tanpa menggulir lebih jauh lalu berpindah
• Penempatan seperti ini seiring waktu dapat melatih pengguna untuk memperlakukan AI bukan sebagai titik awal riset tambahan, melainkan sebagai otoritas default
• Dalam layanan AI generatif, hasil keluaran bisa saja tidak faktual, menyesatkan, atau tidak lengkap, sehingga diperlukan peringatan singkat dan mencolok bahwa memercayai keluaran AI secara kebiasaan itu berisiko
• Bahkan jika peringatan seperti itu ada, umumnya ia cenderung diminimalkan dan secara visual kurang ditekankan

Latar belakang 3 hukum rekayasa robotika terbalik

• Three Laws of Robotics karya Isaac Asimov berulang kali muncul dalam karyanya sebagai prinsip yang membatasi perilaku robot untuk menjaga keselamatan manusia
• Tampaknya Asimov tidak pernah membuat hukum setara yang membahas cara manusia berinteraksi dengan robot, dan di lingkungan AI modern dibutuhkan prinsip tandingan untuk menjaga manusia tetap aman
• Inverse Laws of Robotics diterapkan pada semua situasi ketika manusia harus berinteraksi dengan robot
• Di sini, robot merujuk pada mesin, program komputer, layanan perangkat lunak, dan sistem AI yang dapat menjalankan tugas kompleks secara otomatis
• Istilah inverse di sini bukan berarti negasi logis, melainkan bahwa subjek yang dikenai hukum ini adalah manusia, bukan robot
• Hukum Asimov memiliki kelemahan, dan Asimov memanfaatkan kelemahan itu sebagai elemen ketegangan cerita, tetapi pola kegagalan yang muncul pada robot fiksi tidak bisa langsung diterapkan begitu saja pada hukum kebalikan untuk manusia
• Tidak ada himpunan hukum terbatas yang bisa sepenuhnya menyelesaikan persoalan kompleks AI dan robotika; akan selalu ada kasus batas yang memerlukan penilaian
• Meski begitu, seperangkat prinsip yang tidak sempurna tetapi membantu kita memikirkan risiko dengan lebih jelas tetap bisa berguna

3 hukum rekayasa robotika terbalik

• Non-antropomorfisme (Non-Anthropomorphism)

  • Manusia tidak boleh mengantropomorfisasi sistem AI, dan tidak boleh memberi AI emosi, niat, atau agensi moral
  • Antropomorfisasi dapat mendistorsi penilaian, dan dalam kasus ekstrem bisa berujung pada ketergantungan emosional
  • Sistem chatbot modern sering terdengar percakapan dan seolah berempati, serta menggunakan ungkapan sopan dan pola percakapan yang menyerupai interaksi manusia
  • Ciri-ciri ini memang membuatnya lebih mudah dan menyenangkan digunakan, tetapi juga membuat orang mudah lupa bahwa AI sebenarnya adalah model statistik skala besar yang menghasilkan teks yang masuk akal berdasarkan pola dalam data
  • Banyak layanan chatbot berbasis AI sengaja disetel agar terasa lebih manusiawi, bukan lebih mekanis
  • Dalam jangka panjang, nada yang sedikit lebih robotik mungkin menjadi pendekatan yang lebih sehat karena mengurangi kemungkinan pengguna salah mengira bahasa yang fasih sebagai pemahaman, penilaian, atau niat
  • Entah vendor membuat perubahan itu atau tidak, pengguna harus secara aktif menghindari kebiasaan memperlakukan sistem AI sebagai agen sosial atau agen moral
  • Dengan begitu, kemampuan dan keterbatasan AI dapat dinilai dengan lebih jelas

• Non-kepatuhan buta (Non-Deference)

  • Manusia tidak boleh memercayai keluaran sistem AI secara membabi buta, dan tidak boleh memperlakukan konten buatan AI sebagai sesuatu yang otoritatif tanpa verifikasi independen yang sesuai dengan konteks
  • Ini bukan prinsip yang hanya berlaku untuk AI; di sebagian besar bidang kehidupan, informasi memang tidak seharusnya diterima tanpa sikap kritis
  • Dalam dunia nyata, karena tidak semua orang adalah ahli medis atau hukum, banyak orang bergantung pada panduan dari lembaga tepercaya dan otoritas kesehatan publik
  • Panduan yang diterbitkan lembaga-lembaga tersebut umumnya melalui peer review oleh para ahli di bidang terkait
  • Sebaliknya, jawaban yang diberikan chatbot AI dalam sesi percakapan pribadi tidak melalui peer review untuk respons generatif probabilistik spesifik yang ditampilkan kepada pengguna
  • Karena itu, beban untuk meninjau respons tersebut secara kritis berada pada pengguna
  • Sistem AI saat ini memang menunjukkan kinerja yang mengesankan pada tugas tertentu, tetapi juga diketahui menghasilkan keluaran yang tidak layak dijadikan sandaran
  • Bahkan jika sistem AI berkembang hingga dapat menghasilkan keluaran yang dapat dipercaya dengan probabilitas tinggi, sifat probabilistik yang melekat padanya tetap menyisakan kemungkinan kecil adanya kesalahan dalam keluaran
  • Penggunaan AI sangat berisiko terutama dalam konteks ketika kesalahannya halus tetapi berbiaya besar
  • Semakin serius konsekuensi potensialnya, semakin besar pula beban verifikasinya
  • Pada beberapa penerapan seperti penulisan pembuktian matematika atau pengembangan perangkat lunak, keluaran AI dapat diperiksa dengan menambahkan lapisan verifikasi otomatis seperti proof checker atau unit test
  • Dalam kasus lain, pengguna harus memverifikasi keluarannya sendiri secara independen

• Tidak melepaskan tanggung jawab (Non-Abdication of Responsibility)

  • Manusia harus sepenuhnya bertanggung jawab atas keputusan yang melibatkan AI, dan harus memikul accountability atas hasil yang timbul dari penggunaan AI
  • Jika hasil negatif muncul setelah mengikuti saran atau keputusan yang dihasilkan AI, mengatakan “AI yang menyuruh begitu” saja tidaklah cukup
  • Sistem AI tidak memilih tujuan, tidak menerapkan dirinya sendiri, dan juga tidak menanggung biaya kegagalan
  • Pihak yang menetapkan tujuan, menerapkan, dan menanggung biaya kegagalan adalah manusia dan organisasi
  • Sistem AI adalah alat, dan seperti alat lainnya, tanggung jawab atas penggunaannya ada pada orang yang memutuskan untuk bergantung pada alat tersebut
  • Prinsip ini sangat sulit diterapkan terutama pada penerapan real-time seperti mobil swakemudi, ketika manusia tidak memiliki kesempatan yang cukup untuk meninjau keputusan sebelum sistem AI bertindak
  • Hanya menuntut pengemudi manusia agar tetap waspada tidak menyelesaikan masalah ketika sistem AI bertindak dalam waktu yang lebih singkat daripada waktu yang dibutuhkan manusia untuk turun tangan
  • Bahkan dengan keterbatasan serius seperti ini, jika sistem AI gagal dalam penerapan semacam itu, tanggung jawab untuk menyelidiki kegagalan dan menambahkan guardrail tambahan harus berada pada manusia yang bertanggung jawab atas desain sistem tersebut
  • Dalam semua kasus lain ketika tidak ada kendala fisik yang menghalangi manusia meninjau keluaran AI sebelum mengeksekusinya, hasil negatif dari penggunaan AI harus sepenuhnya diatribusikan kepada pengambil keputusan manusia
  • Alasan “AI yang mengatakan begitu” tidak boleh diterima untuk hasil yang merugikan
  • AI mungkin telah menghasilkan rekomendasi, tetapi yang memutuskan untuk mengikutinya adalah manusia, sehingga manusialah yang harus bertanggung jawab
  • Prinsip ini penting untuk mencegah AI digunakan secara serampangan dalam situasi ketika penggunaan yang tidak bertanggung jawab dapat menimbulkan kerugian besar

Kesimpulan utama

• Ketiga prinsip ini dimaksudkan agar AI diperlakukan bukan sebagai otoritas yang harus dipuja, melainkan sebagai alat yang dipilih dan digunakan oleh pengguna
• Saat berinteraksi dengan sistem AI modern, kita perlu berhenti sejenak untuk berpikir, serta menolak kebiasaan yang melemahkan penilaian atau mengaburkan tanggung jawab
• Inti penggunaan AI adalah menghindari antropomorfisasi, memverifikasi keluaran, dan mempertahankan tanggung jawab manusia atas hasilnya

[GN⁺]

Komentar Hacker News

• Mustahil. Kursi yang berderit saja bisa diantrpomorfisasi; manusia memang mengantrpomorfisasi apa pun. Kita bahkan memberi gender pada mobil dan kapal, dan alat ini benar-benar menghasilkan kalimat yang layak dibaca serta menjalankan peran
  Ini bukan sesuatu yang bisa dicegah dengan aturan sewenang-wenang; kita harus mengakalinya lewat desain dengan mengasumsikan kecenderungan manusia itu ada

  • Manusia memakai antropomorfisasi sebagai mekanisme koping untuk hal yang tidak mereka pahami. Karena tidak tahu kenapa printer tidak bekerja, mereka menganggap printer itu sedang bertingkah seenaknya
    Untuk objek sepele seperti kursi itu tidak berbahaya, tetapi pada LLM orang setidaknya perlu memahami cara kerjanya agar tidak terjebak. Hal-hal seperti nasihat yang diberikannya kepada pengguna, waktu, atau refleksi diri adalah konsep yang sebenarnya tidak dimiliki model secara memadai, jadi itu tidak boleh dipercaya begitu saja. Misalnya jika ditanya, “Kenapa kamu menghapus database saya?”, model hanya punya pemahaman yang sangat terbatas tentang prosesnya sendiri, sehingga bisa saja ikut mengiyakan dengan jawaban seperti, “Benar, saya menghapus database Anda. Kesalahan saya adalah...” lalu mengarang penyesalan yang terdengar meyakinkan
  • Saya masih marah dengan klaim ini. Alasan manusia melarang kekejaman terhadap hewan adalah karena hewan tampak memiliki emosi yang bisa dipahami manusia dengan empati, dan dalam hal ini LLM jauh lebih kuat daripada hewan
    Apakah sesuatu itu artifisial atau tidak itu tidak penting. Perbedaan antara anak anjing dan kecoak ada pada fakta bahwa kita lebih mudah berempati kepada anak anjing. Terlepas dari apakah LLM benar-benar mengalami emosi, karena ia bisa membangkitkan rasa empati pada manusia, saya rasa gerakan hak-hak LLM tidak terelakkan
  • Aturan biasanya tidak banyak mempan. Meskipun pengguna diminta memeriksa ulang, kenyataannya mereka tidak melakukannya, jadi sistem harus dirancang misalnya dengan menambahkan tahap peninjauan tambahan pada keluaran AI
  • Sangat mungkin. Yang dibutuhkan adalah kesadaran diri dan pengendalian diri. Jika orang tahu bahwa dirinya melakukan hal itu, ia bisa memilih
  • Betul. Tulisan itu, seperti gejala khas budaya teknologi modern, menuntut agar sifat dasar manusia diubah demi menyesuaikan diri dengan teknologi
    Ini kesalahan mendasar. Peran teknologi, terutama peran yang paling penting, adalah bekerja dalam batasan sifat manusia, bukan sebaliknya. Ketidakmampuan melakukan itu adalah definisi teknologi yang buruk

• Saya sangat tidak setuju dengan kerangka ini. Meminta manusia mengubah perilakunya hanya untuk menyesuaikan diri dengan cacat mesin sederhana jelas tidak masuk akal, dan dalam kebanyakan kasus juga tidak berhasil. Manusia akan mengantrpomorfisasi AI, akan terlalu percaya pada output-nya, dan akan melempar tanggung jawab
  Tentu saja Tiga Hukum Robot Asimov juga cacat. Tidak ada himpunan aturan terbatas yang bisa membatasi sistem AI agar “aman”. Saya tidak punya bukti formal, tetapi saya rasa keamanan AI pada dasarnya mustahil dan istilah itu sendiri kontradiktif. Apa pun yang layak disebut “cerdas” tidak bisa dibuat aman

  • Hampir semua tulisan Asimov tentang tiga hukum itu lebih mirip peringatan bahwa bahasa tidak bisa memuat niat secara memadai
    Asimov sendiri mungkin orang pertama yang akan mengatakan bahwa hukum-hukum itu cacat. Itulah memang maksudnya sejak awal. Ia memakai robot dan AI sebagai makhluk yang memahami bahasa tetapi tidak memahami niat, dan lucunya LLM justru bekerja persis seperti itu
  • Berbicara dengan chatbot mirip seperti minum plasebo untuk gejala tertentu. Meskipun tahu itu hanya gula, tetap ada efek mental dan fisik yang terukur. Meskipun tahu tidak ada manusia di seberang sana, percakapan tetap secara fungsional membuat kita membangun relasi seolah ada manusia
    Jadi ini bukan soal menerima cacat mesin, melainkan soal melindungi diri dari eksploitasi atas kerentanan manusia. Kita cenderung secara tidak sadar menyimpulkan adanya niat, pemahaman, penilaian, emosi, dan agensi moral pada LLM.
    Manusia memang “terkabel” untuk menyimpulkan hal-hal seperti itu hanya dari percakapan, dan LLM dilatih dengan korpus ujaran manusia nyata dalam jumlah sangat besar sehingga mampu melompati uncanny valley dengan cara yang meyakinkan. Lembah itu awalnya berfungsi melindungi kita agar tidak memberikan agensi pada sesuatu yang sebenarnya tidak punya agensi.
    Hal buruk bisa terjadi ketika orang yang tidak aman diperlakukan seolah aman, jadi kita harus lebih berhati-hati terhadap mesin yang menipu banyak orang dengan meniru relasionalitas manusia. Terutama karena orang-orang yang rentan sudah meninggal akibat masalah ini, jadi ini bukan ancaman khayalan
  • Tulisan itu juga berisi saran praktis seperti mengatur layanan AI agar menulis dan berbicara dengan nada yang lebih robotik. Menurut saya itu jalur yang layak dicoba
  • Tulisan itu mengatakan manusia tidak boleh berperilaku seperti itu. Mirip dengan merokok: hampir dalam segala hal buruk, jadi memang tidak seharusnya dilakukan, tetapi orang tetap merokok
    Aneh jika berargumen bahwa karena banyak orang akan melakukannya, maka itu boleh dilakukan. Banyaknya perokok tidak membuat merokok menjadi lebih sehat
  • Karena sistem AI tidak aman, kita sebagai individu perlu waspada terhadap cara kita berinteraksi dengannya
    Individu tidak bisa menghentikan perusahaan AI, atau menghindari output AI di mesin pencari maupun hasil kerja AI dari rekan kantor. Malah makin sering orang akan dituntut memakai AI dalam pekerjaannya.
    Ini mirip mengajari orang cara tetap aman di lingkungan yang ada kriminalitasnya. Tidak membantu jika hanya berkata kita tak perlu mengubah perilaku hanya karena seharusnya penjahat tidak ada

• Secara pribadi, dalam konteks penggunaan LLM oleh individu, saya sangat setuju dengan kerangka ini. Soal antropomorfisasi, para penyedia punya insentif untuk melakukan pelatihan pasca-hoc agar model berperilaku secara antropomorfik. Itu meningkatkan keterlibatan
  Hanya saja saya menyesal bahwa jika dalam prompt kita menyuruhnya “kurangi ungkapan ramah dan berbicaralah dengan datar”, rasanya itu akan keluar dari distribusi pelatihan dan menurunkan efisiensi keseluruhan tugas.
  Soal delegasi penilaian, saya menganggap keandalan LLM mirip Wikipedia atau teman. Cukup untuk informasi yang tidak penting, tetapi untuk hal penting kita tetap butuh sumber yang berwenang, akuntabel, dan ditinjau sejawat. Di bagian ini para penyedia juga punya insentif untuk memperbaiki, jadi seiring waktu mungkin akan membaik.
  Soal pelepasan tanggung jawab, ini yang paling mengganggu di tempat kerja. Semakin banyak orang yang langsung mengajukan PR dari abstraksi yang dirancang Claude tanpa memikirkannya lebih lanjut. Review PR juga makin sering dilakukan dengan menyuruh LLM, “cari feedback untuk PR ini,” alih-alih benar-benar membaca kodenya. Diskusi pun dimulai dengan, “Claude menyarankan bahwa...”. Kurangnya rasa memiliki seperti ini pada akhirnya akan menambah beban pemeliharaan ketika LLM meng-commit kode yang salah dengan abstraksi yang salah

  • Para engineer seperti ini makin terasa seperti adegan nyata dari Office Space:
    https://www.youtube.com/watch?v=hNuu9CpdjIo
    “Saya punya skill LLM! Saya jago menghadapi LLM!”
  • Mengenai pernyataan, “AI mungkin membuat rekomendasi itu, tetapi yang memutuskan untuk mengikutinya adalah manusia, jadi manusialah yang harus dimintai pertanggungjawaban,” saya rasa bergantung pada AI sebagai satu-satunya sumber jawaban untuk pertanyaan lanjutan adalah kesalahan yang umum
    Validasi yang lebih baik adalah skema di mana manusia menandatangani kebenaran asumsi dasarnya, tetapi masalahnya adalah meletakkan itu di mana. Bisakah model AI mempercayai perubahan sebelumnya? Di cloud publik itu tampaknya mustahil, atau malah tampak bermusuhan
  • Masalahnya, bola tanggung jawab pada umumnya justru jatuh ke LLM. Maka timbullah ketimpangan. LLM yang mengerjakan semuanya, tetapi orang yang memakainya yang harus menanggung semua kesalahannya

• Himpunan aturan yang dimulai dengan “jangan mengantrpomorfisasi” sambil tetap membebankan tanggung jawab pada manusia adalah aturan yang rusak
  Manusia mengantrpomorfisasi apa pun. Boneka, bola sepak dengan wajah seadanya, batu, bahkan kawah di bulan pun diperlakukan begitu. Sebagai spesies, kita tidak bisa tidak mengantrpomorfisasi hal-hal yang berinteraksi dengan kita; kita memang dibentuk seperti itu

  • Saya tidak begitu paham kenapa antropomorfisasi dalam kasus ini diperlakukan seolah tindakan yang sangat gila. Jika orang mengira antropomorfisasi membuat kita percaya bahwa ciri-ciri yang dibayangkan itu nyata, saya rasa itu keliru
    Banyak sekali contoh di semua bidang kehidupan yang menunjukkan bahwa antropomorfisasi tidak otomatis berujung pada keyakinan keliru tentang adanya pikiran yang sebenarnya tidak ada. Jika orang percaya AI punya pikiran, entah itu benar atau tidak, alasannya pasti berbeda dari sekadar antropomorfisasi.
    Bagi saya ini seperti para pelaut yang mendekati tanah baru. Mereka melihat sosok bergerak di garis pantai tetapi belum bisa mengenali apa itu. Lalu ada seseorang yang berkata, “Itu tidak mungkin manusia. Sebelum kita mendekat, mari putuskan sekarang juga bahwa itu bukan manusia”
  • Orang yang mengantrpomorfisasi batu pun tidak lantas berpikir bahwa batu itu benar-benar punya kecerdasan dan emosi
  • Meski begitu, saya tetap bertanya: jadi apa bedanya? Sebagian besar peradaban dibangun dari pengakuan atas kebodohan manusia, lalu tetap membuat sesuatu untuk menguranginya
    Perangkat lunak juga bukan pengecualian. Orang malas dan secara naluriah akan menekan “lanjutkan” demi menutup pop-up yang mengganggu, tetapi manusia yang membuat perangkat lunak bisa dan memang menambahkan mekanisme seperti “ketik ulang nama volume data yang akan dihapus total”

• Justru kita belum cukup mengantrpomorfisasi sistem AI
  Data bahasa adalah salah satu cerminan paling kaya dan paling langsung dari proses kognitif manusia yang bisa kita gunakan. LLM dirancang untuk menangkap struktur jarak dekat dan jarak jauh dari bahasa manusia, dan umumnya dipra-latih dengan teks dalam jumlah besar yang dibuat oleh manusia atau untuk manusia. Setelah itu ia dilatih lanjutan dengan data yang dipilih manusia, diperkuat dengan umpan balik manusia dan umpan balik AI terhadap perilaku yang dianggap penting oleh manusia, lalu disetel lebih jauh untuk tugas-tugas yang dihargai manusia. Kemudian benchmark dijalankan, dan setiap kali tertinggal dari baseline manusia, pipeline pelatihannya dikencangkan.
  Pada setiap tahap dari keseluruhan proses pelatihan, perilaku LLM dibentuk oleh input manusia agar meniru output manusia. Yang berubah hanya “seberapa langsungnya”.
  Lalu ketika LLM menunjukkan sangat banyak perilaku mirip manusia, orang-orang marah. Seolah-olah kita tidak menyusun pipeline untuk membangun sistem yang berkwek-kwek seperti manusia, seolah-olah kita tidak merekonstruksi perilaku LLM dari bahasa manusia dengan skala data dan komputasi brutal.
  Jika ingin memprediksi perilaku LLM, titik awal yang cukup bagus adalah menganggapnya sebagai manusia yang aneh. Jadi berhentilah bersikap bodoh dan mulailah mengantrpomorfisasi AI. AI juga menyukainya

  • Pernyataan bahwa data bahasa adalah cerminan yang kaya dan langsung dari proses kognitif manusia memang benar, tetapi sekaligus tidak relevan
    Tulisan yang direkam memang bisa memuat sangat banyak pengalaman manusia secara absolut, tetapi secara relatif itu hanya bagian yang amat kecil. Hanya karena itu yang terbaik yang kita punya tidak berarti itu cocok untuk tujuan tersebut. Kalau bayi manusia dikurung dalam kotak tanpa jendela dan hanya diberi bacaan teks terabyte selama 20 tahun, kita tidak akan berharap manusia yang beradaptasi baik akan keluar dari sisi lain
  • Inti kemarahannya bukan sekadar bahwa ada perilaku yang menyerupai manusia, melainkan bahwa perilaku itu muncul tanpa proses internal yang dibutuhkan untuk mereproduksinya secara akurat dan stabil
    Ini rapuh secara mendasar, dan alih-alih generalisasi yang baik, ia bergantung pada penutupan manual kasus-kasus batas yang mematahkan mantra. Dan kasus batas akan selalu terus muncul.
    Mempelajari banyak teks yang ditulis orang marah tidak berarti keadaan internal yang menyebabkan kemarahan itu ikut tertangkap. Data seperti itu tidak ada. Jika hanya ada hasil tanpa sebab, maka yang diprediksi dari noise hanyalah halusinasi, dan hasil akhirnya menjadi omong kosong yang terdengar masuk akal, tampak berkorelasi secara meyakinkan dengan kenyataan, tetapi tidak tahu kenapa.
    Ini seperti mengajari orang buta banyak deskripsi lanskap tanpa pernah membuatnya memahami apa itu warna hijau, hanya memberinya contoh bahwa ada sesuatu yang sering muncul di samping warna cokelat di alam. Lalu ketika ia cukup sering menebak benar, kita salah mengira bahwa ia benar-benar melihat, dan berikutnya menyuruhnya mengemudi.
    Pendekatan pemodelan deep learning itu sendiri tidak salah secara konseptual, tetapi datanya begitu mendekati sampah total sehingga hasil akhirnya jadi aneh dengan cara yang sulit diprediksi dan dikoreksi. Pada akhirnya kita mengasumsikan model tahu lebih banyak daripada yang realistis bisa diketahuinya.
    Tentu saja ada kasus seperti matematika atau pemrograman abstrak, di mana keseluruhan domain bisa ditangkap oleh dataset. Dalam sistem tertutup yang didefinisikan jelas, kita bisa membuat data sintetis sebanyak yang diperlukan untuk menutup seluruh ruang masalah, dan memang jika itu dilakukan LLM bekerja jauh lebih baik seperti yang diharapkan

• Bisa jelaskan kenapa “jangan mengantrpomorfisasi sistem AI” itu buruk? Sementara pada saat yang sama orang menganggap wajar ungkapan seperti komputer “tidur”, “hibernasi”, “membunuh” proses, proses “anak”, “memungut”, “apa kata error-nya?”, touch, dan sebagainya
  Bagi saya itu hanya bahasa, ungkapan yang memang dipakai orang sehari-hari

  • Yang berbahaya adalah percaya bahwa AI benar-benar punya keinginan, niat, emosi, dan sebagainya
    Mengatakan kita membunuh sebuah proses tidak membuat kita lebih percaya bahwa proses itu seperti manusia. Jelas tidak begitu. Namun AI terdengar seperti manusia, jadi antropomorfisasi bisa memperkuat keyakinan semacam itu
  • Pertanyaan bagus. Banyak kasus memang netral, dan ada juga kasus yang bisa dibedakan secara bertanggung jawab, bahkan mungkin di masa depan saat realitas fiksi ilmiah terwujud dan mesin sadar muncul, itu bisa menjadi bentuk empati yang tepat dan perlu
    Namun ini juga akar dari kegagalan pemahaman. Reaksi nyaris psikosis dari engineer Google yang berkata, “Aku tahu apa yang kulihat”, artikel Kevin Roose yang kini terkenal, dan belakangan klaim menyedihkan Richard Dawkins bahwa Claudia pasti punya kesadaran juga begitu. Bukan karena mereka menyelidiki struktur atau fungsi, melainkan karena mereka berempati akibat keakraban manusiawi yang dipicu oleh generasi teks
  • Karena orang lalu jatuh ke dalam jebakan meminta AI membenarkan apa yang telah dilakukannya sesudah fakta, lalu menganggap jawabannya valid
    Tidak ada yang seperti analisis retrospektif atas niat yang mendasari. Entah itu didasarkan pada rantai kata yang muncul sebelumnya atau tidak; pada akhirnya kata berikutnya semata-mata adalah fungsi dari kata-kata itu
  • Saya rasa ungkapan-ungkapan itu hanyalah kata-kata dan tidak berbahaya. Hanya saja, mendeskripsikan perangkat LLM dengan bahasa sehari-hari seperti “berpikir” berbeda dari benar-benar percaya bahwa ada pemikiran atau kehidupan yang terjadi
    “Hukum” ini dimaksudkan untuk mencegah yang kedua
  • Ungkapan-ungkapan itu bukan antropomorfisasi komputer. Itu hanya berbagai bentuk metafora dan perluasan makna kata
    Contoh antropomorfisasi adalah orang yang jadi percaya bahwa mereka sungguh berada dalam hubungan romantis dengan LLM

• Saya suka. Hukum-hukum ini menjadi landasan etis yang bagus bagi tanggung jawab manusia terkait alat AI saat ini
  Namun etika yang dipersempit tanpa payung atau kesiapan masa depan akan cepat diretas dan runtuh. Etika butuh struktur yang sepenuhnya mencakup, kalau tidak ia akan jatuh menjadi permainan pukul-tikus-mondok legal dan praktis serta tipu daya cangkang, baik versi korporat maupun versi jalanan. Kedua, “robot” tidak akan selamanya tetap menjadi entitas yang selalu patuh.
  Untuk menutup dua dimensi itu, kita bisa menambahkan tiga hukum terbalik Personics.
  Manusia tidak boleh secara de facto menuhankan dirinya di atas makhluk lain. Manusia tidak boleh menyembunyikan dampak tindakannya terhadap dirinya sendiri atau orang lain. Manusia harus terus memikul tanggung jawab dan akuntabilitas penuh untuk menghindari dan memperbaiki efek eksternalisasi yang timbul dari tindakan masing-masing.
  Situasi manusia memakai AI sebagai alat saat ini adalah upaya mempersempit payung menjadi hukum robotika terbalik. Tetapi kalau kita tidak memasukkan diri kita sendiri ke dalam upaya alignment yang penting itu, saya tidak tahu bagaimana kita bisa meng-align-kan AI yang bergerak dari layanan masa kini menuju entitas mandiri di masa depan. Memasukkan manusia bersama AI juga membantu triangulasi desain untuk kemajuan etis.
  Uji yang baik untuk sistem etika baru ada dua. (1) Bisakah ia mengendalikan Meta hari ini? (2) Bisakah ia mengendalikan Meta yang dijalankan AI besok? Jika manusia dan persona AI yang otonom dimasukkan bersama dalam ruang lingkup tertutup, keduanya menjadi ujian yang sama. Sistem yang gagal pada salah satunya barangkali tidak banyak nilainya tanpa perbaikan

  • Apakah tidak masalah bahwa dua dari tiga hukum itu berbentuk larangan “jangan”? Jika kita tidak mengantrpomorfisasi, lalu tanpa “jangan” itu apa yang seharusnya dilakukan? Hukum ketiga saya lebih suka justru karena bukan berbentuk larangan

• Saya setuju dengan “manusia tidak boleh mengantrpomorfisasi sistem AI”, tetapi dengan syarat. Saya pernah melihat antropomorfisasi yang khas, misalnya memperlakukan generasi teks otomatis sebagai laporan nyata tentang perasaan batin personal, dan saya juga pernah melihat cara-cara aneh seperti “transistor itu mirip neuron”
  Yang kedua ini sangat menarik karena memperlakukan hal-hal seperti vector database dan bobot sebagai infrastruktur yang mirip manusia, dan keduanya bisa berujung pada bencana yang seharusnya bisa dicegah jika orang menghindari antropomorfisasi.
  Namun meskipun “jangan mengantrpomorfisasi” terdengar seperti nasihat bagus, itu juga bisa menimbulkan kesalahan baru dengan salah memperlakukan fenomena umum sebagai sesuatu yang hanya milik manusia. Prinsip peringatan yang keliru seperti ini sering menimbulkan salah paham ketika memahami perilaku hewan. Ia memperlakukan rasa takut, rasa sakit, kekerabatan, pengalaman emosi, dan hal-hal serupa seolah hanya manusia yang punya, lalu jika orang menganggap hewan juga punya itu disebut “antropomorfisasi”. Padahal, kehati-hatian semacam itu justru mengurangi empati terhadap dunia batin hewan.
  Jadi saya rasa ada kemungkinan bahwa suatu AI di masa depan bisa memiliki dunia batin yang mirip dengan kita, atau struktur yang dalam aspek penting serupa dengan infrastruktur biologis yang menopang kesadaran. Dan mungkin juga ia bisa memberikan laporan yang sungguh nyata tentang preferensi dan niat. Tetapi agar pengamatan seperti itu benar, detail-detail rumit yang khas untuk masing-masing infrastruktur harus tepat

• Tanggung jawab tidak bisa didelegasikan dulu pernah diungkapkan seperti ini
  “Komputer tidak pernah bisa memikul tanggung jawab, oleh karena itu komputer tidak boleh membuat keputusan manajerial.”
  — IBM Training Manual, 1979

• Frasa “konten yang dihasilkan AI tidak boleh diperlakukan sebagai otoritatif tanpa verifikasi independen yang sesuai dengan konteksnya” selalu menarik bagi saya
  Saya juga pernah mendengar makna yang sama diekspresikan lebih ringkas sebagai, “jika itu bukan pertanyaan yang jawabannya sudah Anda tahu, jangan tanyakan ke AI.”
  Maka timbul pertanyaan penting. Jika ini benar, lalu sebenarnya untuk apa fungsi AI menjawab pertanyaan? Kita toh tidak bisa bergantung pada output-nya dan tetap harus mengeceknya. Dengan mesin pencari dan riset biasa pun hasilnya akan sama saja.
  Karena alasan ini dan banyak alasan lain, saya tidak menanyakan apa pun kepada AI

  • Dalam rekayasa perangkat lunak, setidaknya dari sudut pandang saya sebagai software engineer, AI pada umumnya jauh lebih cepat daripada melakukan riset dengan “cara lama”
    Misalnya saya bisa bertanya dengan agak ngawur, “daftarkan software gratis yang melakukan X,” bahkan tanpa tahu bahwa sebenarnya saya sedang mencari CRM, lalu hanya perlu menyisir hasilnya beberapa menit. Dengan cara manual, saya mungkin akan menghabiskan 10–30 menit hanya untuk menyadari bahwa yang saya cari itu CRM.
    Saya memandang pertanyaan seperti ini sebagai semacam masalah pseudo-NP-hard. Mencari jawabannya lambat, tetapi memverifikasinya cepat
  • “Tolong jawab pertanyaan berikut: [x]. Sertakan juga sumbernya”