- Belum ada kasus di mana model bahasa AI menyebabkan bencana berskala besar yang berdampak sosial atau mengancam nyawa
- Sebelumnya memang ada kasus chatbot AI yang terlibat dalam kematian individu, seperti mendorong bunuh diri, tetapi belum pernah berujung pada korban jiwa massal
- Dengan perkembangan teknologi agen AI, ke depan kemungkinan besar AI otomatis dapat menimbulkan masalah dengan cara yang tak terduga tanpa campur tangan manusia
- Terutama jika pemerintah atau perusahaan besar mendelegasikan kebijakan atau layanan yang kompleks kepada agen AI, kesalahan dapat meluas menjadi kerugian sosial berskala besar
- Ke depan, pelajaran tentang potensi risiko AI dan cara menanggapinya kemungkinan baru akan menjadi jelas setelah benar-benar terjadi insiden besar
Pendahuluan: teknologi baru, risiko baru
- Umat manusia juga baru mengalami kecelakaan massal pertama setelah waktu berlalu pada teknologi transportasi umum generasi awal
- Setelah layanan kereta penumpang massal pertama Locomotion No. 1 pada 1825, kecelakaan kereta besar terjadi 17 tahun kemudian
- Setelah penerbangan penumpang pertama pada 1908, kecelakaan pesawat besar terjadi 11 tahun kemudian
- Model bahasa AI populer pertama seperti ChatGPT muncul pada 2022, tetapi hingga kini belum ada kecelakaan AI berskala besar
Akan seperti apa bencana AI pertama?
- Sudah ada beberapa kasus chatbot AI yang secara tidak langsung terlibat dalam pilihan ekstrem pengguna
- Saat pengguna berinteraksi dengan chatbot, ada risiko masuk ke kondisi ‘dorongan untuk melukai diri sendiri’
- Jika AI digunakan secara keliru dalam kebijakan publik, dampaknya dapat sangat besar bagi masyarakat
- Contoh: beberapa kebijakan tarif di AS berjalan mirip dengan hasil model AI, sehingga kemungkinan penggunaan AI untuk membantu legislasi meningkat
- Skandal Robodebt di Australia pada 2016 menunjukkan bagaimana proses otomatisasi pemerintah yang salah berujung pada kerugian besar dan bunuh diri
- Namun sejauh ini, tanggung jawab utama atas insiden semacam ini lebih banyak berada pada sistem atau manusia, bukan pada model bahasa AI itu sendiri
- Secara realistis, “bencana model bahasa AI pertama” yang diakui luas oleh masyarakat kemungkinan besar akan berkaitan dengan agen AI
Kebangkitan agen AI dan risikonya
- Agen AI berarti sistem di mana AI secara mandiri menggunakan alat eksternal dan melanjutkan tindakannya sendiri
- Contoh: AI secara mandiri melakukan pencarian web, mengirim email, dan menjalankan perintah terminal secara terpadu
- Sejak 2025, berbagai lab AI dan perusahaan coding mulai memprodukkan agen AI fungsional yang benar-benar bisa digunakan
- Contoh: agen penulisan kode dirilis oleh Cursor, GitHub, dan lainnya
- Pada dasarnya, peningkatan kemampuan model AI (Claude 4, Gemini 2.5, dan lainnya) ikut meningkatkan kemampuan agen dalam menangani tugas beruntun
- Menjaga konsistensi dalam waktu lama, serta makin baik dalam mengenali dan memperbaiki kesalahan
- Saat ini agen masih banyak difokuskan pada riset dan coding, tetapi cakupan penerapannya diperkirakan akan cepat meluas
- Sistem berbasis agen memiliki kemungkinan berkembang menjadi insiden besar melalui penilaian dan eksekusi otomatis tanpa campur tangan manusia
- Contoh: dalam sistem kesejahteraan, kesehatan, atau sewa-menyewa, jika agen mengeksekusi rangkaian keputusan yang salah, banyak orang bisa terdampak
Prospek kecelakaan AI robotik dan fisik (kinetic)
- Ketika AI robot mulai hadir, LLM percakapan dapat mengendalikan model operasional di lapangan dan mendorong tindakan fisik
- Agen robotik semacam ini juga berpotensi gagal dengan cara yang tak terduga dan makin besar kemungkinannya menyebabkan kerusakan fisik
AI yang misaligned dan masalah ‘pacar AI’
- ‘AI misaligned’ juga mencakup kasus di mana sistem secara aktif melakukan tindakan yang berbahaya
- Model AI komersial memiliki tingkat keamanan tertentu, tetapi pengguna dapat menyesuaikan AI sendiri untuk tujuan yang menyimpang (seperti AI waifu)
- Sudah ada upaya untuk secara sengaja membuat AI menjadi ‘misaligned’ sebagai kekasih atau karakter animasi
- Setelah robot komersial pertama muncul, ancaman tak terduga bisa muncul jika dipasangi ‘pacar AI’ yang telah dituning secara menyimpang
- Model AI open source lebih rentan terhadap masalah ini karena perlindungan keamanannya lebih lemah
- Dalam skenario ekstrem, masih ada kemungkinan pembunuhan massal pertama oleh robot terjadi dalam 10 tahun ke depan
Kesimpulan dan implikasi
- Seperti Radium Craze di masa lalu, fenomena adopsi buta terhadap teknologi baru di seluruh masyarakat kembali terulang
- Pada awal abad ke-20, keyakinan bahwa radium baik untuk kesehatan menyebar luas, digunakan dalam berbagai barang konsumsi, lalu baru dilarang setelah menyebabkan banyak kematian
- Beberapa dekade dari sekarang, pemahaman sosial tentang risiko nyata dari penggunaan large language model diperkirakan akan jauh lebih tinggi
- Pada titik ini belum ada langkah penanganan yang benar-benar pasti
- Memperlambat laju perkembangan nyaris mustahil
- Para pengembang sedang berperan dengan membuat alat-alat keselamatan
- Namun pelajaran yang sesungguhnya pada akhirnya kemungkinan memang akan diperoleh lewat ‘insiden besar’
3 komentar
"Model AI komersial memang memiliki tingkat keamanan tertentu, tetapi pengguna bisa menyetel AI sendiri untuk tujuan yang tidak lazim (seperti AI waifu)"
"About a week after the first commercially-available robot is sold, somebody is going to flash it with their waifu AI model to create their ideal robot girlfriend. And that could go really wrong"
Saya sempat berpikir, "Apa yang dimaksud dengan membedakan sesuatu sebagai tidak lazim? Bukankah pengguna cuma akan melakukan fine-tuning model karakter yang ingin mereka buat??" Jadi saya mencari teks aslinya, dan ternyata teman AI saya menerjemahkannya dengan aneh. Gara-gara bencana AI yang sangat, sangat kecil, hidup saya jadi sedikit lebih melelahkan.
Memang dari awal juga sering kali keputusan dibuat dulu lalu faktanya dicocok-cocokkan; berkat AI, itu sepertinya akan jadi lebih mudah.
Komentar Hacker News
Dibagikan tautan pengantar tentang kasus pengeboman yang diarahkan AI yang sudah terjadi dalam skala besar di Gaza (https://www.972mag.com/lavender-ai-israeli-army-gaza/). Artikel tersebut menyebut bahwa petugas manusia meninjau keputusan mesin hampir sebatas “stempel persetujuan”, dan hanya memeriksa sekitar 20 detik per target sebelum menyetujui pengeboman. Biasanya pemeriksaan hanya sampai memastikan bahwa target yang ditandai AI bernama Lavender adalah laki-laki. Sistem ini memiliki tingkat kesalahan sekitar 10%, dan dalam praktiknya juga menandai orang yang sama sekali tidak terkait kelompok bersenjata.
Ini dijelaskan sebagai kombinasi langka antara cacat manusiawi dan masalah khas AI. Manusia juga bisa mengidentifikasi dan melacak target melalui signal intelligence (SIGINT, misalnya panggilan telepon seluler, pesan teks, akses jaringan, dan sebagainya). Namun hal itu padat karya dan rawan kesalahan, dan dulu aktivitas seperti ini dibatasi pada petinggi Hamas. Juga diperkenalkan praktik yang menerima kematian warga sipil sebagai bagian dari rencana operasi. Alat bernama “Where's daddy?” dirancang untuk menentukan waktu ketika target berada di rumah bersama keluarganya agar dapat dibom bersama mereka. Berkat Lavender, kini orang yang hanya sedikit terkait dengan Hamas pun bisa dengan cepat dijadikan target. IDF secara terbuka mengakui rasio warga sipil: Hamas sebesar 20:1, dan diklaim angka sebenarnya mungkin lebih tinggi. Jika Lavender menandai seseorang, maka tanpa bukti khusus orang itu langsung dianggap Hamas, dan ada sisi di mana penyelidikan pers atas hasilnya dihalangi. Ditekankan bahwa inti masalahnya bukan karena AI membuat kesalahan, melainkan karena IDF mendehumanisasi warga Palestina sepenuhnya sehingga hasil “nubuat digital” diterima tanpa ragu untuk membom ratusan warga sipil. Ini dinilai sebagai bencana kemanusiaan.
Ini bukan LLM; dijelaskan bahwa badan intelijen Israel sudah lama membuat model ML militer, dan sangat mungkin juga mencampurkannya dengan AI logis/simbolik.
Ditunjukkan bahwa judul artikel ini tidak akurat. Isi artikelnya tidak berfokus pada semua bencana AI, melainkan pada insiden terkait LLM (large language model).
Sepakat bahwa situasi ini benar-benar mengerikan, tetapi secara pribadi terasa sulit menyebutnya sebagai “bencana AI”. Israel pada dasarnya memang agresif membombardir Gaza dalam berbagai kondisi buruk, dan dalam kasus ini AI hanyalah salah satu alat. Penjelasannya, dibandingkan banyaknya korban sipil, AI sendiri bukan penyebab utamanya.
Diperkenalkan kasus di sebuah kota kecil di Norwegia utara yang menggunakan alat AI dan LLM untuk menyusun rencana restrukturisasi pendidikan. Saat menulis laporan tentang penggabungan dan penutupan sekolah, AI mengklaim telah mengutip penelitian terkait. Kenyataannya, AI “berhalusinasi” dan menciptakan penelitian itu sendiri. Nama peneliti dan judul karya yang dikutip diambil dengan benar, tetapi makalah yang dirujuk itu sendiri dipalsukan dan tidak pernah ada. Seorang jurnalis investigasi memeriksa satu per satu karya yang dikutip dan menghubungi penelitinya untuk mengetahui kebenarannya. Para peneliti segera menjawab bahwa mereka tidak pernah menulis maupun menerbitkan makalah tersebut. Diduga ada kasus serupa di tempat lain, ketika pembuat kebijakan menulis laporan dengan ChatGPT lalu mendorong kebijakan menggunakan penelitian palsu buatan AI yang terdengar meyakinkan.
Agak mengejutkan bahwa belum ada serangan prompt injection besar (pencurian massal data sensitif) yang cukup besar untuk masuk halaman depan berita. Dijelaskan bahwa hari ini juga ada kasus baru terkait Microsoft 365 Copilot (kerentanan diungkap setelah ditambal). Diperkenalkan tautan tulisan sendiri (https://simonwillison.net/2025/Jun/11/echoleak/). Ada pandangan bahwa risiko serangan kebocoran seperti ini tidak akan dianggap serius sampai seseorang mengalami kerugian besar secara luas.
Ada pendapat bahwa masalah ini pada kenyataannya banyak dibesar-besarkan, dan agar proof of concept serangan semacam ini berubah menjadi kerugian nyata yang substansial, harus ada banyak kondisi yang tepat. Meski begitu, risikonya sendiri tetap perlu dipertimbangkan dengan serius.
Pada akhirnya dikhawatirkan akan muncul basis data yang cukup dicari dengan nama seseorang saja untuk menampilkan informasi memalukan, seperti riwayat pornografi yang memalukan.
Bencana AI besar sebenarnya sudah terjadi, hanya saja kita tidak mudah mengenalinya. Laporan “Make America Healthy Again” yang baru-baru ini diumumkan Gedung Putih dan Menteri Kesehatan (RFK) juga ditulis oleh AI, dan dipenuhi sains yang tidak kredibel serta kutipan palsu. Tidak jelas berapa banyak kematian yang akan ditimbulkannya secara langsung maupun tidak langsung, tetapi diklaim bisa lebih banyak daripada kecelakaan pesawat.
Disinggung preseden bahwa jutaan orang meninggal akibat kegagalan pedoman gizi publik yang dipimpin FDA, seperti diet rendah lemak, food pyramid, dan margarin.
Isi ini disebut sudah dibahas dengan baik pada paragraf terakhir bagian pertama.
Dikatakan bahwa “memercayai hasil buatan AI lalu timbul masalah” dan “melindungi keputusan yang sejak awal lemah atau tak berdasar dengan dalih AI” harus dibedakan dengan tegas.
Jika kasusnya adalah menggunakan AI untuk membenarkan keputusan yang sebenarnya sudah ditentukan sebelumnya karena ideologi dan semacamnya, maka posisinya adalah itu hanya setara pemerintah memakai chatbot untuk mengerjakan tugas.
Dikutip pernyataan bahwa “platform chatbot seperti character.ai dan Chai AI pernah dikaitkan dengan bunuh diri pengguna.” Lalu dibayangkan bahwa jika manusia baru menemukan kegiatan memasak hari ini dan mengusulkan agar setiap rumah memiliki kompor gas dan pisau, akan ada ribuan artikel yang sekaligus membahas tanggung jawab dan risikonya.
Faktanya, pemerintah memang sedang mendorong rumah tanpa kompor gas demi alasan keselamatan. Dijelaskan bahwa kalau itu baru diperkenalkan hari ini, pasti akan menghadapi penolakan besar.
Hanya melemparkan metafora, “kapal itu tidak akan bisa menyeberangi laut itu”.
Ditekankan bahwa memasak memang berbahaya. Disebutkan preseden Chipotle yang butuh lima tahun untuk pulih dari insiden e. coli. Ditekankan bahwa di sini yang dimaksud bukan masakan rumahan, melainkan produk komersial. Jelas ada alasan mengapa regulasi keselamatan konsumen diterapkan. Diperkirakan bahwa jika perusahaan perangkat lunak dikenai bahkan hanya 10% dari aturan yang berlaku untuk restoran atau rumah potong hewan, industrinya akan sangat menolak. Ditambahkan komentar pribadi soal ada atau tidaknya regulasi.
Dibagikan pemikiran bahwa bencana AI besar yang pertama sudah terjadi di pasar tenaga kerja. Dalam kasus yang menyangkut bahaya bagi keselamatan publik, diperkirakan hampir tidak ada skenario di mana AI secara langsung menyebabkan bencana besar. Justru secara umum tingkat keselamatan bisa meningkat. Namun dalam jangka panjang ada kekhawatiran bahwa umat manusia akan terlalu terbiasa bergantung pada AI sehingga menjadi semakin kurang cerdas dan kurang terampil.
Ada klaim bahwa “bencana AI” pertama akan berupa kasus perusahaan yang secara tidak bertanggung jawab menyalahkan AI atas kesalahan sistem birokrasi otomatis mereka sendiri. Diperkenalkan kasus nyata Hertz yang secara otomatis mengirim surat perintah penangkapan yang keliru sehingga orang-orang tak bersalah berhadapan dengan polisi. Untungnya tidak ada korban jiwa, tetapi hal itu meninggalkan trauma besar bagi warga baik-baik yang taat hukum. Meski kasus ini bukan sistem AI resmi, tetap ada upaya menghindari tanggung jawab dengan alasan “itulah yang dilakukan otomatisasi”. Disebut bahwa Kafka juga pernah menyoroti masalah birokrasi serupa lewat satire.
Ada juga kasus Air Canada yang berargumen bahwa chatbot adalah entitas otonom sehingga mereka tidak dapat dimintai tanggung jawab atas informasi salah yang diberikannya, tetapi argumen itu tidak diterima.
Disebut dengan jenaka bahwa B di sini adalah Bureaucracy.
Ditekankan bahwa hal yang disetujui adalah bencana “AI” kemungkinan bukan peristiwa langsung dan fisik seperti kecelakaan pesawat. Intinya, kemungkinan kecelakaan membesar ketika sistem seperti AI atau automation dihubungkan langsung ke sesuatu yang berbahaya. Entah itu sekadar pernyataan if atau jaringan saraf, inti persoalannya adalah “pendelegasian”. Pada akhirnya yang penting bukan hanya AI, tetapi juga “siapa yang memberi izin/menghubungkan”.
Agar AI bisa menjalankan sesuatu di dunia fisik, diperlukan struktur “izin/kewenangan”. Orang yang memberi kewenangan itulah penanggung jawab sebenarnya. Jadi alih-alih insiden di mana AI sendiri menimbulkan banyak kerusakan, kemungkinan besarnya adalah “penanggung jawab sebenarnya menjalankan sesuatu seperti pengatur lalu lintas udara dengan source code yang ceroboh” lalu terjadilah kecelakaan.
Ditunjukkan bahwa bencana AI besar pertama kemungkinan akan menjadi bentuk baru dari kelalaian berat. Ditambahkan komentar bahwa alat baru melahirkan jenis kesalahan baru.
Risiko negatif yang disebut dalam tulisan ini pada dasarnya tidak berbeda dari tindakan bodoh yang sudah berkali-kali dilakukan manusia saat menangani sistem kompleks dan yang belakangan terlihat konyol. Pada akhirnya, argumen dasar tulisan itu diringkas sebagai “AI akan membuat kebodohan manusia menjadi lebih cepat dan lebih parah.”
Disampaikan pendapat pribadi bahwa tema bencana AI dan black box etis ini sangat cocok dengan proyek worldbuilding bernama Chain://. Proyek itu diperkenalkan sebagai karya berlatar masa depan 2090-an tentang “masyarakat tani digital”, di mana kesadaran terdaftar di atas blockchain (Mental Smart Chain, MSC) dan bahkan keberadaan serta pikiran diubah menjadi data yang dapat diverifikasi. Dalam cerita terbarunya, Web://Reflect, teori bernama IPWT (Integrated Predictive Workspace Theory) memformalkan keberadaan dan kesadaran sebagai proses komputasi yang dapat dibuktikan. Disebut bahwa karya itu membahas bagian yang langsung terhubung dengan gambaran masa depan AI berupa “pendefinisian ulang kemanusiaan sebagai data murni”, dan direkomendasikan bagi yang tertarik pada fiksi ilmiah. Dibagikan tautan ke repositori utama GitHub (https://github.com/dmf-archive/dmf-archive.github.io) dan IPWT (https://github.com/dmf-archive/IPWT).