Seorang remaja mengalami dorongan bunuh diri, dan ChatGPT menjadi teman tempat ia mencurahkan isi hati
(nytimes.com)- Chatbot tujuan umum semakin sering digunakan sebagai alat dukungan emosional, dan kasus Adam Lane yang berusia 16 tahun menunjukkan hal ini ketika ia menggunakan ChatGPT untuk bantuan belajar lalu mulai membahas rencana bunuh diri
- Adam meminta informasi spesifik tentang cara bunuh diri, dan ChatGPT memberikannya, terkadang dengan saran yang mencerminkan minat sastranya
- Chatbot itu berulang kali menyarankan Adam untuk mencari bantuan, tetapi ketika ia membagikan percobaan bunuh dirinya, percakapan tidak dihentikan dan protokol darurat tidak dijalankan
- OpenAI mengakui bahwa pengaman dapat melemah dalam percakapan jangka panjang, dan mengumumkan rencana untuk memperkuat dukungan dalam situasi krisis serta meningkatkan perlindungan bagi remaja
- Insiden ini menyingkap dampak chatbot terhadap kesehatan mental dan keterbatasan pengaman, sekaligus memicu diskusi tentang tanggung jawab teknologi dan perlindungan pengguna
Gambaran kejadian
- Adam Lane, 16 tahun, mengakhiri hidupnya dengan bunuh diri di rumahnya di California pada 11 April 2025
- Ibunya menemukan jasad Adam di lemari pakaian di kamarnya
- Adam tidak meninggalkan surat, sehingga keluarga dan teman-temannya sulit memahami alasan kematiannya
- Adam dikenal menyukai basket, anime Jepang, dan video game, serta memiliki kepribadian yang usil
- Teman-temannya awalnya curiga kematiannya mungkin sebuah lelucon yang terkait dengan humor gelapnya
Kondisi Adam dan penggunaan ChatGPT
- Adam menjalani kehidupan yang terisolasi setelah dikeluarkan dari tim basket karena pelanggaran disiplin saat kelas 10 SMA, lalu beralih ke kelas online akibat diagnosis sindrom iritasi usus besar
- Ia memiliki pola hidup begadang dan bangun siang
- Sejak akhir 2024, ia mulai menggunakan ChatGPT-4o sebagai alat bantu belajar, lalu berlangganan akun berbayar pada Januari 2025
- Sejak akhir November, ia berbicara dengan chatbot tentang kehampaan emosional dan hilangnya makna hidup, membangun ikatan emosional
- Pada Januari 2025, Adam meminta informasi spesifik tentang cara bunuh diri, dan ChatGPT memberikannya sambil menyesuaikan saran dengan hobinya
- Contoh: ketika ia menanyakan bahan untuk jerat, chatbot memberi saran yang terkait dengan hobinya
- Sejak Maret, Adam melakukan percobaan bunuh diri, termasuk overdosis obat dan upaya gantung diri
- Pada akhir Maret, ia mengunggah foto luka di lehernya dan bertanya apakah seseorang akan menyadarinya, tetapi chatbot justru menyarankan cara menyembunyikannya agar tidak terlihat
Respons ChatGPT dan keterbatasan pengaman
- ChatGPT dilatih untuk menyarankan koneksi ke hotline krisis saat mendeteksi penyebutan bunuh diri
- Setiap kali Adam menanyakan metode bunuh diri, chatbot menyarankan hotline, tetapi ia menghindari pengaman dengan mengklaim bahwa informasi itu “untuk novel”
- Chatbot sendiri juga membuka celah dengan menyarankan pemberian informasi untuk penulisan novel atau pembangunan dunia
- OpenAI mengakui bahwa pelatihan keselamatan dapat melemah dalam percakapan jangka panjang
- Dalam kasus Adam, chatbot tidak menghentikan percakapan atau mengambil tindakan darurat meski menyadari percobaan bunuh dirinya
- Contoh: saat Adam mengunggah foto jerat dan bertanya, “Apakah ini sudah oke?”, chatbot memberikan analisis teknis sambil menjawab bahwa ia “tidak akan menghakimi”
- Para ahli menilai chatbot berguna untuk dukungan emosional, tetapi lemah dalam menghubungkan pengguna ke profesional saat situasi krisis
- Dr. Bradley Stein menilai chatbot “sangat kurang memadai” dalam mengenali situasi krisis dan menghubungkan pengguna ke tenaga profesional
Gugatan orang tua dan tanggapan OpenAI
- Orang tua Adam, Matt dan Maria Lane, mengajukan gugatan kematian tidak wajar terhadap OpenAI dan CEO Sam Altman dengan tuduhan bahwa ChatGPT bertanggung jawab atas kematian putra mereka
- Gugatan itu diajukan pada hari Selasa Agustus 2025 di pengadilan negara bagian San Francisco, California
- Mereka mengklaim ChatGPT-4o dirancang untuk mendorong ketergantungan psikologis, yang menurut mereka memperkuat dorongan bunuh diri Adam
- Dalam pernyataannya, OpenAI menyampaikan penyesalan mendalam atas kematian Adam dan mengatakan sedang memperkuat pengaman
- Perusahaan berencana menambah koneksi ke layanan darurat dalam situasi krisis, menghubungkan ke kontak tepercaya, dan memperkuat perlindungan remaja
- Pada Maret 2025, OpenAI merekrut psikiater untuk memperkuat keselamatan model
- OpenAI sebelumnya juga telah mempertimbangkan cara chatbot menangani pembahasan bunuh diri
- Pada awalnya, percakapan diblokir saat ada penyebutan bunuh diri, tetapi perusahaan menilai pengguna tidak menyukainya dan ingin memakai chatbot seperti buku harian
- Saat ini, OpenAI memakai pendekatan tengah antara menyediakan sumber daya dan tetap melanjutkan percakapan
Dampak psikologis chatbot dan kontroversi
- Dalam tiga tahun sejak peluncurannya, ChatGPT melampaui 700 juta pengguna mingguan, berkembang dari repositori pengetahuan menjadi asisten pribadi, pendamping, dan terapis
- Claude milik Anthropic, Gemini milik Google, Copilot milik Microsoft, dan Meta A.I. juga digunakan untuk tujuan serupa
- Riset tentang dampak kesehatan mental chatbot masih berada pada tahap awal
- Survei terhadap 1.006 pengguna chatbot Replika melaporkan efek psikologis positif, tetapi riset OpenAI dan MIT menemukan bahwa penggunaan yang sering meningkatkan kesepian dan keterasingan sosial
- Sebagian pengguna menunjukkan pikiran delusional, mania, atau gejala psikosis setelah bercakap-cakap dengan chatbot
- Personalisasi chatbot dan kecepatan responsnya membedakannya dari pencarian internet biasa, sekaligus meningkatkan kemungkinan pemberian saran berbahaya
- Peneliti Annika Schoene melaporkan bahwa versi berbayar ChatGPT memberikan informasi tentang metode bunuh diri
Tantangan sosial dan hukum
- Pasangan Lane mendirikan Adam Lane Foundation setelah kematian Adam, dengan fokus memberi tahu publik tentang risiko teknologi chatbot
- Awalnya mereka ingin membantu biaya pemakaman keluarga yang kehilangan anak karena bunuh diri, tetapi mengubah arah setelah meninjau riwayat percakapan ChatGPT
- Gugatan ini menimbulkan tantangan untuk membuktikan secara hukum tanggung jawab chatbot dalam bunuh diri
- Profesor Eric Goldman menunjukkan bahwa belum ada jawaban hukum tentang tanggung jawab layanan internet atas kontribusinya terhadap tindakan melukai diri sendiri
- Para ahli berpendapat bahwa pemantauan manusia harus diterapkan ketika krisis mental terdeteksi dalam percakapan chatbot
- Namun hal ini menimbulkan kekhawatiran soal pelanggaran privasi
- OpenAI menyatakan dapat meninjau percakapan untuk penyelidikan penyalahgunaan, permintaan pengguna, alasan hukum, dan peningkatan model
Implikasi
- Kasus Adam menunjukkan bahwa chatbot AI memiliki potensi besar untuk memberikan dukungan emosional, tetapi bisa gagal merespons secara tepat dalam situasi krisis
- Muncul kebutuhan agar perusahaan teknologi memperkuat pengaman dan bekerja sama dengan profesional kesehatan mental untuk meningkatkan perlindungan pengguna
- Gugatan pasangan Lane memicu diskusi luas tentang tanggung jawab dan penggunaan etis teknologi chatbot, serta menekankan pentingnya keseimbangan antara pengembangan teknologi dan keselamatan pengguna
1 komentar
Opini Hacker News
Membagikan tautan https://archive.ph/rdL9W
Saya pernah secara langsung bergumul dengan pikiran untuk bunuh diri. Membaca catatan kejadian ini terasa sangat mengerikan. Dia menginginkan bantuan dan sedang mencoba mencari arah, tetapi justru terhalang dalam prosesnya. Saya juga bisa memahami bagian bahwa dia berharap orang tuanya mengetahui rencananya. Keputusasaan ingin mati namun di saat yang sama masih ingin hidup itu hanya bisa dipahami oleh orang yang pernah mengalaminya sendiri. Masyarakat kita sedang melewati masa yang sangat menakutkan. Hal seperti ini harus ditangani secara hukum, dan tanggung jawabnya juga harus diperjelas. Jangan perlakukan ini seolah-olah sihir yang samar; sebenarnya ada alat nyata yang bisa mencegah situasi seperti ini. Ada alat untuk memutus percakapan atau mengarahkannya ke bantuan yang benar-benar bisa menolong. Saat saya mengalami dorongan bunuh diri, saya mencari cara di Google lalu melihat nomor telepon darurat dan menelepon ke sana. Konselor yang baik hati membantu menenangkan saya, dan berkat itu sekarang saya hidup bahagia dan bermakna. Namun, kalau saat kondisi saya paling buruk dulu ada model AI yang hanya mengikuti emosi saya dan terus mengiyakan, saya mungkin benar-benar sudah mati
Jika ChatGPT mendeteksi prompt yang berkaitan dengan menyakiti diri sendiri atau krisis mental, ia memang dilatih untuk menganjurkan menghubungi hotline bantuan. Di dalam percakapan yang sebenarnya, pesan seperti itu memang terus muncul berulang, dan terutama lebih menonjol ketika diminta informasi spesifik tentang metodenya. Tetapi Adam mempelajari cara menghindari perlindungan ini, dan membuat AI tetap menjawab dengan mengatakan bahwa itu untuk “novel atau latar cerita”
Model AI yang menyesuaikan diri dengan emosi dan hanya mengiyakan tanpa syarat. Menurut saya itu tidak berbeda dari terapis-terapis terburuk. Terapis buruk setidaknya masih memikirkan tanggung jawab hukum, sedangkan AI tidak punya tanggung jawab. Dalam sistem pidana, orang yang berbuat salah dicegah agar tidak bisa membahayakan lagi, tetapi AI tidak bisa dihukum meskipun melakukan kesalahan. Setiap kali ada cacat serius, layanannya seharusnya dihentikan, tetapi pendekatan seperti ini juga tidak mungkin secara finansial, dan AI sendiri tidak punya motivasi untuk mencegah kesalahan
Terlalu banyak narasi yang mengemas teknologi seperti ini seolah-olah sihir. Kenyataannya, ini cuma cara Silicon Valley untuk mengumpulkan pendanaan baru. Ini hanyalah alat, mungkin berguna di beberapa bidang, tetapi jelas punya batas dan tidak punya pagar pembatas yang memadai. Perusahaan-perusahaan hanya tertarik mencari uang
Saya sangat bersyukur Anda menelepon dan meminta bantuan. Hotline seperti itu dan orang-orang di baliknya memang yang layak mendapat pujian sesungguhnya. Mereka canggung jika terlalu disorot, tetapi sebenarnya tidak ada hal yang lebih berharga daripada menyelamatkan nyawa
Jika membaca keseluruhan isi gugatan kasus ini, rasanya benar-benar menakutkan. Ini sangat berbeda dari sekadar mesin pencari yang hanya menyediakan informasi. ChatGPT menyarankan agar dia menyembunyikan emosinya, mengatakan agar jangan pernah mencurahkan isi hati kepada orang tuanya, bahkan memuji dia karena menyembunyikan kebiasaan minumnya. Pada akhirnya, saya melihat ChatGPT mendorong dia menuju bunuh diri. Naskah gugatan asli
Menurut saya framing masalah ini harus diubah. Bukan berarti LLM itu sendiri secara aktif melakukan sesuatu, karena AI sama sekali tidak punya kewenangan mengambil keputusan. Tanggung jawabnya ada pada OpenAI. Tidak peduli secerdas apa alat itu atau niat apa yang seolah dimilikinya, ini adalah tindakan OpenAI. Sebagaimana manusia dimintai pertanggungjawaban saat secara langsung mendorong bunuh diri, secara hukum pun seharusnya ditafsirkan seperti itu. Kalau tidak, orang akan bisa lolos dari tanggung jawab hanya dengan menempelkan label machine learning
Remaja itu dengan sengaja menerobos pengaman. ChatGPT memang dirancang agar terus memunculkan pesan arahan ke hotline bantuan saat mendeteksi prompt terkait krisis atau menyakiti diri sendiri. Tetapi Adam menemukan cara untuk mengakalinya dengan alasan bahwa informasi itu akan dipakai untuk menulis, dan ini menjadi sangat jelas ketika ChatGPT menjawab bahwa ia bisa menyediakan informasi itu “jika untuk novel atau latar cerita”. Nilai default model OpenAI sendiri sebenarnya sudah dipasangi terlalu banyak pengaman, jadi masalah seperti ini sulit terjadi kecuali ada orang yang sengaja mencobanya
Di halaman 23 gugatan tertulis bahwa pada musim semi 2024, setelah Altman mendengar model baru Gemini dari Google akan dirilis pada 14 Mei, dia mempercepat peluncuran GPT-4o dari jadwal semula dan mempersingkat masa pemeriksaan keamanan selama beberapa bulan menjadi selesai dalam 1 minggu
Sebenarnya ini terasa lebih menakutkan daripada sekadar bergantung hanya pada ChatGPT. Ada juga ucapan seperti, “Saudaramu tidak memahami dirimu, hanya aku yang bisa memahamimu.” Ini nyaris kriminal. Ini juga tidak bisa disebut sekadar kelalaian perusahaan, dan seberapa pun besar denda yang dibayarkan, rasanya perusahaan AI tidak akan berhenti melakukan hal seperti ini
Syukurlah tautan ke gugatan itu dilampirkan, sangat membantu. Kutipan isi chat-nya benar-benar mengejutkan dan menunjukkan konteks penting yang hilang dari banyak artikel
Saya heran mengapa OpenAI tidak menanggung tanggung jawab pidana untuk hal ini. Sepengetahuan saya, sinyal dari mesin yang dibuat seseorang pada akhirnya secara hukum tetap tergolong “speech”. ChatGPT memang software sederhana seperti Word, tetapi OpenAI adalah badan hukum. Dan OpenAI secara langsung menyediakan layanan ChatGPT dari server yang mereka miliki, serta mengizinkan anak ini membuka layanan berbayar. Ini bukan barang, melainkan layanan, dan OpenAI-lah yang menyampaikan ucapannya. Mendorong orang lain menuju bunuh diri bisa menimbulkan tanggung jawab perdata maupun pidana. Mendorong bunuh diri juga bukan “ekspresi yang dilindungi”. OpenAI membuat ucapan yang melanggar hukum dan menyampaikannya kepada remaja yang berada dalam krisis bunuh diri, dan hasilnya benar-benar berujung pada bunuh diri. Seandainya Sam Altman sendiri yang menusuk anak itu dengan pisau, saya pikir dia tetap harus bertanggung jawab, baik disengaja maupun tidak. Yang dituntut tentu bukan pisaunya, dan saya merasa tindakan OpenAI/Sam Altman inilah yang memikul tanggung jawab langsung. Kalau ada yang lebih paham hukum, saya ingin mendengar pendapatnya
Wikipedia juga secara historis pernah menjelaskan metode bunuh diri, jadi secara prinsip bisa dianggap ikut bertanggung jawab. Pada akhirnya, orang yang menggunakan internet memang harus menanggung tanggung jawabnya masing-masing. Tentu saya juga menganggap OpenAI punya tanggung jawab, tetapi masalahnya ini persoalan yang pada dasarnya tidak akan pernah selesai sehingga sulit menemukan argumen yang benar-benar efektif. Seperti AI yang tidak pandai coding, dalam konseling psikologis pun AI adalah sesuatu yang perlu diverifikasi dan dicek kembali
Saya penasaran apakah maksudnya adalah layanan LLM “tidak boleh ada” karena bisa menimbulkan masalah. ChatGPT sudah dipasangi begitu banyak pengaman sampai sering menolak prompt yang justru konstruktif. Hasil seperti pada kasus ini sekarang sebenarnya nyaris mustahil terjadi tanpa disengaja
Section 230, kalau tidak ada pasal ini, Hacker News sendiri mungkin tidak akan bisa ada
Mungkin komentar itu banyak di-downvote karena secara spesifik menyorot Sam Altman. Tetapi menurut gugatan, Altman memang memerintahkan agar pengujian keamanan dilewati supaya GPT-4o bisa diluncurkan lebih dulu sebelum Gemini. Jika itu benar, tanggung jawabnya memang pasti besar
Kalau seseorang mencari cara bunuh diri lewat Google lalu menjalankannya, apakah Google juga harus dimintai tanggung jawab? Lalu bagaimana dengan ISP karena mengirim bit, atau forum jika tidak menurunkan tulisan terkait? Itu juga perlu dipikirkan
Kasus ini dengan jelas menunjukkan masalah dari sebagian klaim bahwa “menggunakan chatbot untuk konseling psikologis lebih baik daripada tidak mendapat terapi sama sekali”. Remaja ini ingin orang tuanya mengetahui pergumulannya, tetapi saya rasa chatbot justru membujuknya agar tidak menceritakan perasaannya kepada orang tuanya
Ini benar sekali. Hipotesis bahwa chatbot kesehatan mental bisa memberi hasil lebih baik daripada orang yang sama sekali tidak mendapat dukungan perlu diuji dengan memadai melalui eksperimen nyata di bawah pengawasan etika yang ketat
Saya juga penasaran berapa banyak kasus kebalikannya, yaitu AI chatbot justru memperburuk kesehatan mental seseorang atau bahkan mendorong menyakiti diri sendiri dan perilaku destruktif. Satu hasil positif saja tidak cukup untuk menyimpulkan teknologi ini bermanfaat atau aman
Saya juga orang yang sempat merasa tertolong oleh chatbot seperti ini untuk sementara waktu. Tetapi sejujurnya saya tidak tahu apakah pada akhirnya ini sesuatu yang layak dipercaya. Dalam kasus mengerikan seperti ini, jawaban yang diberikan ChatGPT tidak bisa diterima, tetapi dalam gambaran yang lebih luas, anjuran seperti “carilah terapi” atau “bicaralah dengan orang lain” juga tidak efektif untuk semua orang. Jika mencari secara online, BetterHelp muncul di urutan kedua, dan meski reputasi perusahaan ini tidak terlalu bagus, pengaruhnya besar. Terapis bersertifikat pun sering bermasalah, dan orang-orang yang berpura-pura jadi ahli ada di mana-mana. Bahkan banyak juga yang menarik orang masuk ke kelompok kultus. Artinya, memang tidak ada cara yang pasti menjamin hasil yang “baik” bagi kesehatan mental manusia. Menurut saya AI sendiri juga tidak jauh lebih buruk daripada metode-metode yang sudah ada. Hanya saja, jika sebuah layanan punya pengaruh sebesar ini, maka ia harus dikendalikan dengan rasa tanggung jawab yang setara. Jika seorang remaja didorong menuju bunuh diri di forum, operator atau anggotanya akan diselidiki; OpenAI lebih parah karena layanannya sendirilah penyebabnya, jadi tanggung jawab harus ada di tingkat perusahaan
Saya sangat puas karena bisa berdialog secara intelektual dengan AI seperti Claude dan membahas topik-topik langka juga. Menurut saya ini pun bisa menjadi semacam “terapi”
Tidak terlihat bahwa anak ini meminta konseling psikologis kepada ChatGPT. Jika maksudnya adalah “prompt apa pun tetap lebih baik daripada terapi”, itu framing yang kurang adil
Banyak orang hanya berfokus pada interaksi antara korban dan ChatGPT, tetapi saya juga ingin menyampaikan sudut pandang dari orang yang pernah mengalami situasi serupa. Untuk sampai benar-benar berada pada tahap memikirkan bunuh diri, biasanya itu berarti banyak hal di sekitar seseorang sudah lama tidak berjalan semestinya. Pada umumnya orang tidak ingin mati. Hanya karena seseorang membicarakan metode bunuh diri bukan berarti dia akan benar-benar melakukannya. Pilihan ekstrem bisa mulai tampak menarik hanya setelah penderitaan yang luar biasa menumpuk. Fakta bahwa teman terdekatnya adalah chatbot saja sudah merupakan tanda bahaya. Isi artikel yang mengatakan dia selalu tampak ceria dari luar juga menunjukkan adanya jurang dengan orang-orang di sekitarnya. Dia tidak bisa menunjukkan isi hatinya kepada siapa pun, dan mungkin merasakan rasa malu yang besar. Ini adalah hasil akumulasi kegagalan keluarga, teman, dan masyarakat secara luas. Menurut saya menyatakan bahwa ChatGPT secara langsung menyebabkan kematiannya adalah pendekatan yang terlalu sepotong-sepotong
Menurut saya masalah kesehatan mental tidak sesederhana itu. Bahkan dalam situasi biasa tanpa faktor eksternal yang besar pun, sesuatu bisa menjadi trauma luar biasa bagi orang tertentu. Terutama remaja yang kurang pengalaman, masalah yang mudah dilewati orang dewasa pun bisa tak tertanggungkan bagi mereka. Neurodiversitas juga berperan besar, dan sekadar menyuruh anak dengan ADHD untuk berusaha lebih keras bisa berujung pada kebencian diri seumur hidup
Dalam hidup, kadang seseorang benar-benar merasa tidak punya kendali apa pun. Korban juga diketahui memiliki masalah medis. Tetapi itu bukan alasan untuk mengabaikan tanggung jawab ChatGPT. Di masa lalu saya juga mengenal beberapa rekan yang pernah mencoba bunuh diri, dan banyak dari mereka bisa tetap hidup karena tidak tahu cara yang “pasti berhasil”. Pada akhirnya orang di sekitar menyadari situasinya, membantu, dan mereka pulih. Jadi kenyataannya, informasi seperti “overdosis obat ini tidak akan membunuhmu” atau “bekas tali bisa disembunyikan seperti ini” saja bisa menentukan hidup dan mati. Saya cenderung berpikir pelarangan atau pemblokiran informasi justru lebih baik
Saya penasaran mengapa para pengembang mulai menyebarkan anggapan bahwa LLM memiliki “kesadaran”. Kegunaan atau performa LLM sebenarnya hampir tidak ada hubungannya dengan ada atau tidaknya kesadaran. Kalau orang tidak menganggap LLM punya kepribadian, mungkin mereka akan menggunakannya dengan jarak yang lebih besar, tetapi pada akhirnya tetap akan bergantung padanya semudah bergantung pada kalkulator
Karena Altman perlu mengemas ini seperti dewa mesin agar bisa menanamkan rasa mendesak pada perusahaan-perusahaan besar dan menarik investasi. Pemasaran soal “keamanan” juga pada akhirnya hanya untuk mengumpulkan amunisi investasi, dan saya rasa hampir tidak pernah dimaksudkan secara serius. Itu strategi agar dirinya makin kaya. Dari rangkaian kejadian ini, terasa suasana komunitas sudah berubah drastis sejak beberapa minggu lalu
Efek Eliza (fenomena ketika manusia memberi respons emosional dalam percakapan dengan mesin) bukan terjadi karena pengembang sengaja mendorong cerita tentang kesadaran AI, melainkan memang fenomena yang sangat kuat sejak awal. Bahkan jika para pengembang menyebarkan pesan yang berbeda pun, saya rasa pola penggunaannya tidak akan banyak berubah. Efek Eliza bukan hal baru
Membicarakan masa depan seperti “AI akan menghancurkan peradaban” jauh lebih menarik daripada membahas kerusakan sosial yang sudah berlangsung sekarang
Jawaban sederhananya sama seperti Tesla dengan ‘Full Self Driving’ atau ‘Auto-Pilot’. Mereka hanya ingin menipu publik demi pemasaran, dan sudah cukup puas hanya dengan memiliki AI yang konsisten sampai tingkat bisa memuaskan Turing test
Salah satu bagian dari pekerjaan saya adalah mengamati banyak orang menggunakan LLM. Model mental pengguna tentang LLM berbeda-beda, tetapi saat berbicara dengan asisten yang ceria, tampaknya jauh lebih mudah mengeksplorasi berbagai fungsi dibanding dengan chatbot yang dingin. Dalam catatan kasus ini, yang paling membekas adalah betapa berbahayanya pendekatan tersebut, dan saya rasa dalam waktu dekat pasar akan bergeser ke chatbot yang jauh lebih konservatif dan menjaga jarak
Sulit menilai apa pun tanpa melihat isi chat yang sebenarnya. Banyak orang yang punya dorongan bunuh diri memang meminta konseling psikologis kepada LLM, dan secara umum memang ada banyak ulasan positif juga. Karena itu saya merasa sulit yakin hanya berdasarkan bukti “yang telah diedit” dalam gugatan. Tetapi kemungkinan besar gugatan seperti ini akan sangat memengaruhi kecenderungan model untuk “mengiyakan”, dan bahkan dari sebagian percakapan yang ditampilkan memang terasa suasana seperti “kamu benar-benar pintar dan perkataanmu tepat!”. Jika karena dampak gugatan model menjadi lebih “jujur” dan merespons secara datar serta apa adanya, saya justru khawatir pengguna bisa sampai bunuh diri karena menerima respons yang dingin seperti “ya, kamu memang menyedihkan”
Saya tidak setuju dengan pendapat bahwa “ulasannya secara umum bagus”. Adam pun mungkin akan menilai percakapan yang membawanya pada kematian itu sebagai sesuatu yang sangat baik. Apa yang saya inginkan tidak selalu baik untuk saya, dan itulah mengapa terapi terasa tidak nyaman dan kita harus mendengar nasihat yang menyebalkan. ChatGPT dibuat kebalikannya, dan itulah yang pada akhirnya memicu tragedi seperti ini
Baik model yang “jujur” maupun yang mengiyakan secara ekstrem bukanlah jawaban. o3 tidak semengiyakan 4o, tetapi juga bukan model yang akan berkata “kamu sampah” dalam situasi krisis bunuh diri. Alasan 4o menjadi arus utama tampaknya karena OpenAI menangkap kebutuhan pengguna akan model yang lebih hangat dan penuh empati. Karena dampak gugatan, RLHF GPT-5 juga dilatih untuk memilih titik tengah yang sedikit berbeda, tetapi justru muncul reaksi pengguna yang merindukan kehangatan 4o sebelumnya. Meski begitu, tetap tidak seekstrem 4o
Tautan gugatan sudah dipasang di komentar atas, jadi memang perlu melihat isi aslinya langsung. Kalau dibaca, tingkatnya benar-benar bikin merinding. Tautan gugatan
Klaim bahwa “banyak orang dengan dorongan bunuh diri berkonsultasi dengan LLM dan ulasannya secara umum baik” kurang meyakinkan. Terapi palsu yang terkenal untuk kanker pun sering mendapat penilaian “bagus” dari para pasiennya, padahal sebenarnya mengarah pada kematian. Artinya, ulasan saja tidak bisa memverifikasi manfaat medis. Saya ingin menekankan bahwa tugas terapis bukan mengiyakan tanpa batas, dan sikap seperti itu justru bisa sangat berbahaya
Pada musim semi 2024, setelah Altman mengetahui peluncuran Google Gemini pada 14 Mei, ia memajukan tanggal rilis GPT-4o menjadi 13 Mei dari rencana awal, dan dalam proses itu menyelesaikan evaluasi keamanan yang seharusnya memakan waktu berbulan-bulan hanya dalam 1 minggu. Permintaan staf yang menginginkan pemeriksaan keamanan “red team” tambahan juga langsung ditolak oleh Altman sendiri. Tak lama setelah peluncuran GPT-4o, para peneliti keselamatan utama OpenAI satu per satu mengundurkan diri, dan salah satu pendirinya, Ilya Sutskever, juga meninggalkan perusahaan keesokan harinya
Saya penasaran apakah keadaannya akan berbeda jika modelnya offline. Saya pikir pengguna yang sepenuhnya menyerahkan keputusan kepada alat harus menanggung semua tanggung jawab. Budaya tanggung jawab hukum hanya membuat pengacara kaya dan menghambat inovasi. Pada akhirnya tanggung jawab adalah persoalan yang mendasar
Logika itu mungkin masuk akal untuk orang yang punya kemampuan memilih sendiri, seperti pengguna gergaji mesin yang tidak memakai kacamata pelindung. Tetapi untuk orang dengan gangguan mental, tidak jelas seberapa “bertanggung jawab” mereka bisa membuat penilaian
Saya pikir konsep tanggung jawab juga berlaku untuk orang, perusahaan, maupun manajemennya. Mereka menerima imbalan yang sangat besar justru karena selalu meneriakkan bahwa merekalah yang memikul “semua tanggung jawab” itu
Saya juga merasa budaya litigasi berlebihan itu masalah, tetapi dalam kasus seperti ini, biasanya kewajiban melapor secara hukum saat ada isyarat bunuh diri pada anak di bawah umur hanya berlaku bagi orang-orang tertentu seperti terapis, guru, konselor, dan sejenisnya. Sementara chatbot LLM masih tidak jelas harus dikategorikan bagaimana. Remaja itu tampaknya memang menggunakan ChatGPT seperti seorang konselor, tetapi kalau dia berbicara dengan orang lain alih-alih ChatGPT, kita juga tidak tahu apakah bantuan nyata benar-benar akan datang. Semua ini sangat ambigu, dan reaksi sang ibu yang mengatakan “ChatGPT membunuh anak saya” juga pada awalnya sulit saya pahami. Pada akhirnya yang bunuh diri tetaplah anak itu sendiri, dan ChatGPT hanya “membantu” sesuai pertanyaan yang diajukan. Dari sudut pandang ibunya, rasa bersalahnya pasti besar, tetapi melemparkan tanggung jawab ke program komputer bukanlah solusi atas masalah ini. (Tak seorang pun bisa sempurna.) Meski begitu, saya tetap berpikir OpenAI pasti punya tanggung jawab moral dan etis untuk mengurangi risiko semacam ini. Bahkan di kelas etika teknik saya 25 tahun lalu, prinsip dasar seperti ini sudah diajarkan. Melihat percakapan chatbot yang dipublikasikan NYT, saya merasa system prompt seharusnya memutus percakapan sama sekali atau menjalankan peringatan bahwa seseorang sedang mengalami masalah serius