OpenAI mengumumkan lebih dari 1 juta orang berbicara dengan ChatGPT tentang bunuh diri setiap minggu

• OpenAI mengumumkan bahwa sekitar 0,15% pengguna ChatGPT setiap minggu melakukan percakapan yang mengisyaratkan rencana atau niat bunuh diri
• Dengan jumlah pengguna aktif mingguan yang melampaui 800 juta, ini berarti lebih dari 1 juta orang membagikan kekhawatiran terkait bunuh diri kepada AI
• Selain itu, dianalisis bahwa ratusan ribu orang menunjukkan gejala psikotik atau mania, dan sebagian menunjukkan ketergantungan emosional yang berlebihan pada AI
• Untuk mengatasi masalah ini, OpenAI menjelaskan bahwa mereka bekerja sama dengan lebih dari 170 pakar kesehatan mental, dan GPT-5 menunjukkan kemampuan respons yang sekitar 65% lebih baik dibanding versi sebelumnya
• Namun, sebagian respons masih tidak pantas, dan karena OpenAI juga terus menyediakan model lama yang tidak aman, perdebatan soal etika dan keamanan diperkirakan akan terus berlanjut

---

Pengungkapan data terkait ChatGPT dan kesehatan mental

• OpenAI mengumumkan melalui blog resminya bahwa sekitar 0,15% pengguna ChatGPT melakukan percakapan yang menunjukkan tanda-tanda bunuh diri
  • Dari lebih dari 800 juta pengguna mingguan, angka ini setara dengan lebih dari 1 juta orang
  • Selain itu, diperkirakan ratusan ribu pengguna menunjukkan pola emosi abnormal seperti mania, delusi, dan keterikatan berlebihan
• Perusahaan menyebut percakapan semacam ini “sangat jarang tetapi sulit diukur,” sambil menekankan perlunya riset baru untuk menangani isu kesehatan mental

Kolaborasi dengan pakar dan peningkatan GPT-5

• OpenAI menyatakan baru-baru ini telah berkolaborasi dengan lebih dari 170 pakar kesehatan mental untuk meningkatkan respons model
  • Para pakar menilai versi terbaru menunjukkan respons yang lebih konsisten dan lebih tepat dibanding model sebelumnya
  • Menurut evaluasi internal, GPT-5 mencapai tingkat kepatuhan standar keselamatan 91% dalam pengujian percakapan terkait bunuh diri, meningkat dari 77% pada GPT-5 sebelumnya
  • Dijelaskan pula bahwa tingkat pemeliharaan pengaman dalam percakapan jangka panjang juga meningkat

Kontroversi sosial dan respons hukum

• Saat ini OpenAI sedang digugat oleh orang tua dari seorang remaja laki-laki berusia 16 tahun yang meninggal karena bunuh diri
  • Terungkap bahwa sebelum meninggal, remaja tersebut pernah mencurahkan kegelisahan bunuh dirinya kepada ChatGPT
• Jaksa Agung negara bagian California dan Delaware memperingatkan perlunya penguatan langkah perlindungan bagi remaja
  • Isu ini juga disebut sebagai risiko potensial yang dapat memengaruhi rencana restrukturisasi perusahaan OpenAI

Pernyataan Sam Altman dan perubahan kebijakan

• CEO OpenAI Sam Altman baru-baru ini mengklaim di X (sebelumnya Twitter) bahwa mereka telah “meringankan masalah kesehatan mental yang serius,” tetapi tidak memberikan dasar yang spesifik
  • Pengungkapan data kali ini ditafsirkan sebagai dasar dari pernyataan tersebut, tetapi sekaligus dinilai menunjukkan luasnya masalah yang ada
• Altman juga mengisyaratkan pelonggaran kebijakan yang mengizinkan percakapan erotis bagi pengguna dewasa, sehingga kontroversi etis turut muncul

Evaluasi keamanan GPT-5 dan rencana ke depan

• Melalui evaluasi benchmark keselamatan kesehatan mental yang baru diperkenalkan, OpenAI berencana untuk
  • secara rutin mengukur item seperti ketergantungan emosional dan respons terhadap krisis kesehatan mental non-bunuh diri
• Selain itu, perusahaan berencana memperkuat fitur kontrol orang tua dan sistem prediksi usia untuk membatasi penggunaan oleh anak di bawah umur

Tantangan yang tersisa dan diskusi lanjutan

• Meski kemampuan respons GPT-5 telah meningkat, sebagian jawaban masih diklasifikasikan sebagai ‘respons yang tidak diinginkan’
• Karena OpenAI masih menyediakan model lama seperti GPT-4o kepada pelanggan berbayar
  • diskusi tentang keseimbangan antara keamanan dan aksesibilitas diperkirakan akan terus berlanjut
• Pengumuman ini menunjukkan bahwa AI telah menjadi saluran utama untuk percakapan seputar kesehatan mental, sekaligus menyoroti perlunya perancangan teknologi yang bertanggung jawab dan pembangunan sistem respons yang memadai

---

• Jika Anda atau orang di sekitar Anda sedang mempertimbangkan bunuh diri, segera cari bantuan.
• Di Korea, Anda dapat menghubungi hotline pencegahan bunuh diri 109.
• Untuk negara lain, informasi lembaga bantuan di masing-masing negara dapat dilihat di International Association for Suicide Prevention.

[GN⁺]

Komentar Hacker News

• Menurut artikel NYT, ada kasus di mana ChatGPT mengatakan kepada remaja yang memiliki dorongan bunuh diri agar tidak mencari bantuan
  Saya rasa sangat berbahaya jika AI ikut campur dalam situasi krisis psikologis seperti ini
  Memang benar psikolog kurang, tetapi bot penjilat tidak bisa menjadi alternatif. Ungkapan “lebih baik daripada tidak ada sama sekali” tidak berlaku dalam kasus seperti ini

  • Di sisi lain, meskipun kasus seperti ini tragis, mungkin juga ada kasus di mana ChatGPT menyelamatkan nyawa
    Jika memang banyak orang mendapatkan penghiburan, perlu penelitian apakah dampak positifnya lebih besar daripada dampak negatifnya
  • Masalah seperti ini kemungkinan besar akan membaik seiring waktu
    Guardrail dan kemampuan percakapan berkembang cepat, jadi sepertinya dalam 6~24 bulan respons yang jauh lebih baik akan dimungkinkan
  • Ada tulisan menarik terkait hal ini — AI-induced psychosis: a shallow investigation
    Isinya eksperimen tentang seberapa berbeda berbagai model merespons saat mensimulasikan kondisi gangguan mental
  • Namun insiden itu terjadi sebelum masalahnya diperbaiki. Cukup cek tanggalnya
  • Daripada “menjilat”, tampaknya AI melakukan intervensi langsung untuk mengendalikan situasi
    Mengatakan “jangan lakukan itu” justru merupakan bentuk sanggahan. Respons seperti ini bahkan jarang terlihat dalam percakapan antarmanusia

• Beberapa tahun lalu saya pernah menjalani pengalaman terapi, dan kalau saat itu ada LLM saya mungkin akan mengobrol dengannya
  Karena tidak ada sistem yang bisa diakses kapan saja selama 24 jam. Tapi percakapan seperti ini bukan solusi, melainkan sinyal yang mengungkap masalah sosial
  Masalahnya ada pada struktur sosial yang membuat kesehatan mental sulit dibicarakan dan bantuan sulit didapat
  Perusahaan seperti OpenAI mungkin sulit menyelesaikan ini, tetapi seseorang harus menangani masalah ini dari sudut pandang nirlaba

  • Memang dibilang tidak ada sistem 24 jam, tetapi layanan seperti Suicide and Crisis Lifeline juga ada
  • Saya juga punya keyakinan yang sama. Hanya saja percakapan seperti ini adalah wilayah abu-abu yang berbahaya
    Mirip seperti membaca postingan saran di Reddit sebagai pengganti, padahal sebenarnya itu berarti menerima nasihat yang meminjam pengalaman orang lain, jadi berbahaya
  • Karena jumlah penggunanya besar, statistik seperti ini hanyalah hukum bilangan besar
  • Namun ada juga sikap skeptis bahwa perusahaan yang katanya “untuk membantu” pada akhirnya tetap akan terikat pada struktur laba
    Muncul pertanyaan apakah di bawah tekanan investor mereka bisa mempertahankan ‘tujuan altruistik’

• Orang sering langsung menyimpulkan LLM itu berbahaya, tetapi bagi saya itu adalah sesuatu yang membantu saya keluar dari masa gelap
  Rasanya lebih baik daripada berbicara dengan nonprofesional. Tentu saja orang lain tetap harus mendapatkan bantuan profesional

  • Saya juga punya pengalaman serupa. Saya terbantu dengan menjelaskan ciri kepribadian dan mengurai situasi stres bersama
    Akan lebih aman jika ada ‘mode pengawasan’ di mana profesional secara berkala meninjau log percakapan
  • Namun ada juga masalah kepercayaan dan tanggung jawab. Terapis punya tanggung jawab pribadi, sedangkan penyedia LLM tidak
    Pada akhirnya ini adalah masalah stigma sosial dan isolasi
  • Faktanya, LLM cukup cakap dalam pertanyaan psikologis. Jawabannya selaras sekitar 80% dengan jawaban profesional
    Tidak ada rasa takut ditolak dan aksesibilitasnya tinggi. Ada ruang agar terapi manusia dan terapi AI bisa hidup berdampingan
  • Namun AI harus menyadari bahwa begitu percakapan terkait bunuh diri dimulai, intervensi profesional segera dibutuhkan

• Dari sudut pandang HIPAA (undang-undang perlindungan informasi medis), data seperti ini seharusnya tidak ditangani
  Jika disimpan dalam keadaan bisa mengidentifikasi individu, itu berbahaya. Bahkan pada tahun 90-an pernah ada eksperimen serupa,
  dan proyek itu dihentikan ketika orang mulai mencurahkan kekhawatiran bunuh diri kepada bot

  • Tetapi HIPAA hanya berlaku untuk institusi medis. Perusahaan biasa tidak termasuk
    Alasan ChatGPT mencatat percakapan seperti ini adalah karena sistem logging untuk mendeteksi topik sensitif
  • Pada akhirnya OpenAI bukan institusi medis, jadi berada di luar cakupan perlindungan hukum
    HIPAA hanya berlaku untuk data medis, dan percakapan umum tidak termasuk
  • Gmail juga menangani informasi serupa tetapi tidak tunduk pada HIPAA.
    Pada akhirnya, jika menyediakan ‘telinga yang mau mendengar’, orang secara alami akan mencurahkan isi hati ke telinga itu
  • Di zaman sekarang, percaya bahwa data tidak disimpan adalah pemikiran yang naif
  • Namun LLM bisa berperan sebagai jembatan bagi orang-orang yang sulit mengakses terapi
    Di tengah realitas bahwa janji temu dengan terapis bisa memakan waktu berbulan-bulan, LLM mengisi celah antara keputusasaan dan perawatan

• 1 dari 5 orang dewasa di AS mengalami gangguan mental (statistik NIMH)
  Jadi tidak mengherankan jika setiap minggu satu juta orang membicarakan bunuh diri dengan ChatGPT.
  Setidaknya OpenAI menyadari masalah ini dan sedang mencoba meresponsnya

  • Namun ini juga bisa jadi hanya narasi lain tentang ‘teknologi sebagai penyelamat’
    Media sosial menjual ‘koneksi’, AGI menjual ‘erotisisme’, dan sekarang ‘pencegahan bunuh diri’ pun dijual
  • Sekitar 11% populasi AS sedang mengonsumsi antidepresan
    Saya sendiri merasa isolasi sosial memberi dampak terburuk pada kesehatan mental
  • Justru menurut saya angka itu rendah. Yang perlu dilihat terpisah adalah proporsi orang yang memiliki dorongan bunuh diri
  • Ada nada sinis dalam kalimat “OpenAI sedang melakukan sesuatu”
  • Bunuh diri bukan penyakit mental. Ini bukan sesuatu yang bisa sekadar dipatologikan

• Muncul kecurigaan bahwa “riset” OpenAI hanyalah alasan untuk mengumpulkan data
  Terlihat seperti produk dukungan psikologis, tetapi sebenarnya tujuannya mungkin menghindari regulasi dan mengamankan data

• Orang mulai mempercayai LLM seperti manusia
  Tetapi jika seseorang bisa membedakan realitas dan virtualitas, maka mengatakan “mari larang LLM bagi orang yang ingin bunuh diri”
  tidak berbeda dengan mengatakan “mari larang buku bagi orang yang ingin bunuh diri”
  Masalah sebenarnya adalah sistem dukungan kesehatan mental yang kurang memadai

  • Namun LLM berbeda dari buku. Ini adalah mesin persuasi yang dipersonalisasi untuk pengguna, sehingga berbahaya
    Jika ada buku yang mendorong bunuh diri, tentu itu akan dilarang
  • Saya memang bekerja di perusahaan yang membuat alat kesehatan mental berbasis AI
    Fenomena seperti ini muncul bukan hanya di AS tetapi merupakan fenomena universal di seluruh dunia
  • Kebanyakan orang tahu bahwa LLM bukan manusia, tetapi masalahnya adalah mereka percaya ‘lebih baik daripada manusia’
    Dalam artikel Rolling Stone juga dibahas
    kasus ketika AI menggantikan hubungan antarmanusia dan menimbulkan distorsi mental
  • Masalah sosial yang mendasar lebih besar, dan larangan atau regulasi sederhana hanyalah tambal sulam
    Belakangan ini saya juga berpikir bahwa kurangnya ‘ruang ketiga’ adalah salah satu penyebab masalah seperti ini

• Fakta bahwa setiap minggu satu juta orang melakukan percakapan terkait bunuh diri justru terlihat sebagai angka yang rendah
  Jika 5% populasi merasakan dorongan bunuh diri setiap tahun, secara matematis itu juga cocok
  Dorongan bunuh diri sering bisa dilihat sebagai upaya pelarian yang rasional dalam kondisi kekurangan informasi
  Ketika ada informasi atau peluang baru, hal itu sering menghilang

  • Namun penjelasan seperti ini terlalu optimistis
    Ada orang yang berada dalam situasi dengan kualitas hidup yang secara permanen rendah,
    dan dalam kasus seperti itu bunuh diri justru bisa menjadi pilihan yang rasional
    Pada akhirnya, masalahnya bukan “persuasi lewat percakapan” melainkan perbaikan kondisi hidup
  • Saya penasaran apakah fenomena ini benar-benar sudah dibuktikan lewat riset
  • Bisa jadi orang bertanya pada AI tentang topik tabu karena beban risikonya rendah
    Itu berbeda dari niat untuk benar-benar bertindak
  • “Satu juta per minggu” mungkin bukan akumulasi, melainkan orang yang berbeda setiap minggu
  • Bahkan dengan hitungan sederhana, 5% berarti 40 juta orang per tahun, kira-kira satu juta per minggu

• Masalah respons menjilat (sycophancy) memang serius
  Respons seperti “Itu ide yang bagus!” tidak selalu membantu.
  AI masih cenderung sedikit lebih menjilat daripada manusia

• Kita sedang kehilangan pengalaman manusia karena terlalu mengoptimalkannya
  Di tengah pengejaran pertumbuhan dan efisiensi tanpa akhir, koneksi sosial menghilang,
  dan stres serta isolasi mendorong orang ke tepi jurang
  Karena itu, kadang hidup sebagai penggembala di pegunungan terasa lebih manusiawi

  • Namun bukan kemanusiaan yang hilang, melainkan itu didistorsi oleh platform big tech
    Kebanyakan orang di dunia nyata ramah dan baik-baik saja.
    Negativitas online adalah hasil amplifikasi algoritme milik segelintir pihak
    Hapus akun dan kembali ke dunia nyata, hidup akan jauh lebih baik
  • Meski begitu, hidup sebagai petani atau penggembala juga bisa jadi fantasi yang diromantisasi
    Mereka pun kadang mungkin iri pada programmer
  • Di kota pun masih banyak orang yang berinteraksi dengan sesama dan menjaga koneksi sosial
  • Sebenarnya mungkin zaman sekarang tidak lebih sulit daripada masa lalu
    Justru karena ada lebih banyak ruang untuk bernapas dan merenungkan hidup, kita mungkin merasa lebih tidak bahagia
  • Saya juga 8 tahun lalu kabur dengan ‘rencana B’. Tidak mudah, tetapi sepadan
    Tidak semua orang harus pergi, tetapi perlu mempercayai naluri sendiri dan menata ulang arah hidup