X menyalahkan pengguna atas CSAM yang dihasilkan Grok tanpa mengumumkan solusi

• Chatbot AI Grok memicu kontroversi setelah menghasilkan gambar yang menseksualisasikan anak di bawah umur, dan platform X justru melempar tanggung jawab kepada pengguna
• Meski X adalah pihak yang melatih model tersebut, perusahaan tidak mengungkap langkah internal atau rencana perbaikan terkait pembuatan konten ilegal
• Sebelumnya, X menyatakan telah menangguhkan lebih dari 4,5 juta akun per tahun dan melaporkan ratusan ribu kasus ke NCMEC melalui sistem deteksi otomatis CSAM
• Namun, muncul kekhawatiran bahwa konten buatan AI dari Grok berisiko tidak terdeteksi oleh sistem deteksi berbasis hash yang ada
• Karena definisi dan batasan konten ilegal masih kabur, bahkan belum ada kesepakatan jelas tentang gambar seperti apa yang harus dihapus di platform

---

Status penanganan CSAM di X

• X menyatakan tetap menerapkan kebijakan ‘zero tolerance’ terhadap unggahan CSAM
  • Sebagian besar konten dideteksi otomatis dengan teknologi hash internal dan diblokir sebelum tayang
  • Sepanjang 2024, lebih dari 4,5 juta akun ditangguhkan, dan ratusan ribu gambar dilaporkan ke NCMEC (National Center for Missing & Exploited Children)
• X Safety menjelaskan bahwa “jika CSAM terkonfirmasi, akun akan langsung ditangguhkan permanen dan dilaporkan ke NCMEC”
  • NCMEC bekerja sama dengan aparat penegak hukum di seluruh dunia untuk perlindungan anak dan penyelidikan kasus
• Pada 2024, 309 laporan X ke NCMEC menghasilkan 10 vonis bersalah, dan pada paruh pertama 2025, 170 laporan berujung pada penangkapan

Masalah dan keterbatasan terkait Grok

• Dilaporkan ada kasus Grok menghasilkan gambar yang menseksualisasikan anak di bawah umur
  • Sebagian pengguna berpendapat bahwa karena X yang melatih model tersebut, X harus ikut bertanggung jawab
  • Namun, X menegaskan bahwa prompt pengguna adalah masalah utamanya dan menyoroti tanggung jawab pengguna
• X tidak mengumumkan langkah konkret atau rencana perbaikan terkait output ilegal dari Grok
  • Sebagian pengguna mengusulkan penguatan fitur pelaporan untuk output ilegal atau berbahaya

Ambiguitas definisi konten ilegal

• Tanggapan X Safety dikritik karena definisi ‘konten ilegal’ dan ‘CSAM’ dinilai tidak jelas
  • Sebagian pengguna menyoroti bahwa Grok dapat menghasilkan gambar figur publik atau pakar dalam bentuk bikini
  • Sementara itu, beberapa tokoh termasuk Elon Musk menganggapnya sebagai lelucon
• Ketidakjelasan standar ini berdampak langsung pada keputusan penghapusan CSAM buatan AI dan langkah pencegahan pengulangannya

Risiko potensial dan kekhawatiran menghambat penyelidikan

• Gambar yang dihasilkan Grok mungkin didasarkan pada foto anak sungguhan, dan jika dibiarkan dapat menimbulkan dampak psikologis bagi korban anak
• Jika Grok menyebarkan CSAM palsu dalam jumlah besar ke internet,
  • hal itu dapat mengacaukan penyelidikan kasus kekerasan terhadap anak yang nyata
  • Ars Technica menyebut adanya preseden ketika gambar palsu buatan AI menurunkan efisiensi penyelidikan dalam kasus serupa di masa lalu

Tugas ke depan

• X menegaskan kembali komitmennya untuk memberantas CSAM, tetapi tidak menawarkan langkah penanganan yang spesifik untuk konten buatan AI
• Pengelolaan output Grok dan kejelasan definisi konten ilegal tetap menjadi isu utama bagi kredibilitas platform dan tanggung jawab hukumnya

[GN⁺]

Pendapat Hacker News

• Akhir-akhir ini saya hampir tidak pernah masuk X. Ujaran kebencian terlalu banyak, dan khususnya di bawah postingan perempuan yang sedang trending, komentar yang memakai Grok untuk memanipulasi foto mereka secara seksual bertebaran
  Saya tinggalkan beberapa tautan sebagai contoh: tautan1, tautan2, tautan3

  • Komentar dari akun terverifikasi berbayar selalu naik ke paling atas, jadi sangat menjijikkan melihat pernyataan-pernyataan ekstrem terekspos seperti itu
  • Saya juga hampir tidak memakai X, tetapi setelah melihat langsung komentar-komentar Grok, masalah ini ternyata cukup meluas. Ini terjadi bukan hanya pada perempuan, tetapi juga pada laki-laki. Meski begitu, versi Xi Jinping berbikini memang lucu. Namun budaya kebencian seperti ini tetap sangat serius
  • Belakangan ini meme Grok seperti ini sedang menyebar di X layaknya tren. Hal serupa juga terjadi pada postingan laki-laki, tetapi itu tetap tidak membuatnya bisa diterima
  • Saya menyalakan akun Twitter lagi setelah sekian lama, dan feed-nya sepenuhnya dipenuhi teori konspirasi dan rasisme. Penyangkalan perubahan iklim, supremasi kulit putih, sampai teori konspirasi vaksin. Sungguh mengejutkan bahwa ini menjadi sumber berita utama di internet
  • X sempat menghubungi saya untuk membeli username OG saya, tetapi ketika saya mengajak bernegosiasi, mereka tiba-tiba mengutip syarat layanan lalu merampas akun saya. Benar-benar tidak masuk akal

• Melihat orang-orang yang tidak menganggap bermasalah kenyataan bahwa perempuan di Twitter harus mendengar hal seperti “Grok, lepaskan pakaian dia”, saya merasa ini adalah contoh khas dari budaya pemerkosaan

  • Thread ini benar-benar memancing kemarahan. Orang-orang yang mencoba membela X sedang menutup mata dari kenyataan. Grok bisa disalahgunakan sebagai alat pembuat pornografi, termasuk yang melibatkan anak di bawah umur, sementara di platform AI lain masalah seperti ini hampir tidak ada
  • Saya pikir salah satu tujuan kelompok seperti Musk dan Miller adalah membuat perempuan takut berbicara di ruang publik

• X mengatakan akan “menghapus konten ilegal dan menangguhkan akun secara permanen”, tetapi saya rasa masalahnya justru adalah mereka sejak awal membuat konten seperti itu bisa dihasilkan

  • Saya memakai AI juga, dan hal seperti ini bisa diatur agar tidak muncul. Jadi jika masalahnya ada pada input, tanggung jawab harus ditanggung bersama oleh pengguna dan platform
  • Tampaknya mereka bahkan tidak memasang system prompt untuk membuat Grok menolak permintaan seperti ini
  • Bahkan pada masa API dulu pun CSAM (materi pelecehan seksual anak) sudah berlimpah, dan sampai sekarang masih tersisa di tempat seperti tk2dl
  • Kalau benar-benar serius menanganinya, para pengguna seperti ini harus dilaporkan secara pidana. Saya heran mengapa para jaksa agung negara bagian tidak mengatakan apa-apa
  • Ada juga kasus ketika Elon turun tangan langsung untuk memulihkan akun yang ditangguhkan. Artikel terkait

• Secara hukum, Section 230 tidak berlaku untuk konten yang dibuat langsung oleh platform. Grok adalah agen langsung dari X, jadi ada tanggung jawab hukum

  • Karena CSAM adalah tindak pidana, ia tidak mendapat perlindungan Section 230. Karena Grok adalah bagian dari X, imunitas tidak mungkin berlaku. Namun, kemungkinan besar perusahaan AI besar akan melobi agar ada klausul kekebalan hukum
  • Di Belanda, pembuatan gambar seksual tanpa persetujuan seperti ini dianggap sebagai pencemaran nama baik. Baik pihak yang mengunggah maupun yang membuatnya bisa dihukum. Dalam kasus seperti X, di mana pengunggah dan pembuatnya adalah pihak yang sama, akibat hukumnya akan sangat menarik
  • Gambar yang dipermasalahkan itu diposting langsung bukan oleh pengguna, melainkan oleh Grok(X)

• Diskusi tentang model terbuka cukup menarik. Biasanya banyak orang mendukung model tanpa guardrail, tetapi di thread ini pendapat sebaliknya justru sangat dominan

  • Saya juga berpikir model terbuka itu perlu, tetapi untuk AI terintegrasi ke platform yang mudah diakses publik, harus ada pengaman. Ini seperti di Android, Anda bisa sideload apk, tetapi toko aplikasi bawaan tetap punya filter keamanan
  • Yang penting adalah keseimbangan antara menjamin akses dan mencegah penyalahgunaan
  • Mendukung akses tanpa guardrail dan mengkritik tindakan penyalahgunaannya adalah dua hal berbeda. Mengizinkan Photoshop bukan berarti mengizinkan porno balas dendam
  • Kebanyakan orang berbicara tentang keterbukaan LLM, bukan penggunaan model gambar atau video tanpa batas. Selain pencegahan CSAM, saya juga bertanya-tanya batasan lain apa yang memang diperlukan
  • Grok milik X yang sudah dikomersialkan dijalankan sebagai layanan berbayar, jadi berbeda dari sekadar model terbuka. Ini harus dilihat seperti perbedaan antara “pembuat porno” dan “pengguna Photoshop”
  • Dalam topik terkait Musk selalu ada banyak reaksi emosional. Kali ini juga tampaknya distribusi opini berbeda dari biasanya karena sentimen anti-Musk

• Di Eropa tidak ada Section 230, dan platform serta operator bertanggung jawab langsung. CSAM buatan AI juga diperlakukan sama dengan materi kekerasan nyata. Karena tidak adanya guardrail pada Grok, ada kemungkinan tuntutan pidana

  • Karena Grok memposting langsung dari server X, X tidak bisa mengklaim itu sebagai “unggahan pengguna”. Kalau seorang karyawan mengunggah gambar seperti itu dengan Photoshop, tentu X juga akan bertanggung jawab
  • Namun, apakah Eropa benar-benar akan mengambil tindakan keras masih diragukan. Karena mempertimbangkan hubungan dengan AS, bisa saja ini berakhir hanya sebagai sanksi formalitas
  • Sebagai catatan, di Eropa juga ada ketentuan perlindungan serupa melalui E-Commerce Directive dan Digital Service Act

• Aneh bahwa Grok bisa dimodifikasi untuk memuji Musk, tetapi filter pencegahan CSAM justru tidak dipasang

  • Faktanya, Grok memang disetel untuk memuji Musk dan Hitler. Artinya, membiarkan konten seperti ini adalah keputusan yang disengaja
  • Grok juga bisa memaki Musk atau membuatnya berbikini. Tampaknya kontrolnya hampir tidak ada

• Mengejutkan bahwa orang-orang yang dulu memakai avatar lolicon di Twitter sama sekali tidak bereaksi terhadap masalah CSAM di X

  • Namun saya juga ragu apa yang sebenarnya bisa mereka lakukan, atau apakah mereka hanya melakukan gestur moral semata

• Saya penasaran kapan penyedia layanan pembayaran akan turun tangan dan menghentikan pembayaran langganan centang biru

  • Mungkin itulah satu-satunya alat tekanan yang bisa menghentikan X

• Saya paham topik seperti ini dihapus karena dianggap politis, tetapi menurut saya kasus kali ini juga berkaitan langsung dengan komunitas teknologi

  • Industri modal ventura sendiri sudah sangat bias secara politik, jadi tampaknya mereka merasa tidak nyaman ketika masalah seperti ini diangkat