- Pada Februari 2021, karena saat itu akhir pekan dan masih dalam masa pandemi, seorang perawat mengatakan bahwa jika ia mengambil video/foto dan mengirimkannya untuk penanganan darurat, dokter dapat meninjaunya lebih dulu
- Karena bagian tubuh bayi yang sakit adalah "bagian sensitif", ia memotretnya agar terlihat jelas lalu mengirimkannya, dan setelah dokter memeriksanya, antibiotik segera diresepkan sehingga masalahnya cepat teratasi
- Namun karena foto tersebut, algoritme Google menandainya sebagai orang yang memperdagangkan CSAM (materi pelecehan seksual anak), lalu akun Google-nya ditangguhkan
- Gmail yang sudah dipakai lebih dari 10 tahun, Google Calendar, foto dan video yang dicadangkan ke Google Cloud, serta layanan telepon Google Fi
- Bahkan Mark, orang yang mengalaminya, adalah seorang software engineer di perusahaan teknologi yang mengerjakan alat otomatis untuk menghapus konten video yang ditandai pengguna
- Karena itu, ia berpikir bahwa di balik kejadian seperti ini ada manusia yang memastikan komputer tidak melakukan kesalahan, jadi jika orang itu melihatnya maka masalah akan terselesaikan
- Ia mengirim email penjelasan, tetapi Google menjawab bahwa akun tersebut tidak akan dipulihkan tanpa penjelasan tambahan
- Semua riwayat email, foto, dan kontak hilang, dan ia juga harus mengganti nomor telepon
- Tanpa diketahui Mark, tim peninjau Google sudah melaporkan gambar yang ia buat, sehingga polisi San Francisco mulai menyelidikinya
- Hal serupa juga terjadi pada seseorang bernama Cassio di Texas
- Pada 2021, laporan CSAM ke Google melebihi 600 ribu kasus, dan 270 ribu akun dinonaktifkan
- Pada 2009 Microsoft mengembangkan teknologi PhotoDNA, dan pada 2018 Google juga mengembangkan alat AI yang dapat mengenali gambar CSAM
- Teknologi ini digunakan oleh banyak perusahaan termasuk Facebook
- Pada Desember 2021, Mark menerima surat dari kepolisian San Francisco
- Surat itu berisi bahwa ia pernah diselidiki, beserta salinan surat perintah penggeledahan yang dikirim ke Google
- Semua yang ada di akun Google Mark diperiksa (pencarian internet, riwayat lokasi, pesan, dokumen, foto, video, dan lain-lain)
- Penggeledahan ini dilakukan hanya seminggu setelah ia memotret pada bulan Februari
- Ketika Mark menghubungi penyidik, ia diberi tahu bahwa kasus tersebut sudah ditutup tanpa tuduhan
- Penyidik mengatakan ingin menghubungi Mark, tetapi telepon dan emailnya tidak bisa dihubungi (karena sudah ditangguhkan)
- Ia juga bertanya melalui penyidik apakah akun Google-nya bisa dipulihkan, tetapi dijawab, "Bicaralah dengan Google"
- Ia menyerahkan laporan polisi ini ke Google, tetapi tetap tidak ada hasil
- Masalah Cassio juga selesai dengan cara yang sama, tetapi akun Google-nya juga tidak dapat dipulihkan
- Bisakah AI membedakan gambar medis dan gambar pelecehan?
8 komentar
Akhirnya ini juga diberitakan di media lokal dengan mengutip The New York Times.
"Google menuduh ayah yang memotret alat kelamin putranya yang masih balita untuk keperluan pemeriksaan medis sebagai pelaku kejahatan seksual"
Seperti para ilmuwan mulai melakukan pengawasan diri terhadap sains setelah menyaksikan bom nuklir 70 tahun lalu, tampaknya kini juga saatnya para pengembang melakukan pengawasan diri terhadap perusahaan-perusahaan big tech.
Kalau sudah begini, rasanya pantas digugat, bukan..?
Menurut artikel asli yang diarsipkan, Mark juga sempat berkonsultasi dengan pengacara untuk mengetahui apakah ia bisa menggugat Google, tetapi tampaknya ia mengurungkan niat setelah mengetahui biayanya sekitar 7 ribu dolar.
Sepertinya ini situasi yang bahkan permintaan maaf sambil bersujud pun masih terasa kurang....
Wah, rasanya dalam kasus seperti ini justru mereka harus memberi kompensasi atas kerugian yang ditimbulkan; apakah mereka menangani ini seperti itu untuk meredam masalah tersebut?
Respons atau penanganan Google terkesan kurang bermutu..
Apple memperkenalkan fitur keamanan baru untuk melindungi anak-anak
Apple menyesalkan kontroversi "pemindaian iPhone"