Kesalahan pengenalan wajah AI membuat perempuan tak bersalah dipenjara selama berbulan-bulan

• Karena malfungsi sistem pengenalan wajah AI, seorang perempuan ditangkap dan ditahan selama berbulan-bulan meski tidak terkait dengan kejahatan tersebut
• Insiden ini bermula dari salah identifikasi oleh AI dalam proses penyelidikan kasus penipuan di North Dakota
• Korban adalah seorang nenek yang tidak bersalah, dan baru belakangan terungkap bahwa ia sama sekali tidak terkait dengan kejahatan yang sebenarnya
• Kasus ini menyoroti masalah keandalan dan tanggung jawab teknologi investigasi berbasis AI
• Ini menjadi momentum untuk menegaskan perlunya verifikasi yang lebih ketat atas ketergantungan lembaga penegak hukum pada AI

---

Kasus penahanan tidak adil akibat salah identifikasi AI

• Di North Dakota, seorang perempuan ditangkap setelah kesalahan teknologi pengenalan wajah AI membuatnya ditunjuk sebagai tersangka yang keliru
• Perempuan tersebut tidak terkait dengan kasus penipuan, namun tetap berada dalam status tahanan selama berbulan-bulan hingga akhirnya dinyatakan tidak bersalah
• Kasus ini menyoroti batas akurasi teknologi AI dan persoalan tanggung jawab hukum

Kesalahan teknis dan dampak sosial

• False positive pada algoritme pengenalan wajah disebut sebagai contoh representatif bagaimana pelanggaran hak asasi dapat terjadi
• Masalah utamanya adalah lembaga penegak hukum mempercayai hasil analisis AI tanpa verifikasi memadai
• Insiden ini mendorong diskusi yang menekankan pentingnya menjamin keadilan dan transparansi teknologi AI

Perlunya respons kelembagaan

• Para ahli menuntut penguatan standar penggunaan dan prosedur verifikasi untuk alat investigasi AI
• Ada penekanan bahwa mekanisme pencegahan salah putus akibat kesalahan kecerdasan buatan perlu segera disiapkan
• Ke depan, penentuan tanggung jawab hukum dan kompensasi bagi korban berpotensi menjadi isu utama

[GN⁺]

Komentar Hacker News

• Membagikan tautan ke artikel asli (archive.ph)

• Menurut dokumen pengadilan, polisi tetap melanjutkan penangkapan yang salah meskipun hasil pengenalan wajah dari AI sudah diverifikasi langsung oleh manusia
  AI hanya menandai ‘kemungkinan cocok’, tetapi penyidik manusia menerimanya seolah itu bukti yang pasti
  Pada akhirnya, penahanan selama 5 bulan tanpa wawancara sekalipun terjadi karena kelalaian sistem peradilan pidana

  • Secara praktis, sekarang hanya berubah dari “komputer bilang itu benar” menjadi “AI bilang itu benar”
    Orang-orang mendelegasikan otoritas dan penilaian secara berlebihan kepada mesin, lalu berusaha menghindari tanggung jawab atas kesalahan
  • Masalahnya bukan sekadar AI, melainkan kekuasaan polisi yang digabungkan dengan AI
    Teknologi pengawasan seperti pengenalan wajah dan pembacaan pelat nomor disalahgunakan, dan meskipun korban hidupnya hancur, tidak ada yang benar-benar bertanggung jawab
  • Pada akhirnya ini adalah gambaran masyarakat yang runtuh karena manusia membabi buta mempercayai AI yang cacat
    Kebanyakan orang tidak bisa membedakan AI dari kecerdasan yang sesungguhnya, dan membuat keputusan yang tidak masuk akal hanya karena “komputer mengatakan begitu”
  • Ada kasus serupa ketika botol obat biasa disalahartikan sebagai narkoba hingga berujung penangkapan
    Bisa dilihat di artikel terkait
  • Saat memindai jutaan foto, tingkat false positive pasti meningkat, jadi kemungkinan penangkapan yang salah cukup besar

• Ini jelas layak digugat terhadap polisi Fargo dan lembaga pemerintah
  Perempuan di video jelas tampak lebih muda, dan dari berbagai keadaan jelas bukan orang yang sama
  Setidaknya dia seharusnya menerima ganti rugi jutaan dolar

  • Tetapi secara realistis, hal itu sulit karena qualified immunity bagi pejabat
  • US Marshals mungkin tidak bertanggung jawab karena mereka hanya mengeksekusi surat perintah
  • Tetap saja pahit bahwa ganti rugi seperti ini pada akhirnya dibayar dengan pajak warga
  • Yang paling mengejutkan adalah pernyataan bahwa “selama berada di penjara, dia kehilangan rumah, mobil, bahkan anjing peliharaan”
    Jadi penasaran siapa yang mengambil anjing itu
  • Bahkan kalau pun mereka mirip seperti kembar, penahanan 6 bulan tetap tidak masuk akal

• Menurut artikel itu, hasil pengenalan wajah ini adalah kesalahan AI sekaligus kegagalan total manusia
  Polisi, jaksa, hakim, dan sheriff semuanya memikul tanggung jawab
  Surat perintah tidak boleh diterbitkan hanya berdasarkan pengenalan wajah

  • Kita tidak boleh lupa bahwa banyak pihak melakukan kesalahan secara bersamaan
    a) penyalahgunaan alat dan kelalaian oleh polisi,
    b) tidak adanya pengawasan dari lembaga peradilan,
    c) pembiaran terhadap penyalahgunaan yang dapat diperkirakan oleh perusahaan penyedia AI
    Kegagalan seperti ini seharusnya diikuti oleh kehilangan jabatan dan pertanggungjawaban institusional
  • Dari populasi AS sebanyak 300 juta orang, tentu ada banyak wajah yang mirip
    Ini akibat memuja kemampuan ajaib AI sambil mengabaikan hak asasi tersangka
  • AI bukan subjek yang bertanggung jawab, tanggung jawab hanya ada pada manusia
  • Dalam praktiknya, perangkat lunak itu hanya bekerja sebagai alat penyaring pola
    Ia hanya menyajikan ‘kemungkinan kecocokan’, tetapi manusia salah menganggapnya sebagai bukti yang pasti

• Kasus ini mengingatkan pada skandal Kantor Pos Inggris

  • Saat itu saya mengikuti sidang dengar pendapatnya di YouTube, dan keangkuhan serta ketidakmampuan yang terlihat sangat mengejutkan
  • Juga merekomendasikan miniseri pemenang BAFTA Mr Bates vs The Post Office
  • Mengingat kasus itu lagi membuat kemarahan memuncak
  • Meski begitu, setidaknya kepala polisi Fargo belum menerima jabatan kehormatan, jadi masih ada sedikit hiburan

• Kasus serupa juga dibahas dalam video The Civil Rights Lawyer
  AI milik kasino menunjuk orang yang salah, tetapi polisi menangkapnya tanpa verifikasi apa pun
  Bahkan setelah terbukti tidak bersalah, jaksa tetap mempertahankan dakwaan pelanggaran masuk tanpa izin

  • Juga dibagikan tautan video YouTube
    Seperti kata orang dunia itu sempit, kenalan dari kenalan saya ternyata adalah pihak yang terlibat langsung dalam kasus itu

• Setelah melihat foto pengenalan wajah itu, rasanya orang yang mirip seperti itu bisa ditemui beberapa kali dalam seminggu

• Awalnya senang karena “kampung halaman saya muncul di Hacker News!”, tetapi setelah melihat isinya langsung muncul firasat buruk
  Katanya kepala polisi mengundurkan diri hari ini, jadi mungkin ada kaitannya dengan kasus ini

  • Daerah kami juga selalu masuk berita nasional hanya karena insiden semacam ini
  • Ada juga yang menanyakan sumber kabar pengunduran diri kepala polisi itu

• Orang-orang berkata “yang salah bukan AI, melainkan manusia”, tetapi justru itu berarti mereka sedang dimainkan oleh strategi pemasaran perusahaan AI
  Polisi, politisi, dan operator sistem semuanya berada dalam struktur yang melindungi dari pertanggungjawaban, sehingga sulit meminta tanggung jawab dari mereka
  Pada akhirnya yang tersisa hanya alat dan pembuatnya
  Ungkapan “bukan AI yang bermasalah, melainkan manusia” justru membantu penghindaran tanggung jawab perusahaan
  Jika benar-benar ingin menuntut tanggung jawab, maka pemilik modal dan pemasok teknologi harus dimintai pertanggungjawaban

  • Sangat setuju dengan itu
    Hasil seperti ini adalah konsekuensi yang bisa diperkirakan, dan sudah dapat diduga sejak saat AI pengenalan wajah dijual kepada kepolisian AS