Perempuan Tennessee Salah Ditangkap atas Tuduhan Kejahatan di North Dakota akibat Kesalahan Pengenalan Wajah AI

• Angela Lipps (50) dari Tennessee ditangkap sebagai tersangka kasus penipuan bank di North Dakota, negara bagian yang belum pernah ia kunjungi, setelah diidentifikasi oleh teknologi pengenalan wajah AI, dan ditahan lebih dari 5 bulan
• Sistem Clearview AI salah mengidentifikasi orang yang mirip sebagai Lipps, dan polisi Fargo menerbitkan surat perintah penangkapan berdasarkan hal tersebut
• Setelah itu, catatan bank yang menunjukkan Lipps berada di Tennessee saat kejadian dikonfirmasi, dakwaan dibatalkan dengan status tidak bersalah, dan ia dibebaskan
• Polisi Fargo mengakui kesalahan dalam penyampaian informasi AI dan tidak menyerahkan rekaman pengawasan, serta berjanji memperketat prosedur penggunaan data AI
• Kasus ini dinilai menyoroti keandalan teknologi AI untuk penyelidikan dan perlunya prosedur verifikasi manusia

---

Kasus salah tangkap terhadap perempuan Tennessee akibat kesalahan pengenalan wajah AI

• Angela Lipps (50), warga Tennessee, ditangkap sebagai tersangka kasus penipuan bank di negara bagian North Dakota yang belum pernah ia datangi, setelah diidentifikasi oleh teknologi pengenalan wajah AI, dan ditahan lebih dari 5 bulan
  • Polisi Fargo mengakui ada “beberapa kesalahan” dalam penanganan kasus ini, tetapi tidak menyampaikan permintaan maaf resmi
  • Penangkapan dilakukan pada 14 Juli di rumah Lipps di Tennessee, sementara surat perintah penangkapan telah diterbitkan di Fargo beberapa minggu sebelumnya

• Kronologi kasus

  • Saat menyelidiki kasus penipuan bank di wilayah Fargo, polisi menggunakan “teknologi pengenalan wajah milik lembaga mitra” untuk mengidentifikasi tersangka
  • Polisi West Fargo menggunakan sistem Clearview AI, dan sistem tersebut memasukkan seseorang yang dinilai mirip dengan Lipps ke dalam laporan
  • Polisi Fargo kemudian menganggap Lipps sebagai tersangka berdasarkan informasi tersebut dan menyerahkan laporan ke kejaksaan Cass County
  • Belakangan, polisi Fargo menyatakan bahwa penggunaan sistem AI oleh West Fargo tidak pernah dilaporkan ke atasan, dan kini penggunaannya telah dilarang

• Proses penahanan dan pembebasan

  • Pada 1 Juli, hakim North Dakota menerbitkan surat perintah penangkapan yang memungkinkan ekstradisi nasional
  • Lipps ditangkap pada 14 Juli dan dipenjara di Tennessee selama lebih dari 3 bulan sebelum dipindahkan ke North Dakota
  • Setelah dipindahkan, kuasa hukumnya memperoleh catatan bank yang menunjukkan Lipps berada di Tennessee saat kejahatan terjadi
  • Pada 23 Desember, polisi Fargo, jaksa negara bagian, dan hakim menyepakati untuk membatalkan dakwaan dengan status “tidak bersalah”, dan Lipps dibebaskan pada 24 Desember
  • Tim kuasa hukum mengkritik bahwa “penahanan berkepanjangan terus berlangsung secara tidak perlu meski ada bukti pembebasan yang jelas”

• Hasil penyelidikan internal dan respons polisi Fargo

  • Polisi menunjuk kesalahan dalam proses penyampaian informasi sistem AI dan tidak diserahkannya rekaman pengawasan sebagai kekeliruan utama
  • Polisi Fargo menyatakan ke depan mereka tidak akan lagi menggunakan data AI dari West Fargo, dan akan bekerja sama dengan pusat informasi negara bagian dan federal
  • Prosedur juga diperketat agar semua hasil pengenalan wajah dilaporkan setiap bulan kepada kepala biro investigasi
  • Sistem pemberitahuan penangkapan yang tidak memadai antara Cass County dan kejaksaan negara bagian juga disebut sebagai masalah, dan langkah perbaikan sedang ditinjau
  • Polisi mengatakan mereka sedang meninjau kemungkinan tindakan disipliner terhadap penyidik terkait, serta menyebut bahwa “tidak ada yang menginginkan penangkapan yang tidak perlu”

• Korban dan respons hukum

  • Lipps adalah nenek dengan tiga anak dan lima cucu, dan menyatakan bahwa ia belum pernah pergi ke North Dakota
  • Selama masa penahanan, ia menulis di halaman GoFundMe bahwa dirinya mengalami “ketakutan, kelelahan, dan rasa malu”
  • Tim kuasa hukum mengkritik bahwa “pengenalan wajah AI digunakan sebagai jalan pintas yang menggantikan penyelidikan dasar” dan sedang meninjau kemungkinan gugatan hak sipil

• Kritik terhadap teknologi AI untuk penyelidikan

  • Kepolisian di seluruh AS mengadopsi teknologi AI dengan cepat, tetapi dikritik karena bukti efektivitasnya masih kurang
  • Profesor Ian Adams dari University of South Carolina menganalisis bahwa “kesalahan terkait AI umumnya merupakan masalah gabungan antara teknologi dan manusia”
  • Ia menekankan bahwa “para detektif tidak boleh menelan mentah-mentah hasil algoritme dan harus selalu melalui prosedur verifikasi manusia”
  • Sebelumnya juga pernah terjadi kasus salah identifikasi AI, seperti sistem keamanan AI yang mengira bungkus camilan kosong sebagai senjata dan menyebabkan seorang siswa ditangkap

• Status kasus saat ini

  • Polisi Fargo menyatakan kasus ini “masih berlangsung dan dakwaan dapat diajukan kembali tergantung hasil penyelidikan tambahan”
  • Tim kuasa hukum menyambut baik janji perbaikan dari polisi, tetapi menilai bahwa “ketiadaan prosedur penyelidikan dasar tetap menjadi masalah”

[GN⁺]

Komentar Hacker News

• Terlepas dari ini AI atau bukan, hanya ada satu hal yang ingin kutanyakan — siapa yang benar-benar melakukan penyelidikan
  Tidak ada seorang pun yang memeriksa IP-nya, saksi, atau apakah ada penanda dari AI. Mereka cuma melihat data lalu berkata, “ketangkap”
  Yang lebih mengerikan adalah bagian saat dia berkata, “aku tidak akan pernah kembali ke North Dakota.” Pelajarannya seharusnya bukan ‘jangan pergi ke negara bagian itu’, melainkan seluruh sistem harus dipersoalkan
  Sebelumnya juga sudah ada kasus seperti penangkapan salah oleh Apple atau pria yang dibawa pergi di depan keluarganya. Kalau kita tidak melawan, kita semua akan hidup di dunia di mana orang ‘dianggap bersalah dulu lalu harus membuktikan dirinya tak bersalah’

  • Masalah dalam sistem hukum adalah tidak ada insentif untuk mencari kebenaran
    Aku sendiri pernah menelepon 911 lalu malah dituduh membuat laporan palsu. Rekaman bodycam jelas membantah itu, tetapi pihak terkait hanya peduli pada ‘penuntutan’. Untungnya juri mengambil keputusan yang benar
  • Tentu penyelidikan memang diperlukan. Tetapi masalah yang lebih besar adalah orang-orang mempercayai ilusi bahwa AI tidak pernah salah
    Bahkan saat orang mengatakan “hasilnya harus diverifikasi”, ada orang yang bersikeras “tidak perlu”, termasuk di HN
  • Kita sebenarnya sudah belajar dari DNA dan sidik jari. Menahan orang hanya karena ‘komputer bilang cocok’ itu berbahaya
    Sistem seperti ini seharusnya hanya dipakai untuk memberi petunjuk. Tetapi sekarang dipakai seolah-olah seperti di drama TV, ‘AI mengatakan kebenaran’
    Orang-orang hanya ingin mengambil pelajaran sederhana seperti “jangan pernah ke North Dakota lagi”. Tetapi masalah sebenarnya adalah tingkat false positive dan keterbatasan struktural sistem hukum
  • Ada bagian yang kamu lewatkan. Para pengacara mengatakan “trauma, hilangnya kebebasan, dan pencemaran nama baik tidak mudah dipulihkan”
    Ini jelas merupakan pernyataan untuk menyiapkan gugatan ganti rugi. Mungkin dia cuma ingin kembali menjalani hidup biasa. Mengatakan “lawan sistemnya” secara realistis terlalu sulit
  • Aku bukan ahli hukum, tetapi di AS, interogasi saat seseorang ditahan tunduk pada hak Miranda
    Mungkin lebih baik menghindari masalah ini dengan software dari Musk atau Altman

• Vendor yang dipakai adalah Clearview AI. Menurut kebijakan resminya, kecuali di beberapa negara bagian yang mewajibkannya secara hukum, permintaan penghapusan data tidak dimungkinkan
  Jadi tiba-tiba aku tertarik pada S1422 Biometric Privacy Act di New York

  • Untuk penduduk Illinois, menurut kebijakan itu pengumpulan dan penyimpanan data biometrik diwajibkan. Namun lembaga penegak hukum kemungkinan besar mendapat pengecualian lewat administrative warrant dan sejenisnya
  • Terkait hal ini, ada juga kasus pengaduan pidana pengenalan wajah oleh noyb
  • Untuk meminta penghapusan, kamu harus mengirimkan foto dirimu sendiri, tetapi aku tidak ingin mempercayai perusahaan yang terkait dengan Peter Thiel
  • Pada akhirnya, untuk saat ini tidak ada cara selain terus mengulang permintaan penghapusan. Bahkan jika dihapus, besar kemungkinan datanya akan masuk lagi ke database suatu hari nanti

• Baru bulan ini saja aku sudah melihat beberapa kasus penangkapan salah akibat pengenalan wajah. Sekarang ini sudah terjadi sesering itu
  Dengan populasi AS 350 juta orang, ada banyak orang yang mirip. Jadi begitu AI ditanya, ‘siapa yang mirip dengan orang di video ini?’, terciptalah situasi di mana orang bisa ditangkap hanya karena ‘terlihat mirip’
  ‘Mirip’ mungkin cukup untuk tingkat kecurigaan yang wajar, tetapi tidak cukup sebagai dasar penangkapan (Probable Cause). Harus digabungkan dengan bukti lain
  Masalahnya bukan AI itu sendiri, melainkan cara berpikir yang menyamakan kemiripan dengan identitas orang yang sama

• Yang paling mengejutkan adalah hakim menyetujui surat perintah hanya berdasarkan hasil kecocokan Clearview
  Hakim dan prosedur surat perintah seharusnya menjadi mekanisme untuk mencegah penyalahgunaan oleh polisi, tetapi itu pun tidak berfungsi

• Diskusi sebelumnya ada di sini

• Kasus ini adalah pemberitaan yang berlebihan tentang AI
  Sistem yang digunakan adalah FaceSketchID, yang sudah ada sejak 2014, terpisah dari AI terbaru. Sistem itu hanya menyajikan kandidat, penyidikan dan penuntutan tetap tugas manusia
  Pertanyaan sebenarnya adalah mengapa dia ditahan sampai 4 bulan. Biasanya ekstradisi dilakukan dalam 30 hari; mungkinkah karena dia sedang dalam masa pembebasan bersyarat?

  • Di AS, bahkan jika orang berkuasa melanggar prosedur, hampir tidak ada hukuman nyata. Pada akhirnya paling-paling hanya ganti rugi yang dibayar dari pajak
  • Jika prosedur ekstradisi dipersoalkan, masa penahanan bisa diperpanjang dari 30 hari sampai maksimal 90 hari. Selain itu, masalah salah identitas juga tidak bisa diperdebatkan dalam sidang ekstradisi
  • Mungkin dia ditahan terpisah karena pelanggaran pembebasan bersyarat
  • Penyelidikan seharusnya dilakukan manusia, tetapi masalahnya adalah ‘kesalahan yang penuh percaya diri’ dari AI melumpuhkan penilaian manusia. Orang mudah tertipu oleh keyakinan

• Kutipan dalam artikel, “Ini bukan masalah teknologi, melainkan masalah teknologi dan manusia,” terasa berkesan

  • Belakangan ini, ungkapan seperti “It’s not just X, it’s X and Y” terasa seperti pola kalimat yang ditulis AI. Jika artikelnya ditulis AI, kalimat itu pun mungkin kutipan yang dihalusinasi

• Aku tidak menyangka standar penerbitan surat perintah penangkapan serendah ini. Terutama sampai menyeret orang dari negara bagian lain

  • Ini contoh khas Base Rate Fallacy
    Bahkan sistem dengan akurasi 99.999% pun, jika memeriksa 300 juta orang, akan menghasilkan 3.000 false positive. Dan sebagian besar di antaranya adalah orang tak bersalah
    Itulah sebabnya pengawasan otomatis skala besar itu berbahaya

• Yang benar-benar menakutkan bukan kesalahan AI, melainkan tidak ada seorang pun yang memverifikasi hasilnya
  Laporan anonim diselidiki, tetapi kecocokan AI langsung dipercaya. Pada akhirnya, mereka seperti menciptakan alat untuk melewati penyelidikan