Polisi bersenjata mengepung siswa setelah AI salah mengira bungkus Doritos sebagai senjata

• Di sebuah SMA di Amerika Serikat, terjadi insiden kesalahan sistem deteksi senjata berbasis AI yang membuat seorang siswa dikepung polisi bersenjata
• Sistem tersebut adalah teknologi yang menganalisis video kamera pengawas untuk mengenali bentuk senjata api, tetapi dalam kejadian ini salah menilai bungkus camilan Doritos sebagai pistol
• Siswa itu diborgol sambil ditodong senjata, dan kemudian dipastikan sebagai false positive lewat gambar tangkapan AI yang ditunjukkan polisi
• Omnilert, perusahaan pengembang sistem itu, menyatakan bahwa "ini memang false positive, tetapi sistem bekerja sesuai yang dirancang", dan pihak sekolah juga mengeluarkan pernyataan yang mendukung posisi tersebut
• Insiden ini memicu perdebatan soal keandalan dan batas etis teknologi pengawasan AI di sekolah, sekaligus memperlihatkan risiko dari masyarakat yang terlalu bergantung pada AI

---

Ringkasan insiden

• Di Kenwood High School di Baltimore, Maryland, AS, seorang siswa 16 tahun bernama Taki Allen ditaklukkan polisi bersenjata akibat false positive dari sistem pengawasan AI
  • Insiden terjadi pada 20 Oktober, saat Allen sedang bersama teman-temannya setelah latihan sepak bola
  • Beberapa mobil polisi tiba di depan sekolah, menodongkan senjata ke arah para siswa, dan memerintahkan mereka untuk “tiarap di tanah”
• Allen digeledah dalam posisi berlutut dan diborgol, tetapi polisi tidak menemukan senjata apa pun
  • Pada gambar tangkapan AI yang ditunjukkan polisi, bungkus Doritos yang kusut di sakunya dikenali sebagai senjata api
• Allen mengatakan saat itu ia sempat berpikir “aku bisa mati”, dan setelah kejadian tersebut ia mengaku takut untuk kembali ke sekolah

Cara kerja sistem AI dan masalahnya

• Sistem yang menjadi sumber masalah adalah Gun Detection Technology dari Omnilert, solusi pengawasan AI yang diperkenalkan di sekolah negeri Baltimore County tahun lalu
  • Sistem ini menganalisis rekaman CCTV yang sudah ada secara real-time, lalu mengirim peringatan ke polisi segera setelah mendeteksi objek yang diperkirakan berbentuk senjata api
• Omnilert mengakui insiden ini sebagai false positive, tetapi tetap menegaskan bahwa sistem “berfungsi sebagaimana dimaksud”
  • Perusahaan mengatakan tujuannya adalah “menjamin keselamatan melalui verifikasi manusia yang cepat”, sehingga mereka tidak menganggap ini sebagai masalah mendasar pada teknologinya
• Namun, materi promosi perusahaan menekankan “deteksi senjata api seketika” dan “tingkat false positive yang nyaris nol”, sehingga insiden ini menjadi pukulan bagi kredibilitas klaim tersebut

Respons sekolah dan komunitas lokal

• Baltimore County Public Schools mengulangi posisi Omnilert dalam surat kepada orang tua murid, dengan menyatakan bahwa tindakan tersebut adalah langkah untuk keselamatan siswa dan peningkatan kewaspadaan
  • Sekolah juga mengumumkan akan menyediakan layanan konseling bagi siswa yang menyaksikan kejadian itu
• Namun, Allen mengatakan ia tidak menerima permintaan maaf atau kontak langsung dari pihak sekolah
  • Ia mengatakan bahwa yang ia dengar hanyalah bahwa itu sekadar “protokol”, dan menyampaikan kekecewaannya terhadap respons sekolah
• Setelah kejadian itu, Allen mengatakan bahwa ia takut polisi akan datang lagi jika ia makan camilan atau minum sesuatu, sehingga enggan kembali ke sekolah

Perdebatan yang meluas soal teknologi pengawasan AI

• Insiden ini memicu perdebatan tentang keandalan dan batas etis sistem pengawasan AI
  • Khususnya, kejadian ini menunjukkan bahwa false positive AI dapat mengancam keselamatan siswa di ruang sensitif seperti sekolah
• Para ahli memperingatkan bahwa jika kesalahan penilaian AI langsung berujung pada respons bersenjata di dunia nyata, risikonya bisa berkembang menjadi korban jiwa
• Insiden ini juga menjadi momentum untuk menyoroti kembali tanggung jawab sosial teknologi AI dan pentingnya prosedur verifikasi manusia

Tren internasional terkait meluasnya penggunaan AI

• Pada periode yang sama, Mayor Jenderal William ‘Hank’ Taylor dari Angkatan Darat AS memicu kontroversi setelah mengungkap bahwa ia menggunakan ChatGPT untuk membantu pengambilan keputusan militer
  • Hal ini menunjukkan bahwa ketergantungan pada AI juga berkembang pesat di lembaga publik dan organisasi militer
• Di Inggris, sistem verifikasi usia berbasis pengenalan wajah untuk mengakses konten dewasa juga memicu kontroversi AI lain
  • Seorang pria dengan banyak tato mengaku menerima pesan “remove your face” dari sistem tersebut, memperlihatkan efek samping dari kesalahan pengenalan AI
• Contoh-contoh ini dinilai sebagai kasus representatif yang menunjukkan konsekuensi tak terduga ketika AI semakin dalam masuk ke kehidupan sehari-hari manusia dan ranah keselamatan publik

[onixboox]

Masa siswa yang ditangkap itu bukan karena dia berkulit hitam, kan?

[GN⁺]

Komentar Hacker News

• Meski Omnilert mengakui insiden ini sebagai “false positive”, perusahaan itu tetap mengklaim sistemnya “bekerja sebagaimana dimaksud”
  Namun pada kenyataannya, orang-orang bersenjata dikerahkan berdasarkan informasi keliru bahwa “ada remaja yang membawa senjata”, sehingga menciptakan situasi yang sangat berbahaya
  Siswa itu bisa mengalami trauma. Ironisnya, kutipan dalam artikel justru membuat para orang dewasa pembuat teknologi ini terasa lebih kekanak-kanakan daripada siswa tersebut

  • Sebagai contoh lain, artikel gugatan atas sistem pengawasan AI di distrik sekolah Lawrence menunjukkan bahwa seorang siswa pernah ditangkap setelah AI melaporkan candaan di obrolan grup, lalu ditahan selama 24 jam tanpa bisa bertemu orang tua atau pengacara
    Kini sedang ada gugatan terhadap Gaggle, dan pesaingnya Lightspeed disebut menyediakan opsi berbayar agar peringatan ditinjau manusia
  • Katanya “menjaga keamanan lewat verifikasi manusia yang cepat”, tapi rasanya itu pada akhirnya cuma pengalihan tanggung jawab
  • Ini pada dasarnya situasi AI swarm di mana “AI secara otonom mengerahkan sumber daya”. Tidak ada penilaian manusia, hanya eksekusi
  • Sistem apa pun pasti punya false positive dan false negative, tetapi dalam kasus ini keduanya sama-sama berbahaya
    Selain meningkatkan kualitas model deteksi, perlu ada struktur yang mengurangi biaya kegagalan saat sistem salah. Verifikasi manusia atau prosedur konfirmasi kedua adalah caranya
  • Para insinyur mungkin membuatnya sebagai “alat untuk membantu keselamatan publik”, tetapi pemasaran dan penjualan membungkusnya sebagai “sistem pengambilan keputusan yang sepenuhnya otomatis”, dan akhirnya lahirlah realitas satir berupa malfungsi yang berujung pada todongan senjata

• Insiden seperti ini tampaknya pada dasarnya mengomersialkan model pengenalan objek open source YOLO dengan sedikit modifikasi
  Tidak ada yang tahu seberapa akurat sebenarnya, dilatih dengan data apa, atau berapa tingkat false positive-nya
  Menurut saya, penyebaran sistem seperti ini seharusnya mewajibkan pengungkapan statistik dan data pelatihan

  • Pada akhirnya mereka benar-benar mengabaikan konsep “human in the loop”. Suatu hari nanti perusahaan ini sangat mungkin menghadapi gugatan pembunuhan karena kelalaian

• John Bryan, yang dikenal lewat The Civil Rights Lawyer, kemungkinan akan menyinggung kasus ini
  Ia selama ini mengkritik tindakan polisi menodongkan senjata dengan informasi yang tidak memadai sebagai ‘penggunaan kekuatan berlebihan’ secara hukum
  Jika AI dan polisi sama-sama melihat foto lalu salah mengira itu senjata, mungkin masih bisa dibenarkan, tetapi jika AI yang otomatis memicu pengerahan, dasar pembenarannya jauh lebih lemah

  • Mungkin suatu hari kita akan mendengar argumen di pengadilan bahwa “bukti AI bisa dipercaya karena berasal dari teknologi yang didukung investasi miliaran dolar”
  • Saya penasaran apakah penggunaan kekuatan tanpa alasan yang sah langsung masuk kategori penindakan berlebihan, atau masih ada wilayah abu-abunya

• Berbahaya menyerahkan sistem seperti ini kepada orang-orang yang tidak benar-benar paham AI secara teknis
  Mereka sangat mungkin percaya mentah-mentah pada output AI
  Hal yang seharusnya benar-benar menjadi fokus tim keamanan AI adalah membuat masyarakat memahami bahwa “komputer bisa salah”

• Pihak sekolah mengatakan akan “menyediakan dukungan konseling bagi para siswa”, tetapi yang lebih penting adalah membuat mereka menanggung tanggung jawab finansial atas false positive
  Teknologi seperti ini seharusnya masih tetap berada pada tahap laboratorium

  • Harus ada pihak yang bertanggung jawab atas keputusan yang salah. Hanya sistem pertanggungjawaban pengambil keputusan yang bisa menghentikan penilaian buruk
  • Sumber daya dan personel sudah terbuang untuk respons yang keliru. Sekarang perlu ada pengunduran diri atau hukuman
  • Muncul sinisme, jangan-jangan sebagai ganti konseling mereka malah memberi gift card untuk terapi
  • Tentu teknologi selalu membawa risiko, tetapi saya juga tidak menganggap satu false positive otomatis membatalkan semua manfaatnya
    Namun rasio alarm palsu terhadap deteksi nyata harus dipublikasikan secara transparan

• Zaman ketika platform pengawasan seperti Palantir menyebar ke seluruh masyarakat sedang mendekat
  Sistem ML non-deterministik bisa berujung pada korban jiwa saat terjadi kesalahan
  Dalam masyarakat otoriter, kesalahan seperti ini akan ditutup-tutupi, jadi kita harus menuntut regulasi hukum sekarang juga

  • Tetapi kasus ini bukan tentang Palantir, melainkan Omnilert. Jangan mencampuradukkan pokok masalahnya

• Omnilert berkata “sistem bekerja sebagaimana dimaksud”, tetapi kenyataannya AI-lah yang melakukan swatting terhadap seseorang
  Tempat-tempat yang memasang sistem seperti ini sebaiknya memang dihindari saja demi keamanan

  • Ini contoh klasik alasan ala korporasi: “bukan bug, melainkan fitur”
  • Teknologi seperti ini pada akhirnya akan membawa pengorbanan siswa yang tak bersalah. Tingkat kematangannya belum sampai ke tahap itu
  • Klaim bahwa mereka memprioritaskan keselamatan manusia jelas-jelas bohong

• Katanya “verifikasi manusia yang cepat”, padahal kenyataannya verifikasinya terjadi di depan laras senjata

  • Pola pikir seperti “jangan buang waktu untuk verifikasi, ancaman harus segera dilumpuhkan” justru lebih berbahaya
  • Saat polisi dikerahkan, mereka harus bisa langsung melihat video asli yang dideteksi AI. Itu bisa mengurangi false positive dan membantu memahami situasi dengan akurat
  • Tahap berikutnya mungkin adalah captcha “membuktikan Anda bukan robot” dengan todongan senjata

• Setiap kali melewati pemindai TSA di bandara, saya jadi tegang tanpa alasan. Celana beritsleting sering membuat saya kena pemeriksaan tambahan
  Kini kita memasuki era ketika kamera keamanan AI di jalanan bisa menandai orang secara sewenang-wenang
  Karena sistem seperti ini menghasilkan uang, ada risiko besar penyebarannya meluas tanpa kendali

  • Menggunakan Precheck atau Global Entry bisa mengurangi frekuensi pemeriksaan. Merepotkan, tapi itu solusi yang realistis
  • Upaya menghindari pemeriksaan sampai harus mengubah cara berpakaian adalah efek samping dari security theater. Suatu saat kita mungkin bahkan harus menyesuaikan pakaian sehari-hari
  • Warga perlu menyampaikan pendapat lewat email secara langsung. Kalau beberapa ratus orang saja bergerak, politisi akan bereaksi. Diam adalah masalah terbesar
  • Pernah sekali saya menunjukkan izin membawa senjata api alih-alih kartu identitas, lalu malah kena pemeriksaan tambahan, tetapi untungnya tetap lolos tanpa masalah
  • Seorang teman, setelah melewati pemindai lalu menunggu saya, diperiksa lagi karena dianggap “berkeliaran”. Sepertinya ada bias rasial yang bermain

• Kalimat “sistem bekerja sebagaimana dimaksud” terasa seperti meme ‘Not a hotdog’ versi dunia nyata
  Hanya saja kali ini yang dibedakan adalah “senjata / bukan senjata”, dan akurasinya bahkan lebih buruk dari itu