- Menurut investigasi +972 Magazine dan Local Call, pada awal perang Gaza militer Israel menggunakan Lavender untuk menandai puluhan ribu warga Palestina sebagai target pembunuhan, dan para perwira intelijen memperlakukan hasilnya seolah-olah setara dengan penilaian manusia
- Lavender memberi skor kepada orang-orang yang diduga sebagai anggota organisasi militer Hamas dan Palestinian Islamic Jihad, dan ada kesaksian bahwa selama minggu-minggu pertama perang sekitar 37.000 orang ditandai sebagai tersangka militan
- Beberapa sumber intelijen mengatakan para perwira tidak memverifikasi target secara independen dan biasanya hanya menghabiskan 20 detik untuk memastikan apakah target laki-laki, serta tidak menerapkan kebijakan “tanpa kesalahan” meskipun secara internal mengetahui tingkat kesalahan sekitar 10%
- Untuk pelacakan target digunakan sistem otomatis seperti Where’s Daddy?; ketika target masuk ke rumah keluarga, rumah itu dijadikan sasaran pengeboman, dan ada kesaksian bahwa untuk target berpangkat rendah mereka lebih memilih bom tak berpemandu (dumb bomb) daripada peluru kendali presisi
- Militer Israel membantah klaim bahwa AI “mendakwa” target dan menegaskan adanya analisis intelijen independen serta kepatuhan terhadap hukum internasional, tetapi sumber-sumber menilai toleransi korban sipil, perhitungan kerusakan tambahan yang terotomasi, dan ketiadaan verifikasi real-time menyebabkan kematian warga sipil dalam skala besar
Pembuatan target yang ditangani Lavender
- The Human-Machine Team, yang terbit dalam bahasa Inggris pada 2021, menggagas sebuah “mesin” yang memproses data dalam jumlah besar dengan cepat selama perang untuk menghasilkan ribuan kandidat target militer
- Penulisnya memakai nama pena “Brigadier General Y.S.”, dan +972 serta Local Call menyatakan telah mengonfirmasi bahwa ia adalah komandan saat ini dari unit intelijen Israel Unit 8200
- Buku itu menganjurkan penggabungan AI dan manusia untuk mengatasi bottleneck manusia dalam proses menemukan target baru dan mengambil keputusan persetujuan target
- Menurut investigasi tersebut, militer Israel benar-benar mengembangkan program berbasis AI bernama Lavender, dan enam perwira intelijen Israel yang terlibat langsung dalam pembuatan target pembunuhan berbasis AI selama perang Gaza memberi kesaksian tentang hal ini
- Sistem ini secara resmi dirancang untuk menandai tersangka anggota organisasi militer Hamas dan Palestinian Islamic Jihad, khususnya sampai anggota berpangkat rendah, sebagai target potensial pengeboman
- Para sumber mengatakan bahwa selama beberapa minggu pertama perang, militer hampir sepenuhnya bergantung pada Lavender, dan sekitar 37.000 warga Palestina beserta tempat tinggal mereka ditandai sebagai kandidat serangan udara
- Juru bicara militer Israel, dalam tanggapan kepada +972 dan Local Call, membantah keberadaan kill list semacam itu
Perluasan cakupan “target manusia”
- Di militer Israel, istilah “human target” pada masa lalu merujuk pada personel militer senior yang menurut aturan unit hukum internasional militer dapat dibunuh di tempat tinggal pribadi meskipun ada warga sipil di sekitarnya
- Setelah militan yang dipimpin Hamas menyerang wilayah Israel selatan pada 7 Oktober, menewaskan sekitar 1.200 orang dan menculik 240 orang, para sumber mengatakan militer Israel dalam “Operation Iron Swords” menetapkan seluruh anggota organisasi militer Hamas sebagai human target, tanpa memandang pangkat dan pentingnya secara militer
- Pada masa lalu, untuk menyetujui pembunuhan satu human target, seorang perwira harus melalui prosedur incrimination yang rumit dan panjang
- Memeriksa silang bukti apakah target adalah anggota senior organisasi militer Hamas
- Mengidentifikasi alamat tempat tinggal dan kontaknya
- Mengetahui secara real-time kapan target berada di rumah
- Ketika daftar target diperluas dari puluhan personel senior menjadi puluhan ribu personel berpangkat rendah, pekerjaan intelijen menjadi sangat bergantung pada perangkat lunak otomatis dan AI, jelas para sumber
- Seorang perwira senior mengatakan kemampuan untuk menyerang personel berpangkat rendah secara otomatis adalah “Holy Grail”, dan jika beralih ke otomatisasi, pembuatan target melonjak tajam
Cara kerja Lavender dan datanya
- Lavender menganalisis informasi yang dikumpulkan melalui sistem pengawasan massal terhadap sebagian besar 2,3 juta penduduk Jalur Gaza, lalu menilai kemungkinan setiap individu aktif di organisasi militer Hamas atau PIJ dengan skor 1–100
- Sistem menerima informasi tentang anggota Hamas dan PIJ yang telah diketahui sebagai data pelatihan, mempelajari karakteristik mereka, yaitu features, lalu mencari karakteristik serupa di populasi umum
- Buku The Human-Machine Team memuat panduan singkat untuk membangun “target machine” berbasis AI, termasuk contoh ciri yang dapat meningkatkan skor seseorang
- Berada dalam grup Whatsapp yang sama dengan militan yang telah diketahui
- Mengganti ponsel setiap beberapa bulan
- Sering mengganti alamat
- Komandan pusat Data Science and AI Unit 8200, “Col. Yoav”, dalam kuliah tertutup di Tel Aviv University AI week pada 2023, menjelaskan mesin target yang mendeteksi “orang berbahaya” berdasarkan kemiripan dengan daftar militan yang sudah ada
- Ia mengatakan sistem ini mengidentifikasi seorang komandan unit rudal Hamas dalam operasi militer Gaza pada Mei 2021
- Slide kuliahnya menunjukkan struktur yang memasukkan data anggota Hamas yang sudah ada, mempelajari ciri-cirinya, lalu memberi skor kepada warga Palestina lain berdasarkan tingkat kemiripan
- “Col. Yoav” menekankan bahwa keputusan akhir dibuat oleh manusia, tetapi sumber-sumber yang baru-baru ini menggunakan Lavender mengatakan bahwa dalam praktiknya penilaian manusia yang teliti digantikan oleh pembuatan target massal dan daya mematikan
Prosedur persetujuan dan toleransi kesalahan
- Menurut para sumber, adopsi otomatis daftar target Lavender disetujui sekitar dua minggu setelah perang dimulai
- Personel intelijen memeriksa secara manual ratusan sampel yang dipilih AI
- Pada sampel tersebut, Lavender dinilai mencapai akurasi 90% dalam mengidentifikasi keterkaitan dengan Hamas
- Setelah itu, ketika Lavender menilai seseorang sebagai militan Hamas, para perwira dikatakan memperlakukannya secara praktis seperti perintah, tanpa perlu memeriksa secara independen data mentah atau alasan penilaiannya
- Seorang perwira senior mengatakan pemeriksaan internal menganggap perhitungan Lavender hanya 90% akurat, yang berarti 10% dari target pembunuhan bisa jadi bukan anggota organisasi militer Hamas
- Para sumber menjelaskan bahwa Lavender dapat keliru menandai orang yang pola komunikasinya mirip dengan anggota Hamas atau PIJ yang diketahui
- Polisi dan personel pertahanan sipil
- Kerabat militan
- Warga yang memiliki nama atau julukan sama dengan anggota sebenarnya
- Warga Gaza yang menggunakan perangkat yang sebelumnya dipakai anggota Hamas
- Seorang sumber mengatakan tidak ada “kebijakan tanpa kesalahan”, dan kesalahan diperlakukan secara statistik
- Sumber intelijen lain menjelaskan bahwa untuk target militan berpangkat rendah, verifikasi dianggap tidak sepadan dengan waktu perwira intelijen, sehingga mereka menerima margin kesalahan penggunaan AI dan risiko kematian warga sipil
Verifikasi manusia hanya sebatas memastikan laki-laki
- Militer Israel membantah klaim bahwa mereka menggunakan AI untuk melakukan incrimination terhadap target, dan menjawab bahwa alat semacam ini hanyalah alat bantu yang membantu proses incrimination
- Tanggapan militer menyatakan bahwa dalam kasus apa pun, tinjauan independen oleh analis intelijen diperlukan, dan mereka memverifikasi apakah target yang diidentifikasi merupakan target sah menurut pedoman militer dan hukum internasional
- Namun para sumber mengatakan bahwa sebelum mengebom rumah tersangka militan berpangkat rendah yang ditandai Lavender, prosedur pengawasan manusia yang sebenarnya hampir hanya berupa satu pemeriksaan
- Memastikan apakah target yang dipilih AI adalah perempuan atau laki-laki
- Disebutkan bahwa di dalam militer ada asumsi bahwa tidak ada perempuan dalam organisasi militer Hamas dan PIJ, sehingga jika target adalah perempuan, kemungkinan besar itu adalah kesalahan mesin
- Seorang perwira senior mengatakan ia biasanya menghabiskan 20 detik per target, dan nilai tambah manusia yang ia berikan hanya sebatas memastikan apakah suaranya laki-laki
- Para sumber menunjukkan bahwa dalam metode ini tidak ada mekanisme pengawasan yang dapat menangkap kesalahan ketika Lavender keliru menandai laki-laki sipil
Where’s Daddy? dan pelacakan rumah keluarga
- Tahap berikutnya adalah menentukan di mana target yang dibuat Lavender akan diserang
- Militer Israel mengklaim Hamas menempatkan personel dan aset militer di tengah populasi sipil, serta melakukan pertempuran dari dalam struktur sipil seperti rumah sakit, masjid, sekolah, dan fasilitas PBB
- Enam sumber juga sampai batas tertentu mengakui bahwa sistem terowongan Hamas melewati bawah rumah sakit dan sekolah, bahwa militan menggunakan ambulans, dan bahwa aset militer ditempatkan di dekat bangunan sipil
- Pada saat yang sama, para sumber mengatakan salah satu alasan utama meningkatnya jumlah korban tewas secara belum pernah terjadi sebelumnya dalam pengeboman saat ini adalah karena militer secara sistematis menyerang target ketika mereka berada di tempat tinggal pribadi bersama keluarga
- Perangkat lunak pelacakan otomatis disebut melacak ribuan orang secara bersamaan dan mengirim peringatan otomatis kepada perwira penanggung jawab target ketika target masuk ke rumah
- Salah satunya adalah Where’s Daddy?, yang baru pertama kali diungkap
- Seorang sumber menyebutnya “broad hunting” dan menjelaskan bahwa caranya adalah menyalin daftar yang dibuat sistem target ke dalamnya lalu menunggu siapa yang bisa dibunuh
- Menurut angka PBB, 6.120 orang, lebih dari setengah korban tewas pada bulan pertama perang, berasal dari 1.340 keluarga, dan banyak keluarga dimusnahkan seluruhnya di dalam rumah
- Ada kesaksian bahwa ketika nama dalam daftar Lavender dimasukkan ke Where’s Daddy?, orang tersebut terus dipantau, dan begitu masuk rumah, seluruh rumah dapat menjadi sasaran serangan yang meruntuhkannya
Pemilihan senjata dan bom tak berpemandu
- Setelah Lavender menandai target pembunuhan, personel militer memastikan apakah target laki-laki, dan perangkat lunak pelacakan menangkap lokasinya di dalam rumah, tahap berikutnya adalah memilih bom
- CNN, mengutip estimasi intelijen AS pada Desember 2023, melaporkan bahwa sekitar 45% amunisi yang digunakan Angkatan Udara Israel di Gaza adalah bom tak berpemandu (dumb bomb) yang tidak dipandu
- Tiga sumber intelijen mengatakan bahwa untuk pembunuhan personel berpangkat rendah yang ditandai Lavender, hanya bom tak berpemandu yang digunakan demi menghemat persenjataan presisi yang lebih mahal
- Seorang sumber menjelaskan bahwa jika target berpangkat rendah tinggal di gedung bertingkat tinggi, serangan tidak dilakukan karena mereka tidak ingin menggunakan “floor bomb” yang lebih presisi dan mahal; tetapi jika ia tinggal di bangunan beberapa lantai, serangan dengan bom tak berpemandu yang turut membunuh orang-orang di dalam gedung disetujui
- Sumber lain mengatakan sistem membuat target tidak pernah habis, dan jika satu serangan dibatalkan, mereka langsung beralih ke target berikutnya
Toleransi kematian warga sipil
- Menurut para sumber, selama minggu-minggu awal perang, jumlah korban sipil yang dapat diterima per satu militan berpangkat rendah yang ditandai sistem AI ditetapkan tetap pada 15 atau 20 orang
- “Collateral damage degree” ini diterapkan secara luas pada semua tersangka militan berpangkat rendah, tanpa memandang pangkat, pentingnya secara militer, atau usia, dan tidak ada perbandingan antara keuntungan militer dan perkiraan kerugian sipil untuk tiap kasus, kata mereka
- Seorang perwira ruang operasi target mengatakan unit hukum internasional militer pada masa lalu tidak pernah memberikan persetujuan menyeluruh untuk tingkat kerusakan tambahan seperti ini
- Ia mengatakan orang yang pernah mengenakan seragam Hamas dalam satu hingga dua tahun terakhir dapat dibom dengan kerusakan tambahan 20 warga sipil tanpa izin khusus, dan pada praktiknya prinsip proporsionalitas tidak ada
- Sumber senior lain menjelaskan bahwa pada minggu pertama perang, kerusakan tambahan nyaris tidak dipertimbangkan, lalu batasnya diturunkan, kemudian dinaikkan lagi
Target komandan senior dan kerugian sipil yang lebih besar
- Para sumber mengatakan cara militer saat ini menghasilkan secara massal dan mengebom human target berpangkat rendah di tempat tinggal sipil tidak lagi digunakan
- Sebagian mengatakan tekanan AS berpengaruh
- Karena banyak rumah di Jalur Gaza telah hancur atau rusak dan hampir seluruh penduduk mengungsi, menjadi sulit untuk bergantung pada basis data intelijen dan program pelacakan rumah otomatis
- Ada juga sumber yang mengatakan pengeboman massal terhadap personel berpangkat rendah terutama dilakukan pada satu hingga dua minggu pertama perang, lalu dihentikan untuk menghemat bom
- Namun serangan udara yang menargetkan komandan senior Hamas terus berlanjut, dan dalam kasus ini para sumber mengatakan militer menyetujui ratusan kematian warga sipil per satu target
- Mengenai pengeboman pada 2 Desember yang menargetkan komandan Shuja’iya Battalion Wisam Farhat, seorang sumber mengingat bahwa mereka tahu lebih dari 100 warga sipil akan tewas
- Ada juga kesaksian bahwa untuk membunuh komandan Hamas Central Gaza Brigade Ayman Nofal di kamp pengungsi Al-Bureij pada 17 Oktober, sekitar 300 kematian warga sipil disetujui, dan beberapa bangunan dihancurkan
- General Peter Gersten pernah mengatakan kepada media pertahanan AS pada 2021 bahwa dalam operasi melawan ISIS, serangan dengan kerusakan tambahan 15 warga sipil berada di luar prosedur dan memerlukan izin khusus dari Lloyd Austin, komandan U.S. Central Command saat itu
Suasana internal militer setelah 7 Oktober
- Semua sumber mengatakan pembantaian dan penculikan sandera oleh Hamas pada 7 Oktober sangat memengaruhi kebijakan daya tembak militer Israel dan toleransi kerusakan tambahan
- Seorang sumber menjelaskan bahwa suasana awalnya menyakitkan dan bernuansa balas dendam, serta aturannya sangat longgar
- Sumber lain mengatakan ada “histeria” di dalam organisasi profesional, dan karena militer tidak tahu bagaimana harus merespons, mereka mulai mengebom habis-habisan untuk membongkar kapabilitas Hamas
- Seorang sumber intelijen mengatakan tidak ada instruksi eksplisit bahwa “balas dendam” adalah tujuan, tetapi ketika semua target yang terhubung dengan Hamas dilegalkan dan hampir semua kerusakan tambahan disetujui, jelas ribuan orang akan tewas
- Militer Israel menjawab bahwa setiap target ditinjau secara individual, manfaat militer dari serangan dan perkiraan kerusakan tambahan dievaluasi, dan jika perkiraan kerusakan tambahan berlebihan dibandingkan manfaat militer, serangan tidak dilakukan
Otomatisasi perhitungan kerusakan tambahan
- Menurut para sumber, perhitungan jumlah warga sipil yang diperkirakan tewas bersama target di tiap rumah juga dilakukan dengan alat otomatis dan tidak akurat
- Dalam perang sebelumnya, personel intelijen menghabiskan banyak waktu untuk memeriksa berapa banyak orang berada di rumah yang akan dibom, dan angka itu dicatat dalam “target file”
- Setelah 7 Oktober, verifikasi menyeluruh seperti ini sebagian besar dihentikan dan diganti dengan otomatisasi, kata mereka
- Metode yang dijelaskan para sumber adalah model yang memperkirakan jumlah penghuni tiap rumah sebelum perang berdasarkan ukuran bangunan dan daftar penghuni, lalu mengurangi angka tersebut sesuai persentase warga yang mengungsi dari lingkungan itu
- Misalnya, jika diperkirakan separuh warga lingkungan telah pergi, rumah yang biasanya dihuni 10 orang dihitung berisi 5 orang
- Demi menghemat waktu, militer dikatakan tidak memeriksa jumlah penghuni saat ini melalui pengawasan aktual terhadap rumah seperti dalam operasi sebelumnya
- Seorang sumber mengatakan model ini tidak terhubung dengan kenyataan, dan penghuni terdaftar sebelum perang tidak cocok dengan orang yang benar-benar berada di dalam rumah selama perang
- Sumber yang sama menjelaskan bahwa militer mengetahui kemungkinan kesalahan ini, tetapi mengadopsi model yang tidak akurat karena lebih cepat
Ketiadaan verifikasi real-time dan berkurangnya pemeriksaan pascapengeboman
- Para sumber mengatakan bisa ada jeda waktu yang signifikan antara saat sistem pelacakan seperti Where’s Daddy? memberi tahu target pulang dan saat pengeboman benar-benar dilakukan, sehingga ada kasus seluruh keluarga tewas tanpa target berada di sana
- Tiga sumber intelijen mengatakan mereka menyaksikan kasus militer Israel mengebom rumah keluarga, tetapi kemudian diketahui bahwa sasaran pembunuhan tidak berada di dalam rumah
- Seorang sumber menjelaskan ada kasus rumah tetap dibom karena target berada di sana beberapa jam sebelumnya; kadang lokasi diperiksa ulang, tetapi kadang tidak
- Sumber lain mengatakan target terdeteksi berada di rumah pada pukul 8 malam, tetapi angkatan udara mengebom pada pukul 3 pagi; sementara itu target pindah bersama keluarganya ke rumah lain, dan di bangunan yang dibom terdapat dua keluarga lain dengan anak-anak
- Dalam perang Gaza sebelumnya, setelah pembunuhan human target dilakukan prosedur BDA, yaitu penilaian kerusakan akibat pengeboman, tetapi para sumber mengatakan dalam perang saat ini prosedur ini dihapus untuk menghemat waktu pada serangan terhadap militan berpangkat rendah yang ditandai AI
- Para sumber mengatakan dalam serangan terhadap tersangka target Hamas·PIJ berpangkat rendah, mereka tidak mengetahui jumlah sebenarnya korban sipil, dan juga tidak mengetahui apakah targetnya sendiri tewas
1 komentar
Komentar Hacker News
Sudah sejak lama akademisi seperti Didier Bigo menyuarakan kekhawatiran tentang penargetan individu hanya berdasarkan keterkaitan tidak langsung dengan “teroris” atau “penjahat”
Awalnya istilah ini dipakai dalam konteks pengawasan yang terungkap lewat bocoran Snowden, dan orang-orang yang, misalnya, berada dalam jarak hingga 3 tingkat dari sosok yang teridentifikasi ikut dijadikan target, sehingga makna proses hukum yang semestinya maupun pengawasan bertarget menjadi runtuh
Kini sistem AI semacam itu dipakai bukan sekadar untuk pengawasan, melainkan benar-benar untuk membunuh orang
Hukum humaniter internasional melarang pembunuhan terhadap orang yang bukan kombatan atau “kombatan” kelompok bersenjata. Hanya orang yang memiliki “fungsi berkelanjutan” yang “berpartisipasi langsung” dalam permusuhan yang dapat diserang kapan saja
Artinya, hanya anggota organisasi bersenjata Hamas yang dapat menjadi sasaran serangan, sedangkan perekrut, pembuat senjata, petugas propaganda, pengelola dana, dan sejenisnya harus ditangkap atau diadili. Jika tidak, bahkan dalam perang reguler sekalipun hampir semua warga sipil bisa menjadi target, seperti pegawai bank yang memberikan pinjaman kepada militer
Yang membuat Lavender menakutkan adalah sistem ini memungkinkan Israel menargetkan secara massal orang-orang yang dilindungi dari serangan menurut hukum internasional, sambil hanya memberi pembenaran politik yang tipis berupa keterkaitan dengan teroris
https://www.icrc.org/en/doc/assets/files/other/icrc-002-0990...
Salah satu penggunaan awal komputer oleh Jerman pada Perang Dunia II juga adalah membuat dan memproses daftar orang yang akan dikirim ke kamp konsentrasi. Perbedaannya hari ini hanyalah bahwa kita dapat mengumpulkan dan memproses lebih banyak data, lebih cepat, dan dalam skala lebih besar
Tentu saja, agar tidak ada yang mengorek dan bertanya, semuanya diklasifikasikan sebagai rahasia dan aksesnya dibatasi
Dalam artikel Guardian, juru bicara IDF mengatakan sistem ini memang ada tetapi hanya digunakan untuk keperluan elektronik, dan mungkin memang begitu niat awalnya atau persepsi di tingkat atas. Namun dalam praktiknya, rasanya sistem itu berubah menjadi yang kedua
Bagaimanapun, sebagian besar penduduknya memiliki kewajiban dinas IDF
Hukum internasional mengizinkan penargetan infrastruktur semacam itu jika keuntungan militer yang diperoleh sebanding dengan kematian warga sipil
Jadi kesimpulannya, Anda tidak bisa menargetkan individu, tetapi menurut hukum internasional menyerang gedung itu saat mereka berada di dalamnya boleh saja jika secara militer bernilai
Saya tidak menyangka akan sampai berpikir seperti ini, tetapi saya jadi bertanya-tanya apakah orang-orang yang membuat dan mengembangkan perangkat lunak ini harus diadili atas pembunuhan atau kejahatan terhadap kemanusiaan
Saya memahami bahwa AI dalam bentuknya saat ini adalah teknologi yang sama sekali tidak boleh berada di dekat penggunaan seperti ini
Model inferensi pada dasarnya cukup nondeterministik dalam arti kita bisa mengevaluasi secara tepat untuk hasil spesifik yang diinginkan, dan untuk mencapai akurasi yang rendah sekalipun dibutuhkan data pelatihan berskala besar. Padahal data pelatihan semacam itu kemungkinan besar tidak ada, dan rasanya seluruhnya dibangun di atas halusinasi raksasa
Saya akan terkejut jika model AI ini akurat sampai 10%, dan tidak akan terkejut jika akurasinya di bawah 1%. Dari yang saya baca, akurasi tampaknya bahkan bukan inti persoalannya
Artikel Guardian https://www.theguardian.com/world/2024/apr/03/israel-gaza-ai... membuat saya bahkan mempertanyakan apakah pengembangan AI itu sendiri seharusnya diizinkan
Aplikasi khusus ini beserta pembenarannya terasa seperti salah satu contoh paling terang-terangan dari penyalahgunaan yang disengaja atas teknologi yang sudah terungkap ke publik. Apakah ini penilaian yang naif
Di tengah-tengahnya ada juga hal seperti pohon keputusan yang memberikan hasil yang dapat dijelaskan
“AI” adalah perangkat untuk kemudian membenarkan tindakan genosida tertentu, dan dalam kenyataannya lebih mirip pembantaian membabi buta gaya lama yang digerakkan oleh kemarahan dan rasisme
Lalu mereka akan mengklaim tidak bertanggung jawab dan menyalahkan hantu di dalam mesin
Betapapun buruknya kisah ini membuat Israel terlihat, tetap saja ini terbaca seperti upaya menghindari tanggung jawab dengan narasi bahwa setidaknya mereka berusaha membunuh kombatan
Sejak awal sudah jelas bahwa tujuannya adalah membuat kehidupan di Gaza mustahil dengan menargetkan jurnalis, tenaga medis, dan orang-orang yang terlibat dalam distribusi bantuan
Jika memang ada kebijakan untuk secara sengaja membunuh jurnalis, pekerja bantuan, dan tenaga medis, jumlah korban tewas pasti jauh lebih banyak
Jika tidak menyadari bahwa Hamas menggunakan peran-peran seperti itu sebagai kedok operasi, berarti amat naif atau berat sebelah
Saya tidak sedang membenarkan tindakan Israel; tindakan-tindakan itu kacau, tetapi berdasarkan bukti sejauh ini, menurut saya klaim awal itu jelas keliru
Fakta bahwa kita membicarakan hal ini sendiri kemungkinan besar bukan kebetulan, dan ini terlihat seperti strategi untuk meyakinkan warga Israel agar tidak ragu karena militer unggul secara teknologi dan tahu apa yang sedang dilakukannya
Dengan atau tanpa AI, mereka tetap akan melakukan genosida dan melanggar semua hukum humaniter internasional, tetapi bagi orang-orang yang masih percaya bahwa genosida itu dibenarkan, ini bisa memberi efek pemolesan citra
Gagasan bahwa AI dapat digunakan untuk mengambil keputusan membunuh seseorang secara preemptive terasa mengganggu
Misalnya, seperti navigasi mobil otonom, komputer mungkin sudah secara pasif mengambil keputusan yang membunuh orang. Dalam kasus ini katanya ada prosedur persetujuan manusia, tetapi tinggal selangkah lagi menuju situasi robot membunuh manusia tanpa campur tangan manusia, dan itu juga tinggal selangkah dari alur cerita Terminator
Saya penasaran apa alternatifnya dalam kasus seperti ini. Saya hampir tidak tahu strategi militer, tetapi tanpa AI, saya tidak tahu apakah Israel akan memilih lebih sedikit target atau justru memilih target dengan lebih sembarangan
Sepertinya ada juga salah baca setelah membaca artikel ini, seolah-olah jika Israel tidak memakai AI maka mereka tidak akan menjatuhkan bom sama sekali; melihat bahwa ini terjadi di tengah perang, itu jelas kecil kemungkinannya. Dalam perang, orang-orang mati, termasuk orang tak bersalah, dan itulah sebabnya semua orang membenci perang dan berharap perang saat ini berakhir secepat mungkin
Ketiadaan pengawasan seperti itu dibiarkan terjadi meskipun dalam pemeriksaan internal akurasi perhitungan Lavender dianggap hanya 90%; dengan kata lain, mereka tahu sejak awal bahwa 10% target manusia yang ditetapkan untuk dibunuh bukan anggota organisasi militer Hamas
Jadi tidak ada prosedur persetujuan manusia. Kebijakannya sendiri mungkin memang diperintahkan oleh seseorang, tetapi target pembunuhan yang terus dihasilkan pada dasarnya disetujui hanya berdasarkan prediksi sistem AI
Kalimat “demi menghemat waktu dan memungkinkan produksi massal target manusia tanpa hambatan” terdengar sangat distopis
Dengan begitu, AI kecil pun tidak akan diperlukan
Pernyataan bahwa alternatifnya bisa lebih buruk mungkin juga benar. Orang-orang yang membuat Lavender mungkin bahkan bisa membuktikannya dengan data
Namun dalam kondisi apa pun, harus ada tekanan moral bahwa manusia harus tetap berada di dalam prosedur. Upaya pembenaran seperti itu tidak akan menarik perhatian publik sebesar adegan kiamat ala SkyNet yang terjadi di atas kepala warga sipil Gaza
Jika memulai dari sudut pandang bahwa kita tidak akan membuat Torment Nexus, maka tidak membuat Torment Nexus menjadi jauh lebih mudah
Banyak orang mungkin hanya membaca judul lalu lewat, tetapi tolong baca isi artikelnya
Paragraf kedua berbunyi: “Selain berbicara tentang penggunaan sistem AI bernama Lavender, sumber-sumber intelijen menyatakan bahwa pejabat militer Israel mengizinkan sejumlah besar warga sipil Palestina terbunuh, terutama pada pekan-pekan dan bulan-bulan awal konflik”
Saya sarankan mendengarkan seluruh musim podcast Serial kali ini
“Mereka memproses data dalam jumlah besar untuk dengan cepat mengidentifikasi calon agen ‘tingkat rendah’ yang akan dijadikan target. Empat sumber intelijen mengatakan bahwa pada suatu titik di awal perang, Lavender telah membuat daftar hingga 37.000 laki-laki Palestina yang dikaitkan oleh sistem AI dengan Hamas atau PIJ”
Ini tidak jauh berbeda dari cara pada 2001 memilih orang yang akan dikirim ke Guantanamo atau penjara yang lebih rahasia, lalu membom lokasi mereka
Lebih dari apa pun, rasanya seperti para engineer di militer, sebagaimana di dunia korporat, melebih-lebihkan jargon AI dan pada dasarnya melakukan hal yang sama seperti yang mereka lakukan sebelum AI ada
Jika Anda mengirim uang lewat akun PayPal ke akun yang diidentifikasi sebagai ISIS, lembaga tiga huruf Amerika Serikat akan segera mendatangi Anda. Dari kesaksian pengguna, ini terdengar persis seperti itu. Yang memutuskan apakah suatu tempat akan dibom atau tidak bukan AI, melainkan manusia
“NSA targets SIM cards for drone strikes, ‘Death by unreliable metadata’”
https://www.computerworld.com/article/2475921/whistleblower-...
“Kami tidak hanya tertarik membunuh agen [Hamas] ketika mereka berada di dalam bangunan militer atau terlibat dalam aktivitas militer,” kata seorang perwira intelijen A. kepada +972 dan Local Call.
“Sebaliknya, IDF mengebom mereka di rumah tanpa ragu, dan itu adalah opsi pertama. Jauh lebih mudah mengebom rumah keluarga. Sistem ini dibuat untuk menemukan mereka dalam situasi seperti itu.”
Di Gaza tinggal sekitar 2 juta warga sipil, dan banyak di antaranya tidak punya akses ke makanan, air, obat-obatan, atau tempat berlindung yang aman. Sebagian dari orang-orang malang itu tinggal di atas atau di bawah agen Hamas dan keluarganya.
Jadinya seperti, “Oh, maaf wkwk”, “Bukan sengaja kok wkwk beneran”, “Doktrin kami bilang boleh membunuh X warga sipil untuk tiap 1 agen musuh, jadi jangan khawatir.”
Perang Gaza berbeda dari Ukraina. Penduduk desa di Ukraina dan Rusia bisa bergerak dari garis depan ke arah pihak Rusia atau ke arah Galicia barat, dan pusat-pusat populasi utama juga tidak diratakan sepenuhnya.
Di Gaza, tampaknya siapa pun bisa mati kapan saja, karena alasan apa pun atau tanpa alasan sama sekali. “Strategi” Israel membuat bahkan Ukraina dan Rusia terlihat seperti teladan pengendalian diri dan peradaban.
Namun perang ini juga menunjukkan bahwa Hamas tidak mengikuti aturan dan menempel terlalu dekat dengan warga sipil.
Saya penasaran seberapa akurat teknologi ini sebenarnya, atau apakah mereka hampir tidak peduli pada hasil dan lebih peduli pada citra yang tampak canggih.
Di satu sisi, membayangkan teknologi seperti ini ada memang menakutkan, tetapi di sisi lain keluarannya bisa saja sangat bias sampai hanya menjadi tumpukan sampah.
Yang lebih menakutkan adalah bukti bahwa para penguasa tidak peduli pada “akurasi”, melainkan pada pembenaran yang mengonfirmasi bias mereka. Memang selalu begitu, tetapi fakta bahwa ini diperluas dengan AI jauh lebih mematikan.
Dulu batasnya adalah jumlah manusia yang bisa berbohong, sekarang batasnya adalah seberapa cepat kotak hitam ajaib bisa berjalan.
Orang ini tidak bersenjata, dan pekerjaannya adalah memberi tahu otoritas Israel ke mana tim amal akan pergi agar perjalanan mereka dibukakan jalan; keluarganya di Inggris telah mengonfirmasi kematiannya. Jadi wajar jika dalam situasi seperti ini orang bertanya siapa yang menyetujui pembunuhan terarah tersebut.
Dari foto setelah kejadian, rudal menembus atap kendaraan, ironisnya tepat di samping logo badan amal pangan yang tampak jelas di atas kendaraan.
Menteri Pertahanan Israel kini mengklaim itu adalah kesalahan, tetapi menurut investigasi, jika itu memang mengenai target yang sebenarnya, aturan keterlibatan mungkin saja mengizinkan 15–100 kematian kolateral yang tidak terkait.
Terutama jika sulit mengaudit bagaimana “AI” sampai pada kesimpulannya. Sekarang siapa pun bisa menjadi target.
Ini mirip polisi AS yang mengatakan “tercium bau ganja” atau anjing pelacak “memberi sinyal”. Itu menyediakan sarana untuk membenarkan penggeledahan apa pun—atau dalam kasus ini, pembunuhan apa pun. Mesin akan terus menggiling.
Pada 2018, CEO Google Sundar Pichai, SVP Diane Greene, SVP Urs Hölzle, dan insinyur utama Jeff Dean membuat sistem seperti Lavender untuk militer AS. Namanya Project Maven.
Militer AS hendak memakai sistem ini untuk menganalisis rekaman drone pengawasan massal dan memilih tersangka yang akan dibunuh di Pakistan. Itu setelah mereka sebelumnya menjatuhkan bom ke ratusan rumah dan kendaraan, membunuh ribuan tersangka beserta keluarga dan teman-teman mereka [0].
Saat itu saya bekerja di divisi Google Technical Infrastructure milik Urs. Saya membaca proyek itu di berita, dan dalam rapat terkait, Urs berbohong kepada kami bahwa nilai kontraknya hanya 9 juta dolar. Padahal sudah meningkat menjadi 18 juta dolar dan sedang menuju 270 juta dolar.
Urs dan Jeff Dean berusaha mengecilkan dampak dari apa yang mereka lakukan. Jeff Dean terus berkedip saat mengecilkan dampaknya, lalu begitu mulai membicarakan aspek teknis, ia tiba-tiba berhenti berkedip. Pada saat itu saya kehilangan semua rasa hormat terhadap dia dan kepemimpinan perusahaan.
Kehebatan dalam rekayasa dan bisnis tidak otomatis disertai kematangan moral. Sayangnya, masyarakat kita tidak terstruktur untuk memastikan para pemimpin mendapat pendidikan moral yang mereka butuhkan, atau untuk menyingkirkan mereka ketika mereka gagal total dalam penilaian moral.
[0] https://en.wikipedia.org/wiki/Drone_strikes_in_Pakistan
Guardian juga menaruh cerita ini di halaman depan, dan telah menerima detailnya sebelum terbit.
https://www.theguardian.com/world/2024/apr/03/israel-gaza-ai...
Secara pribadi, saya melihat cerita seperti ini sebagai urusan kepentingan publik. Saya tidak akan memintanya secara langsung, tetapi saya berharap flag-nya dicabut dan diskusinya bisa berjalan.
Semoga flag-nya dicabut dan digabung. Ini tampak seperti cerita penting tentang cara baru penggunaan teknologi.
[0] https://news.ycombinator.com/item?id=39917727