Masalah Silicon Valley Pentagon

 (harpers.org)
1 poin oleh GN⁺ 2024-03-29 | 1 komentar | Bagikan ke WhatsApp
  • Organisasi pertahanan dan intelijen AS serta Israel mengedepankan AI dan teknologi Silicon Valley sebagai terobosan dalam pengambilan keputusan perang, tetapi berbagai contoh menunjukkan bahwa keyakinan teknologis berulang kali berbenturan dengan kegagalan di lapangan
  • Shin Bet mengatakan telah mengintegrasikan AI generatif layaknya “co-pilot” dalam pengambilan keputusan, tetapi serangan Hamas pada 7 Oktober 2023 mengejutkan sistem pertahanan dan intelijen Israel meski ada rekaman pengawasan, latihan terbuka, laporan internal, dan dokumen pendahuluan
  • Di sektor pertahanan AS, Igloo White, Assault Breaker, Future Combat Systems, dan Secure Border Initiative Network mencoba mengendalikan medan perang dengan komputasi dan sensor, tetapi setelah menelan biaya besar semuanya gagal atau dibatalkan
  • Berbeda dari citranya yang pasif terhadap AI, Pentagon mendukung sedikitnya 686 proyek AI, dan pada 2022 memberikan kontrak Joint Warfighting Cloud Capability bernilai hingga 9 miliar dolar kepada perusahaan teknologi besar
  • Google, Amazon, Microsoft, Palantir, dan Anduril telah masuk jauh ke pasar pertahanan, tetapi kasus Project Maven, IVAS, Roadrunner, dan Palantir memperlihatkan bahwa AI militer membawa serta kontroversi etika, keterbatasan kinerja, klaim pemasaran yang dilebih-lebihkan, dan masalah halusinasi

Serangan 7 Oktober yang terlewat oleh AI

  • Tiga bulan sebelum serangan Hamas, Direktur Shin Bet Ronen Bar mengumumkan bahwa badan keamanan internal itu telah mengembangkan platform AI generatif mirip ChatGPT dan mengintegrasikannya secara mulus ke dalam “interdiction machine”
  • Sistem ini dirancang untuk menganalisis perilaku dan memprediksi risiko berdasarkan pergerakan target, teman, keluarga, aktivitas, ucapan, dan unggahannya, lalu menaikkan peringatan
  • Serangan Hamas pada 7 Oktober 2023 sepenuhnya mengejutkan Shin Bet dan sistem pertahanan Israel bernilai miliaran dolar
    • Hamas secara terbuka melakukan latihan terhadap model pagar perbatasan dan permukiman Israel
    • Kelompok bersenjata yang dipimpin Hamas mengunggah video latihan secara online
    • Warga Israel di dekat perbatasan mengamati latihan itu dan memberi peringatan, tetapi diabaikan
    • Prajurit wajib militer Israel yang memantau kamera pengawas perbatasan Gaza mengajukan laporan rinci tentang persiapan menerobos pagar dan menculik sandera, tetapi ditolak sebagai “skenario imajinatif”
    • Badan intelijen Israel telah memiliki dokumen Hamas yang merinci rencana serangan selama lebih dari setahun
  • Anggota Hamas menyesuaikan diri dengan metode intelijen Israel, menyalurkan data yang ingin didengar Israel melalui sumber-sumber informasi yang mereka ketahui
    • Mereka mengirim sinyal bahwa Hamas di Gaza berfokus pada perbaikan ekonomi lokal melalui akses ke pasar tenaga kerja Israel
    • Mereka memberi kesan bahwa Hamas tertahan oleh kekuatan militer Israel yang luar biasa
  • Kegagalan ini memperlihatkan kontras antara keyakinan seolah AI “mengetahui segalanya tentang teroris” dan batasannya yang tidak mengetahui apa yang benar-benar dipikirkan target

Optimisme AI pertahanan dan realitas Pentagon

  • Michèle Flournoy menulis di Foreign Affairs bahwa AI akan mengubah cara medan perang beroperasi, deteksi ancaman, pemeliharaan sistem senjata, dan estimasi biaya keputusan strategis
  • Birokrasi Pentagon sering disebut sebagai penghalang masuknya perusahaan teknologi ke sektor pertahanan, tetapi sulit menyebut Pentagon sebagai organisasi yang tidak tertarik pada AI
    • Diketahui telah mendanai sedikitnya 686 proyek AI
    • Pada 2022, melalui kontrak Joint Warfighting Cloud Capability, Pentagon memberikan proyek bernilai hingga 9 miliar dolar kepada perusahaan teknologi besar
    • Seorang pejabat Pentagon mengatakan kontrak ini akan “turbocharge” solusi AI
  • Gamechanger adalah proyek AI yang dirancang agar pegawai Pentagon dapat menemukan apa yang sebenarnya dilakukan organisasi raksasa itu dan ke mana uangnya mengalir
    • Siaran pers Joint Artificial Intelligence Center pada awal 2022 menyebut sumber yang ditulis “28 Authoriative Sources”
    • Seorang pejabat akuntansi senior Pentagon berharap Gamechanger diterapkan untuk meningkatkan visibilitas dan pemahaman atas keseluruhan data anggaran
  • Meski begitu, Pentagon kembali gagal lolos audit keuangan pada 2023, menjadi kegagalan enam tahun berturut-turut
  • Narasi bahwa tokoh industri teknologi akan merevolusi sistem militer berujung pada mitos bahwa bahkan sistem pertahanan yang terkenal boros, berkinerja buruk, dan terkait kekalahan perang pun dapat diperbaiki secara mendasar

Kegagalan berulang dalam mencoba mengendalikan medan perang dengan komputasi

  • Dalam cara AS menjalankan perang, keyakinan bahwa software dapat memecahkan masalah konflik manusia sudah lama mengakar

  • Igloo White

    • Pada 1967–1972, Angkatan Udara AS memasang sensor dalam skala besar di sekitar Ho Chi Minh trail di hutan Asia Tenggara
    • Operasi ini berupaya mendeteksi aktivitas manusia dari suara langkah kaki, bau amonia dalam urine, dan sinyal elektronik pengapian mesin, lalu mengirim informasinya ke komputer IBM di pangkalan rahasia Thailand untuk memetakan jalur pasokan
    • Biayanya sedikitnya ratusan juta dolar per tahun, tetapi berakhir sebagai kegagalan total
    • Pasukan Vietnam menggantung ember urine di pohon di luar jalan, atau menggiring ternak ke jalur yang tidak digunakan agar komputer memprosesnya sebagai pergerakan musuh
    • Pada 1972, pasukan Vietnam Utara melancarkan ofensif dengan ratusan tank, tetapi Igloo White sama sekali tidak mendeteksinya dan operasi itu segera dihentikan

  • Assault Breaker dan program setelahnya

    • Setelah penarikan dari Vietnam, AS menggelontorkan dana besar ke Assault Breaker, yang menggunakan radar udara untuk mengintip garis belakang Soviet di Eropa Timur
    • Dalam pengujian, sistem ini tidak mampu membedakan tank, mobil, dan pohon yang bergoyang tertiup angin, lalu dibatalkan pada dekade berikutnya
    • Future Combat Systems mengusung gagasan menghubungkan sensor dan senjata dengan prosesor berkinerja tinggi sehingga target dapat dihancurkan dengan mudah sampai-sampai lapis baja defensif tidak lagi diperlukan, tetapi berakhir tanpa hasil setelah menghabiskan hampir 20 miliar dolar
    • Secure Border Initiative Network milik Department of Homeland Security dipromosikan sebagai “pagar virtual” yang menghubungkan radar, kamera, dan sensor pengawasan, tetapi dibatalkan pada 2011
    • Boeing adalah kontraktor utama untuk Future Combat Systems dan Secure Border Initiative Network, dan kegagalan seperti ini kontras dengan harapan bahwa inovasi cepat ala Silicon Valley dapat menggantikan kegagalan kontraktor pertahanan lama

Penyatuan kembali Silicon Valley dan kompleks industri-militer

  • Industri Silicon Valley memiliki hubungan mendalam dengan industri elektronik yang tumbuh di bawah dukungan Pentagon
    • Sirkuit terpadu, inti komputer modern, pertama kali diproduksi Texas Instruments pada 1958, dan anggaran pertahanan mendorong pengembangannya
    • Penerapan awalnya adalah sistem pemandu rudal nuklir antarbenua Minuteman II
  • Kurang dari sebulan setelah Apple Computer melantai di bursa pada Desember 1980, valuasinya melampaui Ford, dan Macintosh diperkenalkan dengan citra pembebasan yang memberi individu daya komputasi setingkat perusahaan
  • Pemisahan dari pertahanan tidak pernah sepenuhnya terjadi
    • Internet berasal dari ARPANET yang dikembangkan oleh Advanced Research Projects Agency milik Pentagon
    • Riset awal pendiri Google Larry Page dan Sergey Brin di Stanford sebagian didanai oleh lembaga Pentagon yang sama, yang kemudian menjadi DARPA
    • Google Earth bermula dari Keyhole EarthViewer, yang sebagian didanai oleh organisasi modal ventura CIA, In-Q-Tel, lalu kemudian diakuisisi Google
  • Setelah membangun kekayaan lewat pendirian bersama PayPal dan investasi awal di Facebook, Peter Thiel mengambil arah untuk membawa kompleks industri-militer kembali ke Silicon Valley
  • Palantir didirikan pada 2003 dan menyediakan software untuk mendeteksi serta menyampaikan pola data secara visual, berbasis teknologi deteksi penipuan PayPal
    • CIA adalah investor awal melalui In-Q-Tel
    • Banyak kontrak awalnya diketahui berasal dari badan intelijen
    • Ada klaim bahwa Palantir berperan besar dalam mendeteksi GhostNet dan tempat persembunyian Osama bin Laden, tetapi tidak ada bukti yang mendukungnya
    • Meski ditentang pejabat militer tinggi, Palantir mempromosikan teknologinya melalui perwira Army tingkat menengah dan anggota parlemen sekutu

Organisasi inovasi pertahanan dan Project Maven

  • Robert O. Work memperingatkan bahwa AS telah kehilangan keunggulan teknologi yang pernah dinikmatinya dalam senjata nuklir dan senjata berpemandu presisi, sementara China dan Rusia telah mengejar ketertinggalan
  • Pada 2014, Menteri Pertahanan Chuck Hagel mengumumkan Defense Innovation Initiative yang diawasi Work, dan mengatakan akan secara aktif mencari proposal dari perusahaan dan akademisi di luar ranah tradisional Departemen Pertahanan
  • Ash Carter berulang kali mengunjungi kawasan teknologi, dan pada 2015 mendirikan Defense Innovation Unit Experimental di Mountain View, dekat kantor pusat Google dan Apple
    • Kemudian “Experimental” dihapus dari namanya
    • Department of Homeland Security juga mendirikan kantor satelit di dekatnya untuk membangun hubungan dengan perusahaan teknologi Silicon Valley
  • Pada 2016, Carter membentuk Defense Innovation Advisory Board yang dipimpin Eric Schmidt, dan Schmidt kemudian memimpin National Security Commission on Artificial Intelligence, dengan Work sebagai wakil ketua
  • Project Maven adalah program yang dibuat Work, dengan tujuan mempercepat integrasi big data dan machine learning di Pentagon
    • Pada 2017, Google mendapatkan kontrak untuk mengembangkan alat yang memproses aliran tanpa henti rekaman drone dan mengidentifikasi target
    • Menurut email internal yang bocor ke Gizmodo, keterlibatan Google tidak boleh dipublikasikan tanpa izin perusahaan
    • Kepala ilmuwan AI Google Cloud Fei-Fei Li mengirim email agar menghindari penyebutan atau isyarat tentang “AI”
    • Setelah kontrak itu diketahui, sekitar 4.000 karyawan Google menandatangani petisi yang menuntut kebijakan jelas bahwa Google maupun kontraktornya tidak akan membuat teknologi perang, dan sebagian mengundurkan diri

Keterbatasan kinerja yang terungkap setelah Maven dan perpindahan ke subkontraktor

  • Sumber input video Project Maven adalah sistem pod kamera Gorgon Stare yang dipasang pada drone Reaper
  • Gorgon Stare dipromosikan seolah bisa melihat segalanya, tetapi laporan unit uji Eglin Air Force Base pada 2011 menunjukkan sejumlah cacat
    • Kamera tidak dapat menemukan dan mengidentifikasi target dengan mudah
    • Laju transmisinya terlalu lambat
    • Unit uji menyimpulkan sistem itu “tidak efektif secara operasional” dan merekomendasikan agar tidak dikerahkan ke Afghanistan, tetapi Angkatan Udara tetap mengerahkannya
  • Seorang mantan pilot tempur sekaligus analis Pentagon mengatakan automatic target recognition (ATR) tetap tidak berfungsi meski sudah menelan biaya selama bertahun-tahun
  • Veteran tempur lain yang menangani masalah terkait di sebuah lembaga Pentagon menilai para pengembang AI tampaknya tidak memahami sebagian kebutuhan militer
    • Dalam eksperimen DARPA, satu regu Marines mengubah siluet tubuh mereka untuk menghindari deteksi robot yang dikendalikan AI
    • Dua orang bergerak di dalam kotak kardus besar, yang lain melakukan gerakan salto, dan satu orang memakai cabang pohon cemara
    • Semuanya melewati area terbuka, mendekati robot, lalu menyentuhnya tanpa terdeteksi
  • Setelah Google keluar dari Maven, Microsoft, Amazon, Palantir, dan lainnya mengambil alih sebagai subkontraktor
    • Fakta ini ditemukan oleh Jack Poulson, yang keluar dari Google
    • Poulson kemudian memulai Tech Inquiry untuk melacak kontrak Defense Innovation Unit dan organisasi terkait

Kontrak cloud dan hilangnya jarak antara teknologi dan pertahanan

  • Mundurnya Google dari Maven memicu reaksi keras dari kubu teknologi pertahanan
    • Peter Thiel menyebut sikap Google “pengkhianatan”
    • Eric Schmidt mengatakan tidak setuju dengan keputusan itu
    • Jeff Bezos mengatakan AS akan berada dalam kesulitan jika perusahaan teknologi besar berpaling dari Department of Defense
  • Pada 2013, Amazon memenangkan kontrak 10 tahun senilai 600 juta dolar dari CIA untuk menyediakan cloud AWS bagi keperluan badan intelijen
  • Cloud computing menjadi lini pendapatan baru bagi perusahaan seperti Amazon, Microsoft, Oracle, dan Google
  • Google, dengan meninggalkan kekhawatiran moral saat kontroversi Maven, mengajukan penawaran untuk mendapatkan bagian dari kontrak Joint Warfighting Cloud Capability bernilai hingga 9 miliar dolar
  • Sambil meraup laba besar dari layanan komersial, perusahaan-perusahaan mulai melihat pemerintah sebagai sumber pendapatan yang stabil dan kaya, dan jarak antara industri teknologi dan Pentagon pun cepat menghilang

Anduril, Roadrunner, IVAS

  • Dalam perang Ukraine, dampak drone banyak dibahas, tetapi banyak drone yang umum dan efektif di kedua pihak lebih menyerupai perangkat sederhana dan murah yang dirakit dari komponen yang bisa diperoleh lewat akun Amazon, lalu membawa bom kecil atau peluru artileri
  • Anduril memperkenalkan Roadrunner pada Desember 2023
    • Drone kecil bertenaga jet ini disebut dapat secara otonom mendeteksi dan menghancurkan ancaman bertenaga jet, termasuk drone, lalu kembali ke pangkalan
    • Menurut Newsweek, harganya berada di kisaran “awal ratusan ribu dolar”
    • Video publik menampilkan Roadrunner menjalankan pengujian dengan sempurna
  • Analis Pentagon Franklin “Chuck” Spinney menilai promosi Roadrunner sebagai “omong kosong pemasaran” dan merasa heran bahwa dalam adegan mendarat dengan ekor lebih dulu di gurun, saluran buangnya hampir tidak membuat kolom debu
  • Anduril adalah perusahaan yang dibuat Palmer Luckey; Luckey mengembangkan Oculus dan menjualnya ke Facebook seharga 3 miliar dolar sebelum berfokus pada bidang pertahanan
    • Anduril mengatakan akan membuat model 3D sempurna untuk area luas dengan platform fusi sensor berbasis AI
    • Luckey memprediksi prajurit masa depan akan menjadi “superhero” dengan “kemahatahuan sempurna”, mengetahui lokasi semua musuh, kawan, dan aset di area operasi
  • Army menandatangani kontrak 21,9 miliar dolar dengan Microsoft pada 2021 untuk Integrated Visual Augmentation System(IVAS) berbasis HoloLens
    • Laporan Direktur Uji dan Evaluasi Operasional Pentagon pada 2023 menyatakan banyak prajurit uji melaporkan setidaknya satu cedera fisik seperti disorientasi, pusing, kelelahan mata, sakit kepala, mabuk gerak, mual, beban pada leher, dan tunnel vision
    • Para prajurit juga menyebut kinerja cahaya rendah, kualitas tampilan, kerepotan penggunaan, reliabilitas rendah, ketidakmampuan membedakan kawan dan lawan, kesulitan menembak, cedera fisik, dan keterbatasan penglihatan periferal sebagai masalah
    • Congress menahan sebagian besar anggaran pengadaan, tetapi Army membayar tambahan 125 juta dolar kepada Microsoft untuk memperbaiki sistem, sehingga total label harga naik hingga tepat di bawah 23 miliar dolar
    • Army mengklaim bahwa dalam uji internal atas sistem yang telah diperbaiki, umpan balik prajurit positif

Boom AI, Palantir, dan halusinasi

  • Setelah ChatGPT dirilis, Microsoft melihat peluang yang lebih besar, tetapi skeptisisme terhadap kemampuan AI juga tetap ada
  • Kepala ilmuwan AI Meta Yann LeCun menilai peringatan tentang ancaman mesin supercerdas masih terlalu dini, mengingat saat ini bahkan belum ada rancangan sistem yang sebanding dengan kemampuan belajar setingkat kucing
  • Salah satu pendiri Orso Partners Nate Koppikar menilai keadaan industri teknologi sejak 2016 mendekati “omong kosong”
    • Sektor teknologi kehilangan uang dan memangkas tenaga kerja setelah gelembung yang pecah pada akhir 2021
    • Kerugian investor industri diperkirakan sekitar 7,4 triliun dolar
    • Ia mengatakan janji bahwa AI adalah “hal besar berikutnya” tiba-tiba sedang dijual
    • Ia melihat ketakutan terhadap robot AI sebagai bagian dari kampanye pemasaran yang membuat orang percaya pada kekuatan teknologi
    • AI memiliki kecenderungan mengarang, cacat yang di industri disebut “halusinasi”
  • Saham Palantir melonjak di tengah demam AI pada 2023, dan CEO Alex Karp secara terbuka mengatakan Palantir “bersama Israel”
  • Google Bard memberikan jawaban dalam bentuk siaran pers profesional yang menyatakan Palantir pada 2019 mengumumkan kemitraan dengan IDF untuk mengembangkan alat AI, tetapi siaran pers tersebut adalah halusinasi yang tidak pernah ada

Bacaan terkait

1 komentar

 
GN⁺ 2024-03-29
Opini Hacker News

  • Contoh dalam artikel tampaknya cukup dipilih-pilih. Sulit menyalahkan kegagalan di Vietnam hanya pada satu IBM 360, dan serangan Hamas mungkin mengejutkan Israel, tetapi Iron Dome adalah teknologi yang bekerja dengan baik dalam beberapa tahun terakhir
    AS memperingatkan siapa pun yang mau mendengar bahwa Rusia akan menyerang Ukraina, dan bom atom pun dibuat oleh para fisikawan yang cukup teoretis

    • Fakta bahwa siapa pun perlu diperingatkan itu sendiri sudah lucu. Terlalu jelas bahwa Rusia telah memutuskan untuk masuk ke Ukraina tepat sebelum atau sesudah Olimpiade
      Mereka tidak mengirim sebagian besar angkatan lautnya mengitari Eropa hingga Laut Hitam hanya untuk iseng. Mengirim pasokan darah ke titik konsentrasi dekat perbatasan juga jelas bukan sesuatu yang dilakukan untuk sekadar latihan atau unjuk kekuatan
    • Organisasi sering gagal dengan menipu diri sendiri. Salah satunya adalah mengira aktivitas sebagai kemajuan
      Inti tulisan ini adalah Pentagon mengira mereka mendanai teknologi, tetapi tidak mendapatkan nilai yang sepadan dengan uang itu. Mereka gagal karena tidak punya kemauan atau kemampuan untuk menggabungkan keahlian, wewenang, dan tanggung jawab dalam kepala satu orang
      Ketika organisasi menyebarkan tanggung jawab, atau memberi wewenang kepada orang yang tidak bisa membedakan aktivitas dari kemajuan, hasilnya selalu pemborosan dan kemandekan. Pada momen langka ketika pemimpin kuat untuk sementara membalikkan entropi organisasi seperti ini, hal-hal ajaib terjadi; menarik untuk membandingkan ULA dan SpaceX, DeepMind dan OpenAI
      Jika kapasitas institusional yang tidak stabil dan keajaiban singkat itu menjadi standar, bukan pengecualian, umat manusia sudah akan berada pada tingkat teknologi yang jauh lebih tinggi
    • Banyak kegagalan hanyalah kegagalan manusiawi dan politis. Teknologi bisa mengaburkan hal yang jelas atau menonjolkan hal yang kecil kemungkinannya, tetapi untuk saat ini belum sering menjadi faktor penentu seperti itu
      AS juga memperingatkan Rusia soal serangan Moskow, tetapi itu diperlakukan sebagai campur tangan politik. Hampir pasti itu adalah intelijen sinyal yang diabaikan
      https://apnews.com/article/russia-intelligence-duty-to-warn-...
    • Pada 21 Februari 2022 saya sedang bersama seorang model Ukraina dan menyebut kemungkinan invasi, tetapi orang itu menanggapinya dengan sangat santai. Saya bingung apakah itu cara menghadapi situasi, keyakinan yang sebenarnya, sekadar bantahan demi membantah, atau pola respons budaya
      Bagi saya, melihat penumpukan pasukan di perbatasan, berbagai pernyataan, ucapan Biden, dan para Republican yang mempolitisasinya tanpa dasar, itu adalah invasi yang terlalu jelas, setara short selling atau pasar prediksi. Seterang kontrak opsi dengan jatuh tempo 0 hari
      Namun reaksi itu terus terpikir oleh saya. Saya tidak tahu bagaimana harus merespons ke depannya. Berdiskusi dengan orang yang punya persepsi realitas berbeda terasa tidak ada gunanya, dan pada akhirnya rasanya hanya tersisa tidak bertindak sama sekali atau bertaruh secara finansial
      Saya suka bertaruh pada apa yang saya yakini, karena imbalannya cukup baik dan tidak apa-apa jika prediksinya meleset. Namun percakapan untuk mencari pemahaman bersama tentang realitas terasa lebih alami, tetapi belakangan ini itu terasa sia-sia
    • Pernyataan bahwa “sistem nirawak udara dan laut harus diadopsi untuk mencegah risiko” ternyata memang akurat jika melihat peristiwa-peristiwa terbaru

  • Menurut saya tulisan ini, seperti banyak liputan media tentang bidang ini, terlalu menggeneralisasi kecerdasan buatan. Aspek prediktif dari machine learning telah digunakan dalam militer modern selama puluhan tahun, dan paragraf pertama secara longgar mengisyaratkan seolah-olah LLM berperan besar dalam kegagalan intelijen serangan 7 Oktober
    Tidak mengejutkan bahwa LLM menjadi bagian dari sistem yang mencakup banyak machine learning. Karena ia adalah antarmuka manusia yang sangat baik. Namun saya sama sekali tidak percaya bahwa perannya cukup besar untuk secara bermakna memikul tanggung jawab atas lolosnya serangan itu
    Machine learning akan terus berperan, akan mengalami keberhasilan dan kegagalan, dan akan makin tidak sempurna saat bersaing dengan machine learning adversarial. Tidak berguna menyalahkan alat yang tidak sempurna sebagai penyebab kegagalan yang tak terhindarkan, dan sulit juga menyebutnya sebagai “masalah” mengingat alternatifnya adalah manusia, yang lebih mudah gagal

    • Menurut saya sebagian dari kebingungan yang terus berlanjut adalah karena industri telah sepenuhnya ikut menyebut LLM sebagai kecerdasan buatan
      Istilah AI jauh lebih berbobot daripada yang kita akui, dan memakai istilah itu untuk LLM membuat maknanya menjadi lebih ringan
      Orang biasa, ketika mendengar AI, mengharapkan jauh lebih banyak daripada algoritma yang mencoba memprediksi dan meniru tulisan manusia, betapapun cerdas dan mengesankannya
      Industri tampaknya sepakat menyebut generasi berikutnya dari algoritma machine learning sebagai “kecerdasan buatan”, karena itu lebih mudah dijual dan menarik jauh lebih banyak pendanaan. Kalau begitu, saya khawatir apa jadinya pertanyaan keselamatan, moral, dan etika yang seharusnya diajukan sebelum membuat AI yang sebenarnya
    • Namun mengkritik klaim yang terlalu muluk yang diajukan tentang alat-alat itu jelas merupakan hal yang berguna

  • “Sistem AI tahu segalanya tentang Hamas. Apa yang mereka katakan, apa yang mereka unggah […] menganalisis tindakan, memprediksi risiko, dan menaikkan peringatan.”
    “Para anggota Hamas yang memahami hal ini memberi musuh data yang ingin didengarnya. Pada akhirnya sistem AI tahu segalanya tentang teroris itu, tetapi tidak tahu apa yang ia pikirkan.”
    Jika lawan bisa melihat semua yang saya lakukan dan mendengar semua yang saya katakan, satu-satunya pertahanan adalah privasi. Dalam novel The Three Body Problem, hal ini didorong hingga ekstrem: satu-satunya privasi ada di dalam pikiran manusia, dan hanya sebagian orang yang dibuat mengambil keputusan berdasarkan strategi yang sama sekali tidak pernah diucapkan. Fiksi ilmiah telah menjadi kenyataan

    • Itu muncul di sekuelnya, The Dark Forest

  • Pelajaran terpentingnya, menurut saya, adalah bahwa tanpa kasus penggunaan yang jelas, hampir mustahil merancang sistem yang baik.
    Ukraina punya kasus penggunaan seperti itu, dan motivasi untuk memecahkannya juga sangat kuat. Orang Ukraina mengendalikan medan perang dengan komputer serbaguna https://en.defence-ua.com/news/how_the_kropyva_combat_contro..., menenggelamkan beberapa kapal perang Rusia dengan drone laut jarak jauh https://www.bbc.com/news/world-europe-68528761, dan baru-baru ini mulai menguji dalam skala besar drone terbang murah dengan pengenalan target berbasis computer vision onboard https://www.forbes.com/sites/davidhambling/2024/03/21/ukrain....
    Sebaliknya, Amerika Serikat sedang berada dalam masa damai. Itu sendiri hal yang baik, tetapi membuatnya terlalu mudah membuang miliaran dolar untuk mengembangkan teknologi yang tampak keren di PowerPoint, tetapi sebenarnya tidak berguna.

    • Ini jelas pelajaran paling penting. Sebagai catatan, ini juga berlaku apa adanya untuk pengembangan perangkat lunak nonmiliter.
    • Orang Ukraina tampaknya menguji prototipe di medan perang, dan membuang desain yang tidak berhasil cukup dini. Saya juga melihat prototipe senapan mesin pelacak otomatis, yang mengingatkan saya pada Aliens 2.
      Desain drone terbang juga dibuat oleh beberapa perusahaan untuk menghindari risiko satu perusahaan hancur akibat serangan rudal Rusia. Saya rasa produk militer lainnya pun serupa.
    • Pada masa perang, pengembangan senjata selalu lebih mudah karena kebutuhan dan dampaknya jauh lebih mudah dipahami, tetapi bukan berarti lebih murah.
      Puluhan miliar dolar tetap akan terbuang, tetapi uang itu akan dipakai untuk membangun kembali gedung, jembatan, infrastruktur, dan kehidupan yang hancur akibat perang.
      Ukraina telah melakukan hal-hal luar biasa dengan teknologi murah yang dirangkai sendiri, tetapi harganya adalah 486 miliar dolar yang dibutuhkan untuk membangun kembali negara tersebut.
      https://www.reuters.com/world/europe/ukraine-needs-486-bln-r...
    • Konsep bahwa Amerika Serikat berada dalam masa damai selalu sulit saya pahami, karena setelah Perang Dunia II negara itu memutuskan untuk mempertahankan militer tetap yang sangat besar.
      Saya tidak tahu sebenarnya di mana garis batas antara bersiap menghadapi perang yang akan segera terjadi dan keadaan masa damai harus ditarik.
    • Kita sekarang melihat apa yang benar-benar digunakan di Ukraina, dan itu bekerja.
      Pasokan munisi tandan dalam jumlah setara Perang Dunia III yang tadinya dijadwalkan untuk dimusnahkan telah diserahkan kepada AFU, dan Bradley, Javelin, Stinger tua, dan lainnya dirancang untuk meledakkan T-72 dan Hind-D—dan memang itulah yang mereka lakukan. Kita juga akan segera melihat apa yang bisa dilakukan oleh hal-hal yang “tampak keren di PowerPoint”.
      Dan sebagian besar efisiensi militer Ukraina berkat berbagi intelijen NATO. Sistem kendali tempur dan drone laut hanya akan menjadi adegan sampingan seandainya NATO tidak memetakan peperangan elektronik, kapal, dan pergerakan pasukan Rusia.

  • Saya tidak bisa berkomentar soal teknologi Israel, tetapi Pentagon punya masalah citra di Silicon Valley, dan bahkan sulit dipercaya perusahaan kontraktor seperti Palantir pun mendapatkan talenta terbaik
    Generasi kami lebih dekat dengan Irak dan Vietnam daripada Perang Dunia II, dan banyak talenta hebat juga merupakan imigran generasi pertama. Teknologi periklanan pun belakangan citranya memburuk, tetapi bekerja di perusahaan konsumen besar masih lebih menarik daripada di bidang pertahanan
    Untuk membuat rekan-rekan mau bekerja bagi pemerintah AS, bahkan secara tidak langsung, mereka harus dibayar lebih mahal, tetapi biasanya justru lebih rendah, dan kebebasan untuk melakukan hal-hal di luar jam kerja juga sering kali lebih terbatas
    Selain itu, jika berkontrak dengan militer untuk AI, kesannya sampai batas tertentu seperti berperan sebagai asuransi kambing hitam. Orang-orang pintar yang memegang komputer yang bisa ditipu disalahkan, sementara orang-orang yang mempekerjakan mereka dan bertindak dengan memprioritaskan sinyal itu di atas sinyal lain tidak disalahkan
    Gagasan bahwa model ChatGPT bisa menjadi faktor penentu untuk mencegah 10/7 akan tampak konyol bagi siapa pun yang bekerja di industri ini. Mungkin satu-satunya pengecualian adalah konsultan yang ingin menjual LLM ke IDF

    • Ketika harus mendapatkan kontrak pemerintah federal bernilai total 7–8 digit agar KPI operasional kuartalan terpenuhi, masalah citra itu menghilang
      Hambatan yang lebih besar adalah pengadaan. Menurut standar federal, pengadaan perangkat lunak relatif sederhana, sehingga startup setelah Series E bisa masuk jika menghabiskan 7–10 juta dolar dan 1–1,5 tahun untuk roadmap khusus kepatuhan FedRAMP dan FIPS
      Begitu keluar dari perangkat lunak, pengadaan berubah menjadi neraka dokumen. Jika ditambah neraka dokumen dari lembaga pemberi hibah R&D seperti DoD dan DoE, jadilah sistem pengadaan semi-Soviet
      Ironisnya, sebagian besar pemeriksaan kepatuhan dan regulasi ini ditambahkan dengan niat baik untuk mengurangi korupsi dan suap, tetapi pada praktiknya justru membekukan seluruh sistem dan membuat startup serta inovator tidak bisa bekerja langsung dengan komunitas pertahanan
      Proyek seperti DIUx dan In-Q-Tel berusaha mengubahnya, tetapi terlalu sedikit dan terlalu terlambat, sementara basis industri pertahanan sepenuhnya bergantung pada perusahaan seperti Microsoft, Cisco, CrowdStrike, dan Zscaler yang mengakuisisi startup menjanjikan lalu menyebarkan inovasi secara internal
    • Bahkan teknisi yang bersedia bekerja untuk pemerintah dengan kompensasi lebih rendah pun menghadapi masalah karena tidak bisa melewati rawa perekrutan yang dibangun Uncle Sam
      Pemerintah federal tidak dirancang untuk merekrut talenta industri dengan cepat. Mereka juga masih sangat terikat pada aturan lama yang mensyaratkan gelar tingkat lanjut untuk jabatan senior
    • Terakhir kali saya cek, banyak perusahaan pertahanan tampaknya juga tidak menawarkan peluang kerja jarak jauh
    • Salah satu masalah besar lainnya adalah pekerja teknologi ingin “mengisap ganja dalam perjalanan ke wawancara”. Itu membuat mereka tidak memenuhi syarat untuk mendapatkan clearance keamanan
    • Saya tidak 100% yakin bahwa mereka tidak sengaja membiarkannya terjadi. Bisa saja itu untuk mendapatkan alasan agar bisa meratakan semuanya, dan memang itulah yang sedang mereka lakukan, mungkin mereka hanya terkejut pada skalanya
      Sinyalnya ada di mana-mana, dan Mossad bukan kumpulan birokrat tak kompeten
      Orang yang bertanggung jawab adalah mantan pasukan khusus, dan membunuh orang tanpa berkedip adalah bagian dari pekerjaannya, jadi sulit mengharapkan sikap humanis dari pihak itu
      Kalau saya belum membaca kisah-kisah yang berlangsung nyaris persis sama di masa dan tempat lain, mungkin saya akan melihatnya berbeda. AI tidak menyelesaikan masalah politik; ia hanya membuat masalah yang sudah rumit menjadi lebih rumit

  • Ungkapan “terkena serangan mendadak” terasa aneh. Media Israel berulang kali menerbitkan artikel bahwa analis garis depan sudah memperingatkan, tetapi diabaikan
    Alasannya bisa saja seksisme, diskriminasi usia, diskriminasi terhadap wajib militer, atau karena organisasi pemukim menempatkan orang-orang mereka di pemerintahan dan sangat menginginkan permukiman kembali di Gaza Strip
    Apa pun itu, sinyalnya ada, dan mereka telah mengamati persiapan serta latihan selama sekitar setahun. Bahkan jika organisasi perlawanan menjaga hal itu tetap rahasia, perwira biasa di badan intelijen atau militer seharusnya bisa menyimpulkan dari “prinsip pertama” dan tindakan mereka saja bahwa pada akhirnya akan ada reaksi kekerasan

    • Sebagai pengamat luar, saya tidak begitu paham, tetapi kekacauan pemerintahan yang diciptakan oleh manuver politik Netanyahu yang makin ekstrem dan perpecahan besar di dalam masyarakat Israel tampaknya berkontribusi pada kegagalan pertahanan 7 Oktober
      Netanyahu telah begitu memecah masyarakat Israel sehingga selama berbulan-bulan sebelum 10/7, jutaan orang berdemonstrasi setiap akhir pekan, dan para reservis pun menolak bertugas sebagai bentuk protes
      Jika ia lebih fokus memerintah atau mundur, alih-alih berkonsentrasi menggunakan segala cara agar tidak masuk penjara, mungkin gangguan di tingkat nasional bisa berkurang. Saya tidak akan menyatakan itu salahnya, tetapi kekacauan yang ia ciptakan jelas tidak mungkin membantu
    • Reaksi kekerasan memang diperkirakan. Yang tidak diperkirakan adalah reaksi kekerasan yang kompeten
    • Siapa pun yang mengenal IDF secara langsung akan tahu bahwa ada arogansi yang tertanam dalam di organisasi itu
    • Ini adalah menyalahkan alat yang salah
      Orang-orang yang menjalankan pemerintah dan militer Israel adalah alat itu sendiri. Entah karena niat jahat atau ketidakmampuan dan ketidaktahuan, mereka jelas gagal

  • Secara pribadi, bagian paling menarik dari seluruh artikel bagi saya adalah bagian ini
    “Setelah itu ia berfokus pada pekerjaan pertahanan, sambil meratapi bahwa orang-orang yang memiliki kapabilitas teknologi terkait untuk membuat senjata masa depan ‘sebagian besar menolak bekerja dengan sektor pertahanan.’”
    Saya penasaran sejauh mana itu masih benar. Jelas ada banyak uang mengalir masuk, dan sebagian orang jelas mengikuti uang itu. Palantir juga ada

    • Dulu lebih mudah menarik teknisi ke bidang pertahanan ketika mereka belum melihat akibat yang ditinggalkan senjata itu, atau pada umumnya tidak tahu apa sebenarnya yang mereka buat. Seperti Manhattan Project
      Namun jika orang bisa melihat siaran langsung di Twitter tentang suatu kawasan yang dibom, mereka mungkin akan berpikir ulang untuk membantu hal semacam itu
    • Sampai batas tertentu, itu jelas benar. Ada contoh-contoh terdokumentasi tentang orang yang menolak bekerja dengan sektor pertahanan meski harus membayar harga pribadi yang besar
      Pertanyaan pentingnya adalah seberapa besar resistensi di dalam angkatan kerja, dan seberapa besar dampaknya terhadap kemampuan merekrut talenta
    • Saya rasa itu jauh kurang benar daripada yang dibayangkan para teknisi yang membenci industri pertahanan AS. Korelasi antara pandangan progresif dan kecerdasan pemecahan masalah tidak nol, tetapi juga tidak setinggi itu

  • Terkejut oleh besarnya pajak yang terbuang. Karena ada begitu banyak proyek gagal, bahkan inkompetensi Big Tech yang terkenal buruk pun tampak bukan apa-apa dibandingkan kompleks industri-militer Amerika Serikat
    Selama tiga perempat abad terakhir, surplus peradaban Barat semuanya mengalir ke sini. Kini surplus itu sudah hilang, dan seiring menipisnya sumber daya inti serta sumber energi, tak lama lagi akan berbalik menjadi negatif. Saya berharap dominasi global Amerika Serikat berakhir secepat mungkin
    Maaf, tetapi pada titik mana pun Amerika Serikat tidak pernah menjadi penguasa sah Bumi. Seluruh negeri saya dihancurkan, dan seluruh populasi dibunuh atau dipaksa bermigrasi. Itu terjadi agar Anda bisa membelikan anak Anda Xbox baru, dan agar tetangga Anda bisa membeli yacht baru

    • Justru angka-angka dalam artikel itu meremehkan skala pemborosan
      Bencana di Timur Tengah sejak 2003 menelan biaya setidaknya 8 triliun dolar
      Dengan uang itu, seluruh Amerika Serikat bisa beralih ke energi bersih, semua orang kelaparan di Bumi bisa diberi makan, dan semua tunawisma Amerika bisa diberi rumah. Masih akan ada uang tersisa
      Alih-alih, uang itu dipakai untuk membunuh jutaan orang, mengungsikan puluhan juta orang, serta meninggalkan kanker dan cacat bawaan pada anak-anak lintas generasi
      Begitu jahat dan bodohnya sampai Noam Chomsky pun konon tidak punya kata-kata untuk menggambarkannya
    • Kalau adil, Amerika Serikat itu negara yang baru berusia sekitar 247 tahun, bukan? Dalam perspektif sejarah yang besar, itu hampir seperti bayi. Para pendirinya pun tidak terlalu yakin sistem ini akan bertahan lama
      [1]:https://www.digitalhistory.uh.edu/disp_textbook.cfm?smtID=2&...
      “Pada akhir Konvensi Konstitusi, George Washington berkata, ‘Saya tidak berharap Konstitusi akan bertahan lebih dari 20 tahun.’ Saat ini Amerika Serikat memiliki konstitusi tertulis tertua di dunia.”
      Apa yang dicapai negara itu selama ini cukup luar biasa. Selama sebagian besar masa keberadaannya, Amerika Serikat juga bukan negara adidaya seperti yang kita kenal sekarang. Masa depan belum ditentukan, tetapi mungkin saja kita akan melihat Amerika Serikat yang terisolasi dan hanya mengurus masalah internalnya

  • Saya mencari penyebutan Strategic Defense Initiative, alias Star Wars. Salah satu masalah teknis yang pada akhirnya tidak pernah berhasil diatasi program itu adalah kemampuan untuk mengenali rudal yang datang dengan cukup baik dan mengarahkan pertahanan pencegat ke targetnya
    Seperti sistem Igloo White dan Assault Breaker yang disebut dalam artikel, sistem itu gagal membedakan umpan dari yang asli

    • Ini tidak sesuai fakta. Pengenalan rudal dan pemanduan pencegat, keduanya adalah kemampuan yang sudah dibuktikan puluhan tahun lalu
      Dalam pencegatan rudal balistik, masalah teknis terbesarnya adalah membuat motor roket hipersonik baru yang ingin digunakan agar merespons perintah pemanduan dengan presisi yang memadai. Itu adalah masalah ilmu material, dan ketika peralatan yang sama dipasang pada motor roket biasa, sebenarnya ia bekerja dengan baik