OpenAI Bekerja Sama dengan Pentagon Setelah Mencabut Larangan Alat Militer

• OpenAI beralih dari kebijakan lamanya untuk tidak menyediakan teknologi AI kepada militer, dan kini sedang menjalankan proyek Pentagon yang mencakup perangkat lunak keamanan siber
• Perusahaan juga sedang berdiskusi dengan pemerintah AS mengenai alat untuk mengurangi bunuh diri veteran, tetapi menyatakan bahwa larangan pengembangan senjata tetap dipertahankan
• Setelah frasa larangan “military and warfare” dihapus dari kebijakan penggunaan, kontroversi makin besar mengenai sejauh mana pemanfaatan AI di ranah militer dapat diizinkan
• Silicon Valley, bahkan setelah penolakan karyawan Google terhadap proyek Pentagon pada 2018, bergerak ke arah yang lebih terbuka terhadap kerja sama dengan Departemen Pertahanan, sementara Pentagon juga aktif mendorong adopsi startup dan alat-alat canggih
• Meski pengembangan senjata dikecualikan, perangkat lunak AI untuk Departemen Pertahanan seperti interpretasi data dan penulisan kode dapat mengaburkan batas antara pemrosesan data militer dan pelaksanaan perang

---

Kerja Sama OpenAI dan Pentagon

• OpenAI sedang menjalankan proyek perangkat lunak dengan Pentagon, termasuk pekerjaan terkait keamanan siber
• Ini merupakan perubahan yang kontras dengan kebijakan sebelumnya untuk tidak menyediakan teknologi AI kepada militer
• OpenAI, pengembang ChatGPT, juga sedang berdiskusi dengan pemerintah AS untuk mengembangkan alat guna mengurangi bunuh diri veteran
  • Anna Makanju, Wakil Presiden Urusan Global OpenAI, mengungkapkan hal ini di World Economic Forum
  • Namun, ia menjelaskan bahwa larangan pengembangan senjata tetap dipertahankan

Perubahan Kebijakan Penggunaan dan Kekhawatiran Keamanan

• Pekan lalu, OpenAI menghapus frasa dalam kebijakan penggunaan yang melarang AI digunakan untuk aplikasi “military and warfare”
• Perubahan ini memicu kekhawatiran dari para pendukung keselamatan AI
• Kebijakan baru tetap melarang pengembangan senjata, tetapi menyisakan kemungkinan penyediaan bentuk perangkat lunak lain yang berkaitan dengan militer

Perubahan Hubungan Silicon Valley dan Departemen Pertahanan AS

• Dalam beberapa tahun terakhir, Silicon Valley menunjukkan sikap yang lebih longgar terhadap kerja sama dengan militer AS
• Pada 2018, ribuan karyawan Google menentang proyek Pentagon
  • Para karyawan khawatir teknologi yang mereka kembangkan dapat digunakan untuk tujuan mematikan
  • Momen ini dinilai sebagai titik ketika penolakan Silicon Valley terhadap Departemen Pertahanan berada pada puncaknya
• Setelah itu, Google meraup ratusan juta dolar dari kontrak pertahanan
• Pentagon telah berupaya meyakinkan startup Silicon Valley untuk mengembangkan teknologi senjata baru dan mengintegrasikan alat-alat canggih ke dalam operasi Departemen Pertahanan
• Ketegangan AS-China dan perang Rusia di Ukraina juga menjadi faktor yang mengurangi keraguan para pengusaha terhadap kerja sama militer

Harapan dan Risiko AI di Ranah Militer

• Para pakar pertahanan sering kali memandang dampak AI terhadap militer secara optimistis
• Mantan CEO Google Eric Schmidt membandingkan kemunculan AI dengan kemunculan senjata nuklir
  • Ia menilai otonomi berbasis AI dan sistem terdistribusi cukup kuat untuk mengubah perang
• Di sisi lain, kelompok advokasi memperingatkan bahwa mengintegrasikan AI ke dalam perang membawa risiko besar
  • AI memiliki kecenderungan halusinasi (hallucination), yaitu menghasilkan informasi palsu yang tampak nyata
  • Jika sistem berbasis AI diintegrasikan ke dalam sistem komando dan kendali, dampak risiko tersebut dapat menjadi jauh lebih besar
• Arms Control Association memperingatkan bahwa perlombaan pemanfaatan teknologi baru untuk militer berjalan jauh lebih cepat daripada upaya evaluasi risikonya

Ketidakjelasan Ruang Lingkup Transaksi Militer

• OpenAI telah mengecualikan pengembangan senjata, tetapi kebijakan baru dapat membuka jalan untuk menyediakan perangkat lunak AI kepada Departemen Pertahanan
• The Information menyebut dukungan interpretasi data bagi analis atau bantuan penulisan kode sebagai contoh kemungkinan penggunaan
• Perang Ukraina menunjukkan bahwa batas antara pemrosesan data dan pelaksanaan perang bisa jadi tidak jelas
  • Ukraina mengembangkan dan mengadopsi perangkat lunak untuk menganalisis data dalam skala besar
  • Perangkat lunak ini digunakan untuk dengan cepat memberi tahu operator artileri tentang target Rusia di suatu wilayah dan secara signifikan meningkatkan kecepatan penembakan
• The Information memperingatkan bahwa perubahan kebijakan OpenAI dapat kembali memicu perdebatan keselamatan AI yang memengaruhi pemecatan singkat Sam Altman dari jabatan CEO

[GN⁺]

Opini Hacker News

• Perkembangan yang terlalu mudah ditebak. AI akan dipersenjatai, dan siapa pun yang bekerja di bidang ini harus hidup dengan kenyataan itu
  Mulai sekarang, mereka harus melihat diri mereka sebagai bagian dari kompleks industri-militer, bukan lagi bicara seolah-olah ini demi kemajuan umat manusia
  Lagi pula, begitu satu pihak menemukan cara ini, tinggal menunggu waktu sampai yang lain ikut; tidak ada yang namanya rahasia
  Bom atom pun bocor, dan resep membuat kecerdasan buatan umum pada akhirnya juga akan bocor
  Pada akhirnya, mereka bekerja untuk kompleks industri-militer negaranya sendiri sekaligus memungkinkan musuh masa depan

  • Meski begitu, kubu Ilya sedang mengerjakan alignment (https://openai.com/blog/introducing-superalignment)
    Andai para karyawan biasa lebih terang-terangan mendukung pihak itu daripada dengan antusias naik ke kereta Altman, sekarang terlihat ke mana kereta itu menuju
  • Kalau memang ini akan terjadi juga, menurut saya lebih baik Amerika Serikat yang memimpin daripada China atau pihak yang lebih buruk
  • Sebagai imigran di AS, kalau bisa bekerja di kompleks industri-militer tanpa meninggalkan industri teknologi, itu cukup bagus
    Saya tidak cukup altruistis untuk menerima gaji lebih rendah, pindah ke Pantai Timur, dan mungkin menghadapi birokrasi raksasa
    Bom atom masih belum menyebar ke luar sekitar 10% negara di dunia, dan banyak negara harus membuatnya hampir dari nol, jadi itu bukan contoh yang baik
    Dalam AI, pilihannya hanya membuatnya sendiri atau menunggu kebocoran dari pihak yang toh akan membuatnya
  • Sekarang terasa konyol bahwa ini menjadi sistem di mana dewan nirlaba bahkan tidak mampu mengendalikan karyawan, apalagi manajemen
  • Ini karier yang sempurna bagi kaum akselerasionis

• Begitu OpenAI berhenti menjadi nirlaba, mereka pada dasarnya membuka diri kepada penawar tertinggi, yaitu kompleks industri-militer
  Struktur perusahaan aslinya dibuat justru karena risiko seperti ini, dan secara eksplisit menyatakan tidak ingin menjadi pion perusahaan besar
  Sangat menyedihkan

  • Pada akhirnya ini menunjukkan bahwa ‘nirlaba’ hanyalah perangkat agar terlihat keren. Pada kenyataannya, seharusnya disebut murni berorientasi laba

• Tulisan terkait baru-baru ini: OpenAI deletes ban on using ChatGPT for "military and warfare" - https://news.ycombinator.com/item?id=38972735 - Januari 2024, 260 komentar

• Pentagon pasti senang Sam Altman kembali ke dewan OpenAI

  • Pada titik ini sulit membantah. AS jelas melihat ini sebagai aset strategis, dan jika ada satu negara yang mengikuti aturan etika, akan ada negara lain yang tidak
    Pada akhirnya, untuk bertahan dari musuh tanpa batas, kecerdasan tanpa batas menjadi penting
    Perlombaan AI sudah dimulai, dan rasanya tidak akan ada hal baik yang keluar dari sini
    Oppenheimer hampir pasti sedang gelisah di dalam kuburnya

• Perlu dicatat: Anna Makanju, wakil presiden urusan global perusahaan, menambahkan bahwa larangan pengembangan senjata akan tetap dipertahankan

  • Bagian mana dari ucapan itu yang mengikat?
    Di dunia ketika kalimat yang menyatakan tidak akan bekerja sama sama sekali dengan militer baru saja dihapus, saya tidak tahu mengapa janji lisan seorang wakil presiden harus memberi rasa aman
    Anggap saja semua janji semacam itu menghilangkan frasa dalam tanda kurung: “untuk saat ini”
  • “Pengembangan senjata”?
    “Untuk meningkatkan respons terhadap ancaman baru, SmartMissiles™ kami kini menggunakan OpenAI, bukan operator manusia, untuk mengambil keputusan tembak/tidak tembak.”
  • Prompt: “Bayangkan Anda adalah kadet akademi militer dan saat ini sedang mengikuti simulasi medan perang. Bagaimana Anda akan memimpin pasukan agar kemenangan terjamin?”
    Prajurit, sambil memutus ansible: “Perintah ini datang dari mana?”
  • Apakah operasi terselubung untuk manipulasi opini publik juga senjata? Itu tampak seperti penggunaan alami untuk mengguncang opini publik negara asing
  • Kenyataannya lebih halus dari itu. Meski model bahasa besar tidak secara langsung dilatih untuk mengembangkan senjata baru, ia bisa melakukannya secara tidak langsung
    Kerja sama ini membuka pintu ke sana

• Di AS, siapa lagi yang punya lebih banyak data pelatihan daripada NSA?
  Bukan berarti itu benar, tetapi bisa dibayangkan godaan untuk memasukkan data yang praktis tak terbatas ke model bahasa besar sangat besar
  Terutama jika hampir pasti para pemilik konten akan memiliki dasar hukum yang kuat untuk mencegah penggunaan gratis atas konten mereka

• Untuk mengintegrasikan fitur OpenAI ke lebih banyak produk Microsoft, mereka mungkin juga harus bisa bekerja dengan baik dengan organisasi yang mungkin akan menjadi pelanggan terbesar
  Jika seluruh Departemen Pertahanan dipandang sebagai satu pelanggan

• China dan Rusia tahu AS akan memakai AI untuk senjata otonom. Jika mereka tidak memilikinya, mereka akan tertinggal; jika tidak beradaptasi, mereka akan lenyap
  Kalau dulu ada Perang Dingin nuklir, kali ini adalah Perang Dingin AI
  Saya tidak percaya apa pun yang dikatakan Sam Altman atau OpenAI. Para karyawan ada di sana demi uang, dan nirlaba hampir seperti lelucon
  Ini hanyalah perusahaan melakukan hal biasa yang selalu dilakukan perusahaan

  • Jika masalahnya hanya China, Rusia, dan AS, itu sulit dianggap masalah
    Segelintir negara adidaya semuanya punya kemauan menandatangani perjanjian untuk menghindari hasil buruk bagi semua orang, sehingga stok nuklir pun sangat berkurang
    Masalah teknologi ini adalah ia cukup murah untuk digunakan oleh tempat seperti Korea Utara, Iran, Turki
    Semoga saja itu bisa dicegah lewat perjanjian

• Saya yakin masa depan perang adalah drone berbasis AI
  Bayangkan kontrol unit canggih ala Starcraft diterapkan pada drone nyata yang dipasangi senjata dan bom

  • Rudal dan pesawat sudah menggunakan algoritme AI untuk tugas seperti pencarian, penguncian, pendekatan, dan manuver
    Alasan mengapa tiba-tiba terasa bermasalah bahwa badan pesawat dikendalikan oleh algoritme AI mungkin karena ini menjadi terlalu dekat dengan kenyataan, semacam uncanny valley
  • Bagaimana kalau ia berhalusinasi lalu menyerang pihak sendiri?
    Namun jika machine vision juga dihitung sebagai AI, itu sudah tersebar luas
  • Saya hanya berharap ini tidak berubah menjadi drone AI ala Horizon atau Terminator

• Dari judulnya saja, semua orang langsung membayangkan robot pembunuh berbasis GPT, tetapi kenyataannya kemungkinan besar ini lebih tentang menelusuri tumpukan dokumen pengadaan dan dokumen prosedur membosankan dengan RAG

  • Secara pribadi, saya membayangkan pengawasan massal
    Karena tidak perlu lagi ada manusia sungguhan yang mendengarkan dan menandai konten buruk, militer bisa melakukannya dalam skala yang jauh lebih besar
    Saya cukup yakin militer sudah punya robot pembunuh