OpenAI tentang perjanjian yang ditandatangani dengan Departemen Pertahanan AS

• Menandatangani kontrak dengan Departemen Pertahanan AS (DoD) terkait penerapan sistem AI canggih di lingkungan rahasia, dan meminta agar syarat kontrak ini juga diterapkan sama kepada semua perusahaan AI
• Perjanjian tersebut menetapkan tiga garis merah yang menyatakan bahwa teknologi OpenAI tidak akan digunakan untuk pengawasan domestik skala besar, kendali langsung sistem senjata otonom, dan pengambilan keputusan otomatis berisiko tinggi
• Mengadopsi pendekatan penerapan khusus cloud, dengan OpenAI mempertahankan keleluasaan penuh atas safety stack, serta personel OpenAI yang memiliki izin keamanan ikut terlibat dalam loop
• Mengklaim memiliki guardrail yang lebih kuat dibanding kontrak yang sudah ada seperti milik Anthropic, dan menutup kemungkinan penggunaan khusus senjata otonom dengan mengecualikan penerapan di edge device
• Menekankan perlunya membangun kerangka kerja sama demokratis antara perusahaan AI dan pemerintah, serta meminta pemerintah membantu menyelesaikan konflik dengan Anthropic

---

Latar belakang dan tujuan kontrak

• Menandatangani kontrak dengan Departemen Pertahanan AS terkait penerapan sistem AI canggih di lingkungan rahasia, serta meminta agar syarat yang sama juga diberikan kepada semua perusahaan AI
• Berpandangan bahwa mengingat pentingnya teknologi AI, diperlukan kerja sama yang mendalam antara proses demokratis dan riset AI
• Orang-orang yang membela Amerika Serikat harus memiliki alat terbaik, namun sekaligus ada kesadaran bahwa teknologi ini dapat menimbulkan risiko baru bagi dunia

Tiga garis merah

• Melarang penggunaan teknologi OpenAI untuk pengawasan domestik skala besar (mass domestic surveillance)
• Melarang penggunaan teknologi OpenAI untuk kendali langsung sistem senjata otonom (autonomous weapons systems)
• Melarang penggunaan teknologi OpenAI untuk pengambilan keputusan otomatis berisiko tinggi (misalnya sistem kredit sosial)
• Berbeda dengan laboratorium AI lain yang mengurangi atau menghapus guardrail keselamatan dan hanya mengandalkan kebijakan penggunaan, OpenAI berpandangan bahwa pendekatan perlindungan berlapis lebih efektif

Komponen inti kontrak

• Arsitektur penerapan

  • Penerapan khusus cloud, termasuk safety stack yang dioperasikan langsung oleh OpenAI
  • Tidak menyediakan model yang guardrail-nya dihapus atau model yang tidak dilatih untuk keselamatan
  • Mengecualikan penerapan di edge device untuk memblokir kemungkinan penggunaan pada senjata mematikan otonom
  • Dapat memverifikasi secara independen apakah terjadi pelanggaran garis merah, serta menjalankan dan memperbarui classifier

• Ketentuan kontrak

  • Departemen Pertahanan dapat menggunakan sistem AI untuk segala tujuan yang sah yang sesuai dengan hukum yang berlaku, persyaratan operasional, serta protokol keselamatan dan pengawasan yang telah ditetapkan
  • Jika hukum, regulasi, atau kebijakan departemen mengharuskan kontrol manusia, maka sistem ini tidak dapat digunakan untuk secara mandiri mengarahkan senjata otonom
  • Sesuai DoD Directive 3000.09 (tertanggal 25 Januari 2023), penggunaan AI dalam sistem otonom dan semiotonom harus melalui verifikasi, validasi, dan pengujian yang ketat di lingkungan realistis sebelum diterapkan
  • Dalam aktivitas intelijen, pemrosesan data pribadi harus mematuhi Amandemen Keempat, National Security Act (1947), Foreign Intelligence Surveillance Act (1978), Executive Order 12333 dan pedoman Departemen Pertahanan terkait
  • Melarang pemantauan tanpa batas terhadap data pribadi warga negara AS
  • Untuk aktivitas penegakan hukum domestik, penggunaan hanya dimungkinkan jika diizinkan oleh Posse Comitatus Act dan hukum lain yang berlaku

• Keterlibatan pakar AI

  • Engineer OpenAI yang memiliki izin keamanan ditempatkan di garis depan untuk mendukung pemerintah
  • Peneliti keselamatan dan alignment yang memiliki izin keamanan ikut terlibat dalam loop

Poin utama FAQ

• Alasan menandatangani kontrak

  • Militer AS memerlukan model AI yang kuat untuk menghadapi ancaman integrasi teknologi AI oleh negara-negara yang berpotensi menjadi musuh
  • Pada tahap awal, dinilai bahwa pengaman dan sistem untuk penerapan rahasia belum siap, sehingga tidak langsung menandatangani kontrak dan terlebih dahulu menyiapkan hal-hal yang diperlukan agar garis merah dapat ditegakkan
  • Menghapus pengaman teknis inti demi meningkatkan kinerja dalam tugas keamanan nasional bukanlah pendekatan yang tepat
  • Juga bertujuan meredakan ketegangan antara Departemen Pertahanan dan laboratorium AI AS, dengan meminta pemerintah memberikan syarat yang sama kepada semua laboratorium AI dan khususnya membantu menyelesaikan persoalan dengan Anthropic

• Perbandingan dengan Anthropic

  • Menilai bahwa kontrak OpenAI memberikan jaminan yang lebih baik dan pengaman yang lebih bertanggung jawab dibanding kontrak Anthropic yang sudah ada
  • Penerapan khusus cloud (bukan edge), mempertahankan safety stack sendiri, dan keterlibatan personel OpenAI berizin keamanan membuat garis merah lebih dapat ditegakkan
  • Tidak mengetahui mengapa Anthropic tidak dapat menandatangani kontrak ini, dan berharap Anthropic serta lebih banyak laboratorium lain mempertimbangkannya

• Penetapan Anthropic sebagai "risiko rantai pasok"

  • Menentang penetapan Anthropic sebagai "risiko rantai pasok" dan telah menyampaikan posisi ini dengan jelas kepada pemerintah

• Kemungkinan senjata otonom

  • Berdasarkan safety stack, penerapan khusus cloud, bahasa kontrak, serta hukum, regulasi, dan kebijakan yang ada, sistem ini tidak dapat digunakan untuk senjata otonom
  • Personel OpenAI ikut terlibat dalam loop untuk memberikan jaminan tambahan

• Kemungkinan pengawasan skala besar

  • Berdasarkan safety stack, bahasa kontrak, dan hukum yang ada yang sangat membatasi pengawasan domestik oleh Departemen Pertahanan, sistem ini tidak dapat digunakan untuk pengawasan skala besar

• Apakah bisa diterapkan tanpa safety stack

  • Mempertahankan kendali penuh atas safety stack dan tidak akan menerapkan sistem tanpa guardrail keselamatan
  • Berbeda dengan laboratorium AI lain yang mengurangi guardrail model dan menjadikan kebijakan penggunaan sebagai pengaman utama, OpenAI menilai pendekatan berlapis lebih efektif

• Jika pemerintah melanggar kontrak

  • Seperti kontrak pada umumnya, jika pihak lawan melanggar syarat, maka kontrak dapat diakhiri

• Jika hukum atau kebijakan berubah

  • Kontrak secara eksplisit merujuk pada hukum dan kebijakan terkait pengawasan dan senjata otonom berdasarkan standar saat ini
  • Sekalipun hukum atau kebijakan berubah di masa depan, penggunaan sistem tetap harus sesuai dengan standar saat ini yang tercermin dalam kontrak

Tanggapan terhadap posting blog Anthropic

• OpenAI juga setuju dengan dua garis merah yang diajukan Anthropic (pengawasan domestik skala besar dan senjata otonom sepenuhnya), dan menambahkan garis merah ketiga berupa pengambilan keputusan otomatis berisiko tinggi
• Pengawasan domestik skala besar: Dalam proses komunikasi, sudah jelas bahwa Departemen Pertahanan menganggap hal ini ilegal dan tidak berencana menggunakannya untuk tujuan tersebut, dan kontrak secara tegas menyatakan bahwa hal itu tidak termasuk penggunaan yang sah
• Senjata otonom sepenuhnya: Dalam lingkungan penerapan cloud yang tercakup dalam kontrak, senjata otonom sepenuhnya tidak dapat dijalankan karena hal itu memerlukan penerapan edge
• Selain perlindungan tersebut, OpenAI juga memiliki pengaman berlapis tambahan berupa safety stack dan keterlibatan pakar teknis OpenAI dalam loop

[GN⁺]

Komentar Hacker News

• Menurut interpretasiku, kontrak antara OpenAI dan Departemen Pertahanan terlihat seperti melarang pengawasan massal terhadap warga AS, tetapi sebenarnya itu hanya berarti dibatasi pada hal-hal yang memang sudah dilarang oleh hukum
  Artinya, ini juga bisa dibaca bahwa Departemen Pertahanan tetap dapat membeli data dalam jumlah besar dari perusahaan swasta, seperti data lokasi atau transaksi keuangan, lalu menganalisisnya dengan alat OpenAI
  Setahuku, kontrak Anthropic tidak memiliki klausul seperti ini
  Jika ini benar, maka ini mengerikan. Namun akhir-akhir ini aku beberapa kali terlalu cepat menarik kesimpulan, jadi kali ini aku menahan penilaian
  (Sebagai catatan, aku adalah mantan karyawan OpenAI dan pemegang saham saat ini)

  • OpenAI tampaknya bukan lagi perusahaan yang pantas bicara soal etika
    Tidak seperti masa yayasan nirlabanya dulu, sekarang mereka sudah dua kali mengubah kebijakan privasi untuk mengumpulkan lebih banyak dataku
    Proses mematikan pengaturannya juga rumit, penuh dark pattern. Fitur unduh data pun pada praktiknya tidak berfungsi
  • Ini secara harfiah berarti “hanya mengikuti batasan yang sudah ada dalam hukum”
    Ini contoh khas ‘weasel language’ yang pernah disebut Dario
  • Pada akhirnya masalahnya adalah Third Party Doctrine
    Jika doktrin ini hilang, sebagian besar skenario mimpi buruk seperti ini juga akan hilang
  • Orang sering lupa bahwa pengawasan ala NSA dari pemerintah selalu berjalan disertai memo yang menyatakan semuanya “legal”
  • Kalimatnya sendiri sangat membingungkan
    Ungkapan “Shall not be used as consistent with these authorities” juga janggal secara tata bahasa
    Rasanya seperti para pengacara sengaja menulisnya secara ambigu agar menyisakan ruang untuk tafsir PR

• Frasa “The Department of War may use the AI System for all lawful purposes…” pada akhirnya berarti bisa digunakan untuk semua tujuan selama diizinkan hukum
  Anthropic mencoba menerapkan standar moralnya sendiri, sedangkan OpenAI menerima tuntutan pemerintah apa adanya
  Secara pribadi aku bisa memahami kedua posisi itu, tetapi sikap pemerintah terhadap Anthropic bersifat jahat dan juga merugikan kepentingan AS

  • Satu kontrak berkata “jangan membuat Terminator”, sedangkan yang lain berkata “kalau tim legal bilang boleh, maka membuat Terminator pun boleh”. Itu perbedaan besar
  • Kata “legal” menopang semuanya
    Pemerintah sudah terang-terangan melakukan hal-hal ilegal, dan tak seorang pun tahu apa yang terjadi secara rahasia
    Pada akhirnya, inti posisi Anthropic adalah sikap moral bahwa pemerintah tidak bisa dipercaya
  • Jika melihat bahasanya dengan saksama, Departemen Pertahanan bisa memakai model itu untuk tujuan apa pun selama mereka menganggapnya ‘legal’
    Mengubah aturannya pun terserah mereka
    Sam Altman entah naif, atau sedang membuat kita berpikir begitu
  • Ini juga tidak konsisten dengan posisi sebelumnya bahwa “teknologi OpenAI tidak digunakan untuk sistem senjata otonom”
  • Bayangkan situasi saat sistem merekomendasikan untuk menembaki kombatan yang terdampar di tengah perang
    Itu jelas kejahatan perang, tetapi siapa yang akan menilai ‘legalitas’-nya? OpenAI, Menteri Pertahanan, atau hakim?

• Ungkapan “untuk semua tujuan yang diizinkan secara hukum” berarti bahwa pihak yang membuat hukum tidak benar-benar membatasi dirinya sendiri

  • Dalam kasus pengawasan massal, bahkan diperlukan amendemen konstitusi, jadi lebih rumit daripada sekadar mengubah undang-undang
    Namun jika membantu pemerintah sambil tahu itu ilegal, maka itu bisa termasuk konspirasi kriminal. Pemerintah mungkin kebal, tetapi OpenAI belum tentu
  • Selain itu, pemerintah dapat membuat dan menegakkan aturan secara rahasia
  • Ada juga respons sinis: “Maksudmu kita tak bisa mempercayai kata-kata seorang penipu yang sudah divonis bersalah?”

• Aku tidak menganggap Anthropic sepenuhnya santo moral
  Hal yang sama juga berlaku untuk ChatGPT
  Tetapi pada saat ini, berhenti berlangganan ChatGPT dan memakai Claude adalah tindakan yang menunjukkan pesan yang ingin kusampaikan

  • Penting untuk menunjukkan kemauan berpindah seperti ini
    Jika perusahaan tahu bahwa pengguna akan langsung pergi saat muncul kontroversi, mereka akan lebih berhati-hati
  • Lagi pula saat ini Claude jauh lebih bagus performanya dibanding ChatGPT
  • Aku ingin mencoba memakai Claude sebagai pengganti pencarian umum. Misalnya untuk pertanyaan sederhana seperti resep atau ulasan produk
  • Dalam jangka panjang, kupikir model open-weight akan menjadi yang terbaik
    Bahwa Anthropic kali ini tidak menyerah adalah hal yang mengesankan
    Walau GPU sedang langka, aku juga berencana berhenti dari ChatGPT dan pindah ke Claude atau Kimi

• Pada akhirnya, walaupun karyawan mengambil posisi moral, itu tak berarti apa-apa jika mereka tidak punya kuasa mengambil keputusan
  Satu-satunya kekuatan adalah ‘mengundurkan diri’

  • Tetapi jika terjadi pengunduran diri massal, itu menjadi kekuatan yang sangat besar
  • Sebenarnya, untuk mencegah situasi seperti inilah serikat pekerja ada
    Jika para engineer inti berhenti bersama-sama, Sam Altman sendirian tidak akan bisa mempertahankan perusahaan
  • Karyawan OpenAI sebenarnya punya kekuatan untuk mengembalikan Sam Altman saat ia diberhentikan dua tahun lalu
  • Jika karyawan bersatu, mereka bisa menghentikan perusahaan. Tetapi di tempat seperti OpenAI, sulit mengharapkan budaya solidaritas seperti itu

• OpenAI sedang melakukan penghindaran tanggung jawab moral dengan mengatakan semacam “mari delegasikan tanggung jawab moral AI kepada hukum”

• Jika masih ada karyawan OpenAI dengan kekayaan bersih di atas 2 juta dolar yang tetap bertahan, berarti kompas moralnya rusak
  Sekarang tak ada bedanya dengan bekerja di Palantir atau xAI

  • Ada juga balasan bernada ejekan: “Aku akan menangis dengan uang sebagai bantal, tentu saja secara etis”

• Frasa “dapat digunakan untuk semua tujuan yang legal” pada akhirnya berarti Departemen Pertahanan mendapatkan apa yang mereka inginkan dengan bersandar pada regulasi yang tidak memadai

• Tulisan blog ini membuat situasinya tampak lebih buruk
  Ini tidak menarik garis batas yang jelas terhadap penggunaan kontroversial yang ditolak Anthropic
  Hanya mengatakan “boleh jika legal dan sudah diuji”
  Rasanya seperti IBM pada 1930-an menjual mesin ke Jerman lalu berkata “kami tidak tahu”
  Pada akhirnya, yang diinginkan militer adalah senjata otonom dan pengawasan massal, serta penggunaan lain yang walaupun legal secara hukum, tetap berada di wilayah abu-abu secara moral