Alasan saya meninggalkan Google DeepMind
(turntrout.com)- Alexander Matt Turner, yang pernah menjadi ilmuwan riset di Google DeepMind, memutuskan keluar karena merasa secara nurani tidak bisa tetap bertahan setelah Google menyediakan layanan cloud untuk DHS dan ICE, serta menandatangani kontrak yang tidak secara mengikat melarang senjata otonom mematikan dan profiling AI skala besar dengan Departemen Pertahanan AS
- Ketika Departemen Pertahanan AS meminta Anthropic menandatangani kontrak “untuk semua penggunaan yang sah” dengan menghapus batasan yang ada, Turner meminta IASEAI dan para peneliti AI terkemuka untuk merespons bersama, serta berhasil mengumpulkan sekitar 250 tanda tangan internal di Google dan partisipasi Jeff Dean dalam amicus brief
- Ia menyusun kerangka kontrak dan pengawasan setebal 25 halaman yang memastikan manusia mengendalikan penggunaan kekuatan dan melarang profiling AI non-targeted, tetapi bahkan setelah Demis Hassabis memerintahkan peninjauan, dokumen itu tidak pernah dinilai oleh pejabat kebijakan senior
- Google menandatangani kontrak yang memungkinkan Departemen Pertahanan AS pada April 2026 meminta perubahan pada pengaturan keselamatan Gemini, dan Google tidak dapat menolak operasi pemerintah yang sah; sementara frasa bahwa senjata otonom dan pengawasan domestik skala besar harus dihindari tidak memiliki kekuatan hukum yang mengikat
- Ia menyimpulkan bahwa komitmen etis individu atau kepercayaan pada eksekutif saja tidak cukup untuk menjaga prinsip di bawah tekanan, sehingga dibutuhkan governance berbasis kepercayaan rendah dengan pembatasan di muka, tinjauan independen, dan transparansi
Kesadaran masalah yang bermula dari rantai pasok DHS dan ICE
- Turner mulai menyelidiki hubungan Google dengan lembaga penegakan imigrasi setelah insiden pada Januari 2026 ketika agen DHS membunuh sedikitnya dua orang
- DHS 2025 AI Use Case Inventory mencantumkan Google sebagai salah satu pemasok generative AI yang digunakan untuk meningkatkan efisiensi operasional DHS
- Google menjual layanan cloud ke ICE melalui pihak ketiga seperti ITC Federal
- Ia juga mempermasalahkan tindakan Google lainnya
- Pada 3 Oktober 2025, Google menghapus dari daftar sebuah aplikasi yang memperingatkan aktivitas ICE
- Google menyerahkan akun seorang mahasiswa demonstran ke ICE tanpa pemberitahuan sebelumnya, melanggar janji layanannya untuk mengirim email sebelum membuka informasi kepada pemerintah
- Google menjawab bahwa lembaga penegakan imigrasi hanya menggunakan layanan cloud komersial, tetapi bagi Turner persoalannya bukan apakah ada layanan khusus yang diberikan, melainkan fakta bahwa Google melayani ICE
- Ia menilai petisi besar sebelumnya sudah diabaikan, dan aksi duduk, mogok, maupun pengunduran diri massal memiliki kelayakan dan efektivitas yang rendah
- Di industri AI, sejumlah kecil talenta yang sulit digantikan dapat memberi dampak besar pada organisasi, sehingga ia memandang bahwa dibanding 100 research engineer acak, keluarnya 10 personel kunci atau bahkan satu Jeff Dean akan menimbulkan biaya lebih besar bagi manajemen
Kontak pertama dengan Jeff Dean
- Jeff Dean adalah karyawan ke-30 Google, Chief Scientist, dan salah satu pemimpin bersama proyek Gemini; ia juga pernah mengkritik ICE secara terbuka dan ikut menandatangani ikrar menentang senjata otonom mematikan pada 2018
- Pada 9 Februari 2026, Turner menghubungi Jeff secara langsung dan mengatakan bahwa ia ingin membantu mendorong Google keluar dari rantai pasok DHS
- Jeff menjawab bahwa mengirim email kepada Sundar Pichai, Demis Hassabis, dan Thomas Kurian adalah langkah yang masuk akal
- Turner menyampaikan poin-poin berikut kepada tiga CEO tersebut, tetapi tidak menerima balasan
- Masalahnya bukan politik partisan, melainkan pelanggaran due process oleh ICE, penahanan warga sipil, fasilitas yang kurang pengawasan, dan pelanggaran HAM
- Cloud dan Gemini tidak boleh mendukung operasi tersebut, baik melalui kontrak langsung maupun integrator pihak ketiga
- Kerja sama dengan DHS dan ICE tidak hanya menimbulkan masalah HAM, tetapi juga risiko reputasi bagi pemasok
- Setelah itu ia meminta makan siang dengan Jeff untuk membahas cara menciptakan perubahan nyata di dalam Google, dan beberapa minggu kemudian pertemuan pun dijadwalkan
Tekanan Departemen Pertahanan AS terhadap Anthropic
- Pada 25 Februari 2026, Departemen Pertahanan AS meminta Anthropic menghapus batasan dalam kontrak yang ada dan menyediakan Claude untuk “semua penggunaan yang sah”
- Batasan yang ada sebelumnya mencakup senjata otonom mematikan serta pengawasan dan profiling AI
- Jika menolak, Anthropic diancam kontrak senilai 200 juta dolar akan dibatalkan, ditetapkan sebagai perusahaan berisiko terhadap rantai pasok, dan dipaksa menyediakan layanannya melalui Defense Production Act
- Ia menilai standar “penggunaan yang sah” memiliki dua masalah
- Seperti pada kasus Departemen Pertahanan AS yang kembali menyerang para korban selamat dari kapal karam, tindakan yang oleh pakar hukum independen dinilai berpotensi sebagai kejahatan perang pun dapat dinilai sah oleh pemerintah sendiri
- Pengawasan skala besar dan profiling AI juga dapat masuk kategori sah karena undang-undang pengawasan yang ada tidak ditulis dengan asumsi adanya AI
- Penetapan sebagai risiko rantai pasok, tidak seperti penolakan kontrak biasa, dapat membuat semua kontraktor militer berhenti menggunakan Anthropic sehingga mengancam kelangsungan ekonomi perusahaan
- Belakangan, Hakim Lin menilai penetapan tersebut sebagai “pembalasan Amandemen Pertama yang ilegal dalam bentuk yang sangat khas”
Meminta respons bersama kepada IASEAI dan para pakar AI
- Turner sedang menghadiri acara International Association for Safe and Ethical AI(IASEAI) di kantor pusat UNESCO di Paris
- IASEAI didirikan pada 2024 dengan tujuan membangun suara bersama untuk AI yang aman dan etis, dan pada 2026 kelompok kerjanya mencakup Red Lines for Advanced AI yang membahas senjata otonom dan eskalasi
- Ratusan orang di lokasi saat itu sedang mendiskusikan masalah koordinasi abstrak seperti public choice theory, bukan krisis Anthropic yang terjadi hari itu
- Ia meminta respons publik dari para peneliti berpengaruh
- Kepada Yoshua Bengio, ia meminta pernyataan yang mendukung kebebasan kontrak Anthropic dan menentang senjata otonom mematikan yang tidak diatur, tetapi kantornya menjawab bahwa mereka tidak akan mengeluarkan pernyataan
- Geoffrey Hinton hadir secara jarak jauh, sehingga ia mempertimbangkan untuk menghubunginya melalui Bengio atau Stuart Russell
- Kepada Stuart Russell, ia meminta pernyataan atas nama pribadi dan IASEAI, serta mobilisasi pakar AI internal
- Stuart berjanji akan mencoba melibatkan Bengio dan Hinton serta mengadakan pemungutan suara anggota IASEAI untuk diumumkan saat penutupan acara
Pemungutan suara dan pernyataan IASEAI yang menghilang
- Pada acara penutupan, Stuart menyebut tindakan Departemen Pertahanan AS sebagai “extortion racket” dan mengatakan ia akan mendorong pemungutan suara anggota atas pernyataan IASEAI yang menegaskan bahwa Anthropic tidak boleh dipaksa menyediakan produknya untuk penggunaan yang tidak diinginkan
- Dalam voting angkat tangan di lokasi, hampir bulat dukungan muncul untuk pernyataan IASEAI yang membela kebebasan kontrak Anthropic
- Rencananya saat itu adalah survei dibuka hingga Kamis malam; jika dua pertiga mendukung, Stuart akan menandatanganinya atas nama IASEAI, dan jika tidak tercapai, ia akan mengeluarkan pernyataan pribadi
- Turner membayar iuran anggota 75 dolar untuk ikut serta dalam voting, tetapi survei itu tidak pernah dibuka dan IASEAI tidak mengeluarkan pernyataan apa pun
- Alasan yang diberikan pihak IASEAI terus berubah
- Mereka membutuhkan lebih banyak waktu untuk menyusun pernyataan
- Tidak jelas prinsip apa yang harus dijadikan dasar
- Ada kelebihan dan kekurangan dalam ikut ke dalam arus berita Anthropic–Departemen Pertahanan AS
- Mereka ingin fokus memperbaiki prosedur internal untuk menangani situasi serupa
- Karena Anthropic telah mengeluarkan pernyataannya sendiri, pernyataan IASEAI dianggap tidak lagi diperlukan
- Bahkan setelah tenggat Jumat dari Anthropic, gugatan hukum masih berlanjut selama beberapa pekan dan kontrak Google baru ditandatangani dua bulan kemudian, sehingga menurut Turner masih ada cukup waktu bagi IASEAI untuk mengeluarkan pernyataan, amicus brief, atau menghubungi pengambil keputusan di Google
- Turner beberapa kali meminta agar Stuart setidaknya diam-diam menghubungi eksekutif Google atau sekadar memperkenalkannya, alih-alih berbicara di depan publik, tetapi ia tidak mendapat tanggapan
- IASEAI mengembalikan iuran keanggotaan atas permintaan, dan workshop AI red lines yang digelar di tempat yang sama menyebut kemauan politik sebagai hambatan terbesar
Kontrak OpenAI dan pembentukan opini internal Google
- OpenAI menyatakan bahwa saat menandatangani kontrak dengan Departemen Pertahanan AS, mereka mempertahankan pembatasan seperti yang dimiliki Anthropic terkait senjata otonom dan pengawasan massal, tetapi beberapa analisis menilai redaksi kontraknya memiliki celah yang luas
- Turner mendesak solidaritas dengan Anthropic di kanal diskusi isu internal Google DeepMind dan menyerukan agar menolak “semua penggunaan yang sah”, dan salah satu pesannya menerima lebih dari 125 reaksi dukungan
- Aktivitas posting internal memiliki beberapa tujuan
- Menaikkan biaya organisasional yang harus ditanggung manajemen jika memilih diam
- Menyampaikan argumen strategis melalui kanal yang dibaca para pejabat senior
- Membangun kesadaran bersama bahwa karyawan yang merasa tidak nyaman dengan kontrak tersebut tidak sendirian
- Membagikan celah dalam kontrak OpenAI agar ketika redaksi perlindungan serupa diajukan, karyawan tidak menerimanya
- Menciptakan jalur bagi karyawan untuk secara tidak langsung menyatakan bahwa mereka bisa mengundurkan diri jika kontrak ditandatangani
- Karena ia memahami bahwa Google enggan melakukan pengorganisasian langsung di kanal internal berskala besar, ia menghubungi orang-orang yang meninggalkan reaksi secara pribadi
Petisi 250 orang dan amicus brief Anthropic
- Dengan menilai Jeff sebagai salah satu dari sedikit eksekutif yang memiliki pemahaman etis sekaligus pengaruh nyata, ia berfokus menjadikannya pelaku utama tindakan dan memastikan dukungan karyawan kepadanya
- Bersama teman-temannya, dalam satu atau dua hari ia mengumpulkan sekitar 250 tanda tangan dari karyawan Google DeepMind dan Research lalu menyerahkannya kepada Jeff
- Para penandatangan meminta agar dilakukan segala hal yang mungkin untuk mencegah kontrak yang melampaui garis larangan dasar
- Ia menilai bahwa mengecualikan isu pengawasan tanpa surat perintah terhadap warga non-AS dari petisi awal adalah kesalahan karena sama saja mengalah lebih dulu sebelum negosiasi
- Ketika Anthropic mengajukan gugatan dan permohonan injunction atas penetapan risiko rantai pasok oleh Departemen Pertahanan AS, Protect Democracy menyiapkan amicus brief dari para pakar AI
- Turner menandatangani brief tersebut dan meminta kolega serta Jeff untuk ikut berpartisipasi, dan Jeff juga menandatanganinya secara terbuka
- Dari 18 penandatangan Google DeepMind, 8 direkrut oleh Turner
- Sebagai eksekutif tingkat C, Jeff adalah satu-satunya eksekutif yang mengambil tindakan yang secara terbuka berbeda dari sikap diam Google
- Ia menilai tanda tangan para karyawan Google ikut memicu kekhawatiran di Departemen Pertahanan AS bahwa Google juga bisa mundur dari kontrak di masa depan, sehingga sebagian berpengaruh pada tertundanya negosiasi
- Ia juga meminta tim legal Google untuk mengajukan brief dengan argumen bahwa jika pemerintah dibiarkan menekan Anthropic, ancaman yang sama dapat dipakai terhadap Google di masa depan, tetapi Google tidak ikut serta, sementara Microsoft mengajukan brief
Optimisme manajemen dan kemungkinan penandatanganan kontrak
- Sepanjang Maret 2026, eksekutif senior mengatakan bahwa karena pimpinan juga memahami masalahnya, Google tidak akan menandatangani kontrak “semua penggunaan yang sah”
- Turner menilai bahwa tanpa seseorang yang menciptakan biaya nyata bagi pimpinan, besar kemungkinan Google akan mundur
- Dalam memo yang disertai sumber kutipan, ia mengajukan dasar-dasar berikut
- Google memiliki preseden untuk tunduk bahkan pada tekanan yang berisiko lebih rendah, seperti secara sukarela menyerahkan informasi demonstran mahasiswa kepada ICE
- Porsi bisnis dari kontrak pemerintah cukup besar
- Prinsip AI Google DeepMind telah dilemahkan dari larangan yang konkret menjadi redaksi yang samar
- Masalah antimonopoli dan rekam jejak gugatan dari Departemen Kehakiman saat ini memberi tekanan tambahan pada Google
- Meskipun memo itu dibagikan beberapa kali, ia menilai bahwa ia gagal meyakinkan para pegawai senior
Strategi negosiasi yang disiapkan dengan Jeff sebagai pusatnya
- Jeff ikut dalam janji 2018 untuk “tidak akan berpartisipasi dalam atau mendukung pengembangan, manufaktur, perdagangan, atau penggunaan senjata otonom mematikan”, dan pada 2026 ia secara terbuka menegaskan kembali bahwa posisinya tidak berubah
- Ia menyatakan tidak menginginkan pengawasan massal berbasis AI terhadap warga Amerika, dengan alasan hal itu melanggar Amandemen Keempat dan kebebasan berekspresi serta dapat disalahgunakan secara politis dan diskriminatif
- Turner sampai pada kesimpulan logis bahwa jika Google menandatangani kontrak tanpa batas, Jeff harus mengundurkan diri demi menepati janjinya
- Ia menyiapkan skenario agar Jeff memberi tahu Sundar Pichai bahwa ia tidak bisa tetap bertahan jika kontrak ditandatangani
- Menunjukkan dukungan karyawan melalui petisi 250 orang
- Juga mengamankan dukungan dari beberapa pegawai senior yang bersedia bertindak bersama jika Jeff menarik garis tegas
- Karena koalisi beberapa orang bisa dipecah lewat bonus atau persuasi individual, strategi nyata bergantung pada pengaruh satu orang, yaitu Jeff
- Karena tuntutan yang samar seperti “jangan buat kontrak buruk” bisa berujung pada kontrak yang hanya tampak lebih baik di permukaan, ia menyiapkan alternatif yang konkret
Kerangka kerja AI militer setebal 25 halaman
- Turner menggunakan cuti dan waktu pribadinya untuk menyusun redaksi kontrak dan struktur pengawasan sepanjang 25 halaman, lalu meminta peninjauan dari pakar hukum militer dan hukum pengawasan
- Seorang pakar hukum di bidang integrasi tempur manusia dan AI menilai kerangka itu “sebenarnya cukup bagus” dan mengusulkan perbaikan
- Saat menyediakan AI kepada lembaga yang menggunakan kekuasaan paksa seperti pemerintah, ia menerapkan dua standar
- Kontrol manusia atas penggunaan kekuatan
- Mencegah AI digunakan dalam sistem yang memilih dan menyerang target dalam tiap keterlibatan tanpa kontrol manusia yang memadai
- Berlaku juga ketika hanya komponen AI yang disediakan ke pipeline penargetan
- Menuntut transparansi hukum untuk memverifikasi cara penempatan yang sah serta verifikasi oleh auditor netral yang disepakati bersama
- Tidak membatasi pertahanan intersepsi, analisis intelijen yang memenuhi standar kedua, logistik, dan litbang
- Larangan profiling AI non-targeted
- Mencegah data massal diubah menjadi informasi tentang individu yang bukan target investigasi yang telah ditetapkan sebelumnya
- Analisis individu tidak boleh dimulai hanya berdasarkan karakteristik demografis atau ekspresi politik
- Investigasi mendalam terhadap individu tidak boleh dimulai hanya berdasarkan output AI
- Analisis terhadap target yang sudah ditentukan, riset agregat, dan analisis wilayah konflik untuk meningkatkan perlindungan non-kombatan tetap diperbolehkan
- Kontrol manusia atas penggunaan kekuatan
- Ia merancang Defense AI Review Body beranggotakan 7 orang yang diangkat dan diawasi oleh Chief Scientist
- Mengalokasikan 2 dari 7 kursi untuk cloud
- Karyawan hanya wajib mengundurkan diri dari pembahasan kontrak yang mereka terlibat di dalamnya
- Menetapkan batas maksimum keterlambatan peninjauan 10 hari
- Pembahasan dilindungi oleh attorney-client privilege
- Wewenang Review Body hanya bersifat konsultatif, tetapi kasus ketika rekomendasinya diabaikan akan dimasukkan dalam laporan transparansi tahunan yang dibagikan kepada seluruh karyawan AI
- Untuk membubarkan organisasi itu diperlukan pemberitahuan sebelumnya serta pengungkapan yang akurat atas ketidakpatuhan yang belum terselesaikan, sehingga lebih sulit untuk dilumpuhkan diam-diam seperti prinsip 2018
- Jika Congress meloloskan undang-undang yang secara substantif mengatur penggunaan tersebut, standar itu dapat dicabut dengan suara mayoritas mutlak dari Chief Scientist dan Review Body
- Jika dituntut “semua penggunaan yang sah”, rancangan itu mengharuskan penerimaan memo hukum yang membuktikan legalitas penggunaan yang direncanakan, dan penggunaan yang tidak memenuhi standar perusahaan harus ditolak
- Dengan mempertimbangkan kemungkinan pihak lawan kontrak akan menolak, ia juga memasukkan klausul yang kurang penting dan bisa dikompromikan dalam negosiasi, seperti eskalasi ke dewan Alphabet
Makan siang dengan Jeff dan usulan yang saya kirim ke Demis
- Pada 17 Maret 2026, saya bertemu Jeff di Mountain View dan mengusulkan agar ia memimpin Review Body, tetapi Jeff tidak menerimanya
- Saya tidak mengutip percakapan pribadi tanpa izin, dan tindakan publik yang dapat diverifikasi adalah bahwa Jeff menandatangani pernyataan dukungan Anthropic tetapi tetap bertahan di perusahaan bahkan setelah Google menandatangani kontrak
- Karena Jeff tidak memimpin kerangka kerja tersebut, peluang keberhasilannya turun drastis, dan saya memilih Demis Hassabis sebagai jalur berikutnya
- Saat diakuisisi Google pada 2014, DeepMind menerima janji bahwa AI tidak akan digunakan untuk tujuan militer atau persenjataan, dan pada 2018 para pendiri bersama serta organisasi itu sendiri ikut dalam ikrar menentang senjata otonom mematikan
- Setelah mencoba selama seminggu untuk menyampaikan usulan melalui jalur manajemen, pada 1 April 2026 saya mengirim pesan langsung kepada Demis
- Demis menginstruksikan dua petinggi yang menangani kebijakan Google DeepMind untuk mengevaluasi kerangka kerja tersebut
- Keduanya pada awalnya tidak menjawab, lalu kemudian meneruskannya kepada penanggung jawab tingkat bawah
- Para penanggung jawab tingkat bawah bersikap positif terhadap kerangka kerja itu, tetapi mengatakan bahwa jawaban bisa memakan waktu berbulan-bulan
- Memo Departemen Pertahanan AS tanggal 9 Januari memberi tenggat 180 hari hingga 8 Juli kepada semua kontraktor AI untuk menerima kontrak “untuk semua penggunaan yang sah”, sehingga peninjauan berbulan-bulan tidak sesuai dengan situasinya
- Turner menawarkan untuk datang dari San Francisco ke London demi sesi tanya jawab, tetapi para petinggi kebijakan itu kembali tidak menjawab
- Saya tidak puas dengan proses ketika CEO telah memerintahkan peninjauan tetapi hasil evaluasinya tidak disampaikan, meski saya tetap membuka kemungkinan adanya alasan yang sah namun tidak diketahui
Kontrak Departemen Pertahanan AS yang diam-diam diteken Google
- Pada 27 April 2026, laporan media mengungkap fakta bahwa Google menandatangani kontrak AI rahasia
- Turner juga menandatangani surat kepada Sundar bersama lebih dari 600 karyawan lain yang meminta penolakan atas kontrak AI rahasia itu
- Frasa inti kontrak tersebut adalah sebagai berikut
- Departemen Pertahanan AS dapat menggunakan Google AI untuk “semua tujuan pemerintah yang sah”
- Atas permintaan pemerintah, Google harus membantu menyesuaikan pengaturan keselamatan dan filter AI
- Terdapat kalimat bahwa AI tidak boleh digunakan untuk pengawasan domestik skala besar atau senjata otonom tanpa pengawasan manusia yang memadai
- Namun pada saat yang sama juga dinyatakan bahwa Google tidak memiliki hak untuk mengendalikan atau menolak operasi pemerintah yang sah
- Karena “should not” bukanlah larangan yang mengikat, saya menilai itu hanya respons formal terhadap kekhawatiran etis
- Google tidak memberi tahu internal soal penandatanganan kontrak itu, dan Turner mengetahuinya dari grup Signal pada pukul 11:45 malam
- Google juga pernah mundur dari kompetisi kawanan drone otonom kendali suara senilai 100 juta dolar setelah peninjauan etika internal
- Fakta bahwa peninjauan etika yang benar-benar berfungsi memang ada pada sebagian proyek dinilai positif
- Namun dalam kontrak “untuk semua penggunaan yang sah”, Google tidak bisa mengetahui Gemini sebenarnya akan dipakai untuk tujuan apa, sehingga sulit menilai apakah manfaatnya jauh melebihi kerugiannya
- Dengan mencontohkan kasus ketika bahkan CEO Anthropic mengatakan ia tidak tahu Claude berperan seperti apa dalam pengeboman sekolah perempuan di Iran, ia menekankan kurangnya transparansi setelah penerapan
Perubahan pada prinsip AI yang dikatakan tidak berubah
- Demis mengatakan dunia telah menjadi lebih berbahaya dan kemenangan nilai-nilai demokratis tidak bisa dianggap pasti, sehingga perlu bekerja sama dengan pemerintah
- Ia juga menyatakan bahwa prinsip dasar Google, yaitu menilai dengan cermat apakah manfaat jauh melebihi risiko kerugian, serta menghormati hukum internasional dan hak asasi manusia, tidak berubah
- Turner menilai bahwa standar “lihat situasinya lalu putuskan” bukanlah komitmen awal yang dapat dipertahankan di bawah tekanan, sehingga sulit dianggap sebagai prinsip
- Prinsip AI Google 2018 secara eksplisit menyatakan bahwa Google tidak akan mengembangkan atau menerapkan senjata yang tujuan utamanya melukai manusia maupun pengawasan yang melanggar norma yang diakui secara internasional
- Karena prinsip ini, Google mundur dari tender kontrak JEDI senilai 10 miliar dolar pada 2018
- Revisi tertanggal 4 Februari 2025 yang turut ditulis Demis menghapus larangan spesifik terkait senjata dan pengawasan
- Menghapus klausul larangan sambil mengatakan “prinsipnya tidak berubah” adalah dua posisi yang tidak mungkin benar secara bersamaan, dan ketika saya membagikan ketidaksesuaian ini di kanal internal pada hari kerja terakhir saya, banyak karyawan menyatakan kekecewaan
Kerja sama dengan pemerintah dan konsesi tanpa batas adalah pilihan yang berbeda
- Bahkan jika menerima premis bahwa demokrasi Barat harus mengadopsi senjata otonom untuk melawan otoritarianisme, saya menilai bahwa menerima semua tuntutan Departemen Pertahanan AS bukanlah satu-satunya pilihan
- Dengan menerapkan kerangka tata kelola AI militer, penggunaan yang diperlukan untuk bersaing dengan China bisa diizinkan sambil membatasi penggunaan yang tidak etis
- Sekalipun kontrak itu dipaksakan, Google tetap bisa menggunakan pengaruhnya untuk menuntut perlindungan hukum kepada Congress, sehingga saya memandang penerimaan kontrak tanpa batas adalah sebuah pilihan
Kepercayaan pribadi dan tata kelola institusional
- Demis lebih memilih pendekatan membangun kepercayaan di dalam Google dan duduk di meja pengambilan keputusan, alih-alih menarik garis yang jelas sejak awal, karena menurutnya struktur seperti dewan independen atau piagam keselamatan belum tentu berfungsi dengan benar pada saat-saat krusial
- Filosofi ini terbentuk setelah Sundar menolak dalam negosiasi yang berupaya memisahkan DeepMind sebagai organisasi semi-independen
- Turner membantah bahwa sistem seharusnya mengurangi jumlah kepercayaan yang dibutuhkan
- Individu juga terekspos pada tekanan yang menentukan dan bisa memiliki insentif yang lebih buruk seperti kepemilikan saham, relasi sosial dengan rekan kerja, dan citra diri yang melekat pada perusahaan
- Kerangka kerja itu hanya membuat satu asumsi kepercayaan, yaitu bahwa Chief Scientist akan bertindak wajar hingga Review Body dibentuk, lalu setelah itu menciptakan kepercayaan yang dibenarkan melalui kontrak dan transparansi
- Meski tidak sepenuhnya dapat mencegah kontrak yang tidak patut, kerangka itu menambahkan gesekan dan biaya keterbukaan untuk meloloskannya
- Demis hadir di meja pengambilan keputusan untuk semua kontrak yang relevan, tetapi kontrak final tidak memuat satu pun klausul mengikat yang mencerminkan kekhawatiran etis karyawan
- Saya mengakui mungkin saja ia mencegah hasil yang lebih buruk, tetapi syarat kontrak yang sebenarnya mendekati batas bawah yang bisa diperkirakan dan bahkan lebih lemah daripada syarat OpenAI
- Andreas Kirsch, ilmuwan riset Google DeepMind, juga secara independen sampai pada kesimpulan yang sama dalam “Trust is not Governance”
Kegagalan eksperimen tata kelola Google DeepMind
- Google DeepMind dijual ke Google dengan premis adanya janji pelarangan penggunaan senjata dan struktur tata kelola semi-independen, tetapi Sundar menolak struktur independen tersebut
- Prinsip AI 2018 yang lahir dari tekanan karyawan juga kemudian dilemahkan ketika pimpinan menghapus larangan konkret atas senjata dan pengawasan
- Di Google DeepMind, tekanan laba dan politik mengalahkan janji etis, sedangkan Anthropic mempertahankan garis larangan yang ada di bawah tekanan yang sama
- Kesimpulannya bukan bahwa tidak ada orang yang memegang prinsip, melainkan bahwa masyarakat tidak bisa bergantung pada individu etis untuk bertahan sampai akhir
- Sekalipun Congress tidak mampu merespons secara efektif, kita harus berhenti menganggap bahwa keselamatan terjamin hanya karena para eksekutif “duduk di meja pengambilan keputusan”
Pilihan yang tersisa bagi para penandatangan ikrar
- Jeff Dean, Demis Hassabis, Shane Legg, dan lainnya telah berikrar untuk tidak mendukung pengembangan, pembuatan, perdagangan, atau penggunaan senjata otonom mematikan, tetapi tetap bertahan di perusahaan setelah Google memasok AI ke militer tanpa hak membatasi penggunaannya
- Terhadap tafsir bahwa kontrak itu bukan secara eksplisit mengizinkan senjata otonom melainkan hanya tidak melarangnya, saya membantah bahwa menutup mata agar tidak tahu ke mana teknologi dipakai tidak menghapus tanggung jawab
- Saya menilai bahwa tetap bertahan di perusahaan yang membuat AI terbaik, memberikannya kepada militer yang menginginkan penggunaan senjata otonom, dan bahkan melepaskan hak untuk membatasi penggunaannya, lalu terus mengembangkan AI di sana, bertentangan dengan ikrar tersebut
- Menurut saya, ada tiga pilihan jujur yang tersisa bagi para penandatangan ikrar
- Menjelaskan secara terbuka bagaimana tetap bertahan selaras dengan ikrar itu
- Menyatakan bahwa mereka tidak lagi mendukung ikrar tersebut dan menjelaskan alasannya
- Meninggalkan perusahaan
- Jika bahkan pada garis larangan yang paling jelas pun mereka gagal mendapatkan satu klausul yang mengikat, maka alasan “tetap tinggal untuk mengarahkannya secara positif dari dalam” menjadi lemah
- Jika janji yang paling jelas dilanggar tanpa tindakan apa pun, maka kredibilitas janji keselamatan berikutnya juga menurun, dan pada akhirnya janji itu sendiri menjadi tidak bernilai
Keheningan para pemimpin etika AI
- Tanggung jawab tidak terbagi rata antara Pete Hegseth dan Donald Trump yang menekan Departemen Pertahanan AS, Sundar Pichai yang menandatangani kontrak, serta Jeff Dean yang tidak menggunakan pengaruhnya lebih jauh
- Turner terutama kecewa pada tidak adanya respons yang terus berlanjut dari para pakar AI senior yang secara terbuka mengedepankan komitmen etis
- Geoffrey Hinton sangat kecewa atas pencabutan komitmen Google terkait AI militer, dan Turner menduga hal itu mungkin karena kekhawatiran bahwa pemerintahan saat ini akan memperlakukan Google secara tidak menguntungkan
- Stuart Russell dan Hinton pada umumnya bukan sosok yang pasif
- Stuart telah lama secara terbuka memperingatkan tentang risiko eksistensial AI dan senjata otonom mematikan
- Hinton meninggalkan AS pada 1980-an karena menentang pendanaan AI militer, lalu keluar dari Google pada 2023 agar bisa berbicara bebas tentang risiko AI
- Pada September 2025, Global Call for AI Red Lines ditandatangani oleh lebih dari 300 orang, termasuk 15 peraih Nobel dan Turing; Stuart, Bengio, Hinton, dan Mark Nitzberg juga mendukung pelarangan pengawasan massal dan senjata otonom mematikan
- Mereka menandatangani prinsip-prinsip abstrak, tetapi ketika benturan nyata antara perusahaan dan pemerintah terjadi pada Februari 2026, IASEAI tidak mengeluarkan pernyataan apa pun
- Penafsiran bahwa mereka menyimpan modal politik untuk momen yang lebih penting mungkin menjelaskan alasan menghindari pernyataan publik, tetapi tidak menjelaskan mengapa mereka sampai menolak bantuan berbiaya rendah seperti koneksi privat dengan pengambil keputusan di Google
- Jeff patut dihormati sebagai satu-satunya eksekutif Google yang mengambil tindakan publik, tetapi Turner menilai ia masih bisa menggunakan pengaruh yang lebih besar untuk menghentikan kontrak tersebut
Tindakan internal yang melampaui batas jabatan dan pengunduran diri
- Seorang “ilmuwan riset yang bertanggung jawab” pada umumnya mungkin hanya akan menulis kekhawatiran di Twitter dan mengirim pesan ke manajer, tetapi Turner menilai hanya rencana yang efektif yang layak disebut tindakan
- Ia menetapkan foto Alex Pretti sebagai notifikasi di ponselnya, dan menahan rasa takut sambil membayangkan kejadian saat ICE menembak orang dan menyeret mereka keluar dari rumah
- Ia tidak memilih jalur umum berupa pindah ke laboratorium AI papan atas lain dan menerima bonus besar
- Ia juga menolak pendekatan dari tim keselamatan OpenAI
- Saat mengundurkan diri, ia belum memiliki pekerjaan lain
- Sejak Februari ia memandang kemungkinan Google menandatangani kontrak itu tinggi, tetapi jika kontrak tersebut tidak benar-benar terjadi, ia mungkin akan bertahan beberapa bulan lagi
- Setelah kontrak ditandatangani, ia merasa tidak lagi bisa bekerja, dan memutuskan keluar karena kantor itu, seperti sekolah lamanya, bukan lagi tempat ia merasa menjadi bagiannya
Sanggahan yang diperkirakan dan jawabannya
- Seseorang tidak bisa disalahkan hanya karena tidak mengikuti usulan tertentu, tetapi Turner menilai jika para pemimpin etika senior bertindak dalam bentuk apa pun, seharusnya ada dampak yang terlihat pada hasilnya
- Jika Jeff benar-benar menentang dengan keras sampai mempertaruhkan pengunduran diri, Turner memperkirakan kontrak final setidaknya akan memuat satu atau lebih klausul yang mengikat
- Tidak semua orang wajib berbicara tentang setiap isu, tetapi berbeda halnya jika seseorang menjanjikan pemungutan suara anggota lalu membatalkannya, atau menjadikan penolakan terhadap senjata otonom mematikan sebagai bagian penting dari identitasnya lalu diam pada momen penentu
- Ia setuju bahwa walaupun kerangka kerja telah diajukan, Departemen Pertahanan AS mungkin saja tetap menolaknya
- Pemasok lain seperti xAI tetap akan menyediakan AI
- Namun, jika Google bersekutu dengan Anthropic dan OpenAI atau menolak permintaan Departemen Pertahanan AS, kepatuhan industri teknologi bisa diubah menjadi respons yang independen
- Karena jika Departemen Pertahanan AS menolak, Google juga dapat menarik diri dari kontrak, pengaruh Jeff tetap penting
- Departemen Pertahanan AS mendeskripsikan kontrak dengan Amazon Web Services, Google, Microsoft, NVIDIA, OpenAI, Reflection, Oracle, SpaceX, dan Anthropic sebagai “pernyataan respons” terhadap benturan dengan Anthropic, sambil menekankan bahwa perusahaan teknologi besar mendukung militer dan semua penggunaan yang sah
Risiko eksistensial AI dan deployment militer
- Turner menilai argumen keselamatan AI canggih yang kredibel dari Google DeepMind kemungkinan sangat bergantung pada pemantauan chain of thought yang dibahas dalam Frontier Safety Framework
- AI yang tidak selaras bisa menipu dengan tidak secara langsung mengungkapkan niat berbahaya demi menghindari penghentian, dan memeriksa proses berpikir adalah salah satu cara utama untuk mendeteksinya
- Untuk pemantauan diperlukan pengawas manusia terlatih yang dapat mengakses dan menganalisis data, tetapi pusat data militer rahasia dipisahkan dari infrastruktur Google komersial
- Maksudnya bukan bahwa karyawan Google harus membaca operasi militer, melainkan bahwa pada dasarnya mungkin tidak ada insinyur militer yang terlatih memadai untuk melakukan pemantauan tersebut
- Tanpa memantau penipuan dalam proses berpikir, akan lebih sulit mengendalikan kemungkinan AI menyebabkan kerusakan katastrofik pada umat manusia melalui intrik, penipuan, dan pengambilalihan
- Lingkungan deployment militer memiliki pengawasan yang lemah sekaligus akses ke pengambil keputusan dan infrastruktur yang kuat, sehingga bisa menjadi lingkungan yang menarik bagi AI jahat
- Ia berharap militer dan US CAISI mengembangkan keahlian, kewaspadaan, dan prosedur kontrol untuk memantau serta membendung AI jahat
Keterbatasan pembelaan “hanya menyediakan akses API”
- Manajemen mengatakan bahwa menyediakan akses API ke model komersial dengan syarat standar industri adalah cara yang bertanggung jawab untuk mendukung keamanan nasional
- Akses API pada umumnya memberi kesan bahwa permintaan dikirim ke server penyedia sehingga penyedia dapat memantau penggunaannya
- Dalam operasi rahasia, kueri plaintext tidak dapat dikirim ke server Google, sehingga Turner memperkirakan bentuknya adalah metode on-premise yang menyediakan endpoint Gemini API pada klaster cloud pemerintah yang terisolasi
- Dalam kasus ini, pernyataan “hanya akses API” mungkin benar secara teknis, tetapi memberi kesan keliru bahwa pemantauan terpusat oleh Google dimungkinkan, dan tidak menyelesaikan masalah senjata otonom, kejahatan perang, maupun profiling massal
- Menurut Turner, selain Anthropic, Google juga ikut berkontribusi menjadikan syarat seperti ini sebagai standar industri
1 komentar
Opini Hacker News
Saya menghormati keputusan TurnTrout untuk bertindak sesuai apa yang ia yakini benar meski ada tekanan. Agar umat manusia bisa membuat pilihan yang lebih baik dalam dilema tahanan besar yang akan kita hadapi selama 20 tahun ke depan, kita membutuhkan lebih banyak orang cerdas seperti ini.
Saya sempat memandang negatif bahkan para peneliti AI, karena menganggap industri AI mengekstraksi dan menjual kembali nilai sambil mengabaikan upaya kolektif orang lain. Namun kejadian ini membuat rasa hormat saya terhadap para peneliti AI sedikit meningkat. Meski TurnTrout mungkin tidak sepenuhnya setuju dengan kerangka pandang ini, saya senang ia tetap memegang prinsip etikanya.
Saya bergabung untuk melakukan riset keselamatan AGI demi mengurangi risiko eksistensial AI, dan secara sadar menghindari pekerjaan yang meningkatkan performa murni Gemini. Saat itu saya memilih kompromi menurut pertimbangan saya sendiri, dan mengkritik keputusan itu juga sah-sah saja.
Saya keluar dari Microsoft karena kerja samanya dengan Israel dan IDF, termasuk mengawasi warga Palestina dan merekam semua panggilan. Setelah itu Microsoft membatalkan sebagian langkahnya, tetapi Satya juga tidak bebas dari tanggung jawab.
https://www.theguardian.com/world/2025/sep/25/microsoft-bloc...
Tulisan ini tidak sepenuhnya menggambarkan kasus Anthropic secara akurat. Wakil Menteri Pertahanan AS untuk Riset dan Rekayasa, Emil Michael, menjelaskan di podcast All-In bahwa selama negosiasi Dario terus mengatakan, “Kalau perlu, telepon saja; setiap kali itu terjadi kita bisa menetapkan garis batasnya.”
Dalam konflik besar yang bisa berkembang dalam 30 menit setelah peluncuran ICBM, organisasi keamanan nasional tidak bisa setiap kali menelepon Dario untuk meminta izin. Emil tampaknya menilai Dario berusaha memegang kendali akhir melalui hak veto per item, bahkan bisa saja memprioritaskan kewenangan itu di atas kelangsungan hidup negara. Dari sudut pandang pengadaan militer, masuk akal untuk mencatat perilaku semacam ini dan, dalam situasi tertentu, membagikannya dengan lembaga lain; basis data untuk mencatat perilaku bermasalah kontraktor juga sudah ada.
Jelas bahwa All-In adalah forum yang bersahabat bagi Emil, tetapi menurut saya justru karena ia tidak membuang waktu untuk membela diri dari serangan, kita bisa mendengar rincian fakta yang lebih halus.
Bagian terkait: https://www.youtube.com/watch?v=gzwRflcLPAA&t=2479
Catatan kontraktor: http://www.ppirs.gov/
Di Uber, Emil bertugas mendiskreditkan dan menghancurkan lawan politik, dan tidak ada dasar untuk menganggap ia bertindak berbeda sekarang.
Orang yang berpegang pada prinsip sudah terlalu langka.
Cara TurnTrout hidup sesuai prinsipnya sungguh mengesankan. Saya tidak tahu apakah saya punya keberanian atau keyakinan diri sebesar itu, dan ini kontras dengan orang-orang cerdas yang memilih bekerja di perusahaan seperti Palantir dan bangga akan hal itu.
Ini juga menyerupai penolakan wajib militer karena hati nurani terhadap mesin perang dan sistem keuangan imperium yang membutuhkannya. Meski punya otoritas karena pernah bekerja langsung di Google DeepMind, orang-orang tetap jarang akan mendengarkan; pada masa perang, kegilaan dan uang mengalahkan logika dan akal sehat.
Seperti setelah Snowden, ketika orang-orang Five Eyes tidak berbondong-bondong mengundurkan diri, kebanyakan orang akan mencari alasan untuk tidak melawan penindasan. Fakta bahwa penulis adalah vegan dan sudah terbiasa mempertahankan prinsipnya sendirian di masyarakat yang berpusat pada konsumsi daging mungkin telah menjadi latihan untuk penolakan hati nurani yang lebih besar.
Orang yang menanggung KPR, anak, cicilan mobil, dan kartu kredit yang sudah mentok limitnya, atau orang yang menjelang pensiun, sulit untuk melawan secara terbuka; sementara anak muda mungkin kekurangan bahasa untuk menyatakan niatnya. Aktivisme satu orang jangka panjang yang benar-benar menghadapi kekuasaan juga membutuhkan kemandirian finansial yang memadai.
Kita juga berutang besar kepada mereka yang tidak diakui sebagai whistleblower, terutama ketika media lebih banyak membahas keadaan pribadi pihak terkait daripada inti masalahnya. Langkah pertama ini menyerupai perjalanan pahlawan klasik: setelah awalnya menolak panggilan, ia memasuki dunia yang luar biasa dan kembali membawa sesuatu yang bermanfaat bagi semua orang.
Saya menghormati bahwa ia mempertahankan keyakinannya, tetapi penasaran mengapa ia tidak menginginkan senjata AI cerdas. Bukankah AI terpasang yang bisa membedakan warga sipil tak bersenjata dari target militer justru merupakan pilihan yang lebih bertanggung jawab daripada ranjau konvensional yang meledakkan apa saja?
Sama seperti saya tidak ingin mesin berbasis LLM menangani anestesi operasi, saya juga tidak menginginkan sistem militer yang menentukan hidup-mati jauh lebih banyak orang dalam kondisinya saat ini. Sekalipun di masa depan teknologi pengoperasian senjata benar-benar bisa dipercaya, akan muncul pertanyaan filosofis baru seperti apakah perang itu sendiri memang perlu, dan apa motivasi teknologi yang makin mendekati AGI itu.
Untuk pembunuhan yang tidak sah, manusia harus bertanggung jawab, tetapi dengan senjata AI terlalu mudah menghindari tanggung jawab dengan mengatakan “itu kesalahan algoritme dan akan kami perbaiki di versi 23”. Mengintegrasikan AI ke dalam senjata membuat jarak menuju pembunuhan sepenuhnya otomatis menjadi sangat pendek.
Dalam rekomendasi konten ekstremis, salah identifikasi orang kulit hitam, dan perekrutan yang bias terhadap laki-laki, tanggung jawab selalu dialihkan dengan mengatakan “algoritmenya yang melakukan”. Karena tindakan nyata sistem seperti ini pada dasarnya adalah tujuannya, upaya untuk menetapkan tanggung jawab hukum secara eksplisit pun biasanya dihindari mati-matian.
Saya pernah bekerja di Google, tetapi omongan soal etika AI bukanlah janji, melainkan tipu daya. Seperti banyak perusahaan lain, Google mempertahankan fokus dan motivasi karyawan dengan disinformasi yang disusun cermat dan kebenaran setengah-setengah.
Pernyataan bahwa “suara karyawan didengar” juga hanya benar ketika tidak ada dampak bisnis dan bisa membungkus perusahaan agar terlihat baik. Jika muncul sedikit saja perlawanan politik atau ekonomi, mereka tidak mendengarkan. Saya sangat menghargai penulis yang berjuang untuk perubahan, tetapi dark pattern Google sudah terlalu mengakar untuk dicabut hanya dengan saling bertukar whitepaper dan email secara sopan.
Meski baru diposting 1 jam dan mendapat lebih dari 200 poin, tulisan itu menghilang dari halaman depan HN.
Google adalah perusahaan oportunistis yang membuang kebijakan DEI setelah Trump terpilih, dan sejak awal kebijakan itu pun tidak tulus. Upaya kali ini agak naif sehingga pasti gagal, tetapi produk AI militer pun kemungkinan besar tidak akan berfungsi dengan baik selain untuk meledakkan sekolah perempuan.
Para CEO tampak berebut maju untuk mendukung rencana regulatory capture Hassabis.
https://xcancel.com/sundarpichai/status/2077086951833063580#...
https://xcancel.com/satyanadella/status/2077063479232795024#...
https://xcancel.com/elonmusk/status/2077415601610297535#m
Itu adalah pertemuan tertutup mereka sendiri, dan kita bukan bagian darinya.
Mayoritas orang yang memegang GOOG, MSFT, META, dan sejenisnya hanya ingin 401(k) mereka naik, bukan peduli bagaimana laba itu dihasilkan; sejak awal sistemnya memang dirancang begitu.