Posisi Anthropic terhadap model open-weight

 (anthropic.com)
1 poin oleh GN⁺ 3 jam lalu | 3 komentar | Bagikan ke WhatsApp
  • Model open-weight yang tidak memiliki kemampuan berbahaya adalah barang publik yang memberi nilai bagi perusahaan, pengembang, dan peneliti, dan Anthropic menentang pelarangan kategori ini secara menyeluruh
  • Kekhawatiran utama keamanan nasional bukanlah bentuk perilisannya sendiri, melainkan keunggulan AI pemerintah otoriter, serangan siber dan biologis dengan model kuat, serta masalah alignment
  • Open-weight membuat penerapan pagar pengaman dan pemantauan penggunaan menjadi sulit, serta meningkatkan risiko karena tidak bisa ditarik kembali setelah didistribusikan, tetapi melarang perusahaan AS menggunakannya juga sulit menghentikan pelaku jahat
  • Sebagai alternatif, Anthropic mendukung pemblokiran ekspor chip berperforma tinggi dan peralatan manufaktur ke Tiongkok, penindakan distilasi skala industri, serta uji keselamatan wajib berbasis kapabilitas yang mencakup model terbuka maupun tertutup
  • Anthropic menilai jangan berasumsi sejak awal bahwa open-weight menguntungkan pihak bertahan, dan risiko—terutama asimetri penyerang-pembela di biologi—harus dinilai lewat uji empiris sebelum rilis

Mengapa menentang pelarangan total open-weight

  • Setelah muncul laporan bahwa beberapa pejabat AS mempertimbangkan pelarangan penggunaan model open-weight asal Tiongkok oleh perusahaan AS, sejumlah perusahaan teknologi menandatangani surat terbuka yang mendukung open-weight
  • Anthropic membantah kritik bahwa mereka menginginkan pelarangan demi melindungi bisnisnya, dan menyatakan mereka tidak pernah mendorong pelarangan seluruh kategori model open-weight
  • Model open-weight yang tidak memiliki kemampuan berbahaya adalah barang publik yang memberi nilai bagi perusahaan, pengembang, dan peneliti tanpa biaya tambahan selain biaya komputasi yang dibutuhkan untuk menjalankannya
  • Larangan proteksionis bisa hanya melindungi perusahaan AI AS dari persaingan tanpa menyelesaikan ancaman utama terhadap keamanan nasional

Dua ancaman keamanan nasional

  • Keunggulan AI pemerintah otoriter

    • Kekhawatiran terbesar adalah situasi ketika pemerintah otoriter, termasuk Partai Komunis Tiongkok (CCP), mengembangkan model AI yang lebih kuat daripada AS untuk memperoleh keunggulan militer permanen atau menggunakannya untuk menindas warganya secara ekstrem
    • CCP bukan satu-satunya ancaman, tetapi dinilai sebagai ancaman paling kuat di antara pemerintah otoriter
    • Pemerintah AS juga mengkhawatirkan masalah yang sama
    • Wakil Presiden Vance memperingatkan bahwa rezim otoriter telah mencuri dan menggunakan AI untuk memperkuat kemampuan militer, intelijen, dan pengawasan
    • Penilaian Ancaman Tahunan 2026 menilai bahwa kemajuan AI negara besar lain mengancam daya saing ekonomi dan keunggulan keamanan nasional AS
    • Dalam ancaman ini, apakah model tersebut open-weight dan apakah digunakan oleh perusahaan AS bukanlah hal yang penting
    • Model paling berbahaya bisa jadi adalah model yang dilatih secara rahasia lalu hanya diberikan kepada drone Tentara Pembebasan Rakyat atau pengawasan dan represi oleh Kementerian Keamanan Negara

  • Serangan siber, biologis, dan masalah alignment

    • Kekhawatiran kedua adalah situasi ketika model AI yang kuat disalahgunakan untuk serangan siber dan biologis atau menimbulkan masalah alignment yang serius
    • Terlepas dari negara asalnya, model open-weight bisa memiliki potensi risiko yang lebih besar daripada model tertutup
    • Sangat sulit menerapkan pagar pengaman atau memantau pola penggunaan pada open-weight
    • Setelah weight dipublikasikan, itu tidak bisa ditarik kembali dan pagar pengamannya pun bisa dihapus
    • Salinannya juga bisa diunduh, didistribusikan ulang, atau dijalankan di sistem privat yang tidak dapat diawasi
    • Laporan UK AI Security Institute menilai bahwa publikasi model open-weight dengan kemampuan berbahaya menciptakan risiko penyalahgunaan yang berkelanjutan dan tak dapat dipulihkan
    • Karena kecil kemungkinan perusahaan legal di AS adalah pelaku jahat, melarang perusahaan AS menggunakan model semacam ini tidak langsung mencegah risiko tersebut

Kontrol chip berperforma tinggi dan peralatan manufaktur

  • Penjualan chip berperforma tinggi dan peralatan manufaktur chip ke Tiongkok harus dihentikan, dan penyelundupan serta jalur pengelakan untuk memperoleh chip harus ditindak
  • Kapasitas produksi domestik Tiongkok terbatas, dan berdasarkan scaling laws, dinilai tidak mungkin membuat model yang lebih kuat daripada AS tanpa chip buatan AS
  • Kontrol chip adalah cara paling efisien dan langsung untuk memblokir ancaman pertama, yaitu pemerintah otoriter yang membuat model lebih kuat daripada AS
  • Ini juga dapat secara tidak langsung mengurangi risiko serangan siber, biologis, dan alignment dengan membuat pelatihan model kuat di luar cakupan hukum AS menjadi lebih sulit
  • Departemen Kehakiman AS telah mengungkap beberapa kasus upaya ekspor ilegal atau penyelundupan teknologi AI canggih ke Tiongkok, dan Anthropic menyerukan penegakan yang lebih kuat terhadap penyelundupan dan sarana pengelakan tersebut

Penindakan distilasi skala industri

  • Distilasi model lebih efisien secara komputasi daripada melatih model dari nol, sehingga memungkinkan Tiongkok membuat model yang lebih baik daripada yang dimungkinkan oleh skala chip yang mereka miliki dan sebagian mengelak dari kontrol chip
  • Distilasi saja tidak akan membuat CCP mencapai atau melampaui kemampuan AI AS, tetapi dapat mendorong model frontier Tiongkok hingga hanya tertinggal beberapa bulan dari AS
  • Meski banyak perusahaan distilasi juga merilis model open-weight, inti persoalannya bukan bentuk publikasinya, melainkan bahwa negara otoriter yang ingin melampaui frontier AS mendukung operasi skala industri
  • Alih-alih pelarangan total open-weight, diperlukan kebijakan, hukum, dan kerangka komersial yang tertarget untuk menekan distilasi
  • Anthropic juga mengidentifikasi dan memblokir akun yang menggunakan model mereka untuk distilasi skala besar
    • Ada kalanya akun terkait baru ditemukan setelah distilasi yang signifikan sudah berlangsung
    • Banyak akun palsu terus dibuat sehingga target penindakan juga terus berubah
    • Sulit diselesaikan hanya dengan tindakan masing-masing perusahaan, sehingga diperlukan intervensi kebijakan

Uji keselamatan wajib berbasis kapabilitas

  • Semua model yang cukup kuat, terlepas dari terbuka atau tertutup serta negara asalnya, harus menjalani uji risiko siber, biologis, dan alignment sebelum dirilis
  • Pemerintahan Trump baru-baru ini bergerak ke arah ini, dan usulan industri juga mencakup penerapan uji yang sama pada model paling kuat
  • Model berkapabilitas rendah yang dikembangkan startup dan akademisi dapat sepenuhnya dikecualikan dari kewajiban uji
  • Apakah risiko model terbuka benar-benar lebih besar, dan apakah risikonya bisa dikurangi, tidak boleh diputuskan sebelumnya melainkan harus dinilai dari hasil pengujian
  • Ada juga metode yang berpotensi meningkatkan keselamatan model open-weight, seperti riset strategi pelatihan modular milik Anthropic
  • Uji keselamatan yang efektif memerlukan penerapan internasional, sehingga partisipasi CCP juga diperlukan
  • Pencegahan senjata biologis berbasis AI juga bisa menguntungkan Tiongkok, sehingga kerja sama terbatas di bidang ini dinilai mungkin

Perbedaan dengan surat terbuka open-weight

  • Anthropic setuju dengan sebagian isi surat terbuka tentang open-weight dan kepemimpinan AI AS
    • Open-weight memperluas akses ke ekonomi AI
    • Dalam beberapa kasus penggunaan, open-weight memperkuat persaingan
    • Open-weight memberi pelanggan kontrol yang lebih besar
    • Masalah distilasi harus ditangani dengan kerangka hukum dan komersial yang tertarget, bukan pelarangan total
  • Namun, Anthropic tidak setuju dengan asumsi bahwa open-weight pasti memudahkan pengembangan pagar pengaman, atau bahwa akses kapabilitas yang luas lebih menguntungkan pihak bertahan daripada penyerang
  • Dalam praktiknya, akses yang luas justru bisa lebih menguntungkan penyerang, sehingga pihak mana yang lebih unggul harus diverifikasi secara empiris

Asimetri penyerang-pembela di biologi

  • Model yang cukup kuat dapat dengan cepat mempersenjatai virus setingkat pandemi dengan bahan yang tersedia luas, sementara pertahanannya bisa menjadi tugas operasional yang memerlukan waktu bertahun-tahun bahkan dalam skenario terbaik
  • Seperti pada kasus Operation Warp Speed, dibutuhkan waktu lama untuk menyiapkan teknologi dan sistem respons, sehingga bisa ada keunggulan penyerang yang kuat dalam biologi
  • Saat ini, faktor yang mencegah bencana biologis dipandang bukan keterbatasan pihak bertahan atau bahan, melainkan korelasi negatif antara kemampuan intelektual dan niat untuk menimbulkan kerusakan katastrofik
  • Teknologi sebelumnya seperti pencarian internet atau sintesis DNA tidak cukup kuat untuk mematahkan korelasi itu, tetapi ada kekhawatiran bahwa AI, dengan laju perkembangannya saat ini, segera bisa meruntuhkannya
  • Jika teknologi yang cukup kuat menghapus semua hambatan, maka akan terlihat apakah penyerang atau pembela yang memiliki keunggulan struktural, dan dalam biologi penyerang bisa lebih unggul
  • Risiko seperti ini harus dinilai bukan lewat perkiraan atau prasangka tentang bentuk publikasi, melainkan melalui uji ketat sebelum rilis

Kebijakan yang diminta Anthropic

  • Tidak melarang model open-weight sebagai satu kategori tunggal
  • Memperkuat kontrol ekspor dan penyelundupan agar pemerintah otoriter tidak memperoleh chip berperforma tinggi dan peralatan manufaktur
  • Memblokir distilasi model skala industri dengan sarana hukum, komersial, dan kebijakan
  • Mewajibkan uji risiko siber, biologis, dan alignment pada semua model terbuka maupun tertutup yang memiliki kapabilitas memadai

Bacaan terkait

3 komentar

 
unsure4000 2 jam lalu

Sepertinya setelah token yang sudah kubeli habis, tidak akan ada urusan lagi dengan mereka. Adios
 
sea715 2 jam lalu

Sungguh mengejutkan bahwa mereka mendukung open source padahal di belakang layar melakukan lobi. Rasanya kalau Anthropic mencapai AGI, mereka bakal jadi seperti Arasaka.
 
GN⁺ 3 jam lalu
Komentar Hacker News

  • Pernyataan bahwa “semua model yang memiliki kemampuan memadai harus menjalani pemeriksaan keselamatan wajib” pada dasarnya sama saja dengan menyerukan pelarangan model open-weight
    Siapa yang akan memeriksanya, dan apa yang terjadi jika biayanya terlalu mahal atau pengelola menolak peserta tertentu? AS sebelumnya juga pernah melarang produk dengan cara mewajibkan stempel sertifikasi lalu menolak menerbitkannya

    • Anthropic kemungkinan besar akan berargumen bahwa model mereka disediakan hanya dalam kondisi sudah mencakup lapisan keselamatan, jadi harus dievaluasi dalam kondisi itu, tetapi model open-weight harus lulus pemeriksaan yang sama pada bobotnya sendiri
      Dampak ekonominya akan besar, tetapi efek keamanannya tampak minim. Argumen paling meyakinkan mungkin bahwa membatasi penggunaan model open-weight di AS dapat mengurangi insiden seperti serangan terbaru terhadap Hugging Face, tetapi sulit bagi pemerintah untuk benar-benar menegakkan persyaratan pemeriksaan
      Model open-weight pada dasarnya mustahil memenuhi standar keamanan yang sama dengan model yang disediakan lewat API, dan pembuatnya pun tidak bisa mematuhinya meski ingin. Pemblokiran IP dan kontrol ekspor dapat membatasi akses serta kapasitas inferensi, tetapi tidak efektif untuk menahan pelaku jahat
    • Salah satu alasan Fable ditarik disebut-sebut adalah jailbreak yang memerintahkannya “perbaiki kode ini” — https://news.ycombinator.com/item?id=48552687
      Jika model “setingkat Mythos” memang sebahaya itu, sebaiknya biarkan saja ia memperbaiki kode semua orang. Perusahaan perangkat lunak, layanan, serta proyek free/open-source aktif di seluruh dunia paling banyak mungkin hanya berjumlah jutaan hingga puluhan juta, jadi semua orang bisa diberi kredit Fable/Mythos senilai 100 dolar agar dapat memperbaiki kode masing-masing
      Dengan 100 juta hingga 1 miliar dolar, Anthropic bisa menjalankan kampanye iklan terbesar dalam sejarah manusia sekaligus memperkuat keamanan seluruh dunia. Kebanyakan orang tidak berniat jahat, dan jika mereka insinyur, konsultan, pendiri startup, pemilik bisnis, atau maintainer, besar kemungkinan mereka ingin memakai Mythos untuk memperbaiki kode mereka sendiri
      Mengurung kemampuan seperti ini di balik gerbang izin dan pintu tertutup akan menimbulkan kerugian lebih besar dalam jangka panjang, serta menciptakan dunia asimetris tempat pihak yang memiliki akses menentukan siapa yang boleh aman. Jika semua orang memiliki Mythos, tidak ada yang memiliki “Mythos” secara eksklusif, jadi biarkan saja orang-orang memperbaiki kodenya
    • Industri evaluasi keselamatan pada dasarnya didanai dan dikendalikan oleh OpenAI dan Anthropic
      Model-model terbaru hanya memakai pemeriksaan internal atau firma evaluasi eksternal tertutup seperti Gray Swan, yang seluruh bisnisnya bergantung pada dua perusahaan itu, dan perusahaan-perusahaan ini saling memakai kumpulan peneliti yang sama
    • Tujuannya tampak seperti membuat biaya pemeriksaan keselamatan menjadi lebih dari 100 juta dolar sehingga, kecuali mengenakan harga sangat tinggi, seseorang tidak bisa merilis model yang legal digunakan di sebagian besar dunia, dan pada akhirnya tidak ada yang dapat memakai model pesaing
    • Definisi “kemampuan memadai” juga tidak ada. Kemungkinan maksudnya semua model yang bersaing dengan Anthropic, dan jika perusahaannya masih ada setahun lagi, mereka tampaknya tidak akan peduli pada model setingkat Fable, melainkan hanya ingin membatasi model yang bersaing dengan model mereka saat itu seperti Claude 7

  • Tiongkok diperlakukan sebagai Tiongkok Schrödinger: di satu sisi ancaman yang akan memakai AI untuk tujuan jahat, tetapi di sisi lain negara pesaing yang akan bekerja sama dengan AS untuk mencegah aktor tak dikenal lain mencapai tujuan yang sama
    Kenyataannya sederhana. CEO Anthropic tidak ingin model yang serupa atau lebih unggul daripada model tertutup dan mahal miliknya tersebar luas hingga merusak pendapatan
    Aset khusus Anthropic dan perusahaan model lainnya hanyalah akses istimewa ke chip, jadi wajar mereka ingin membatasi model apa yang muncul dan siapa yang dapat membuat model baru. Tanpa regulasi, hilangnya valuasi perusahaan bernilai ratusan miliar dolar hanyalah soal waktu

    • Seperti biasa, Dario tampaknya menganggap dirinya pusat dunia. Tidak ada alasan bagi Tiongkok untuk diam saja menerima dominasi AI AS, dan mereka bisa menghentikannya hanya dengan memblokade Taiwan memakai beberapa kapal
    • Mengherankan bahwa mereka mengira logika yang dipaksakan dalam tulisan blog ini akan memperbaiki citra Anthropic
      Saya akan lebih menghormati mereka jika mereka diam saja. Padahal jelas model terbuka berpotensi memicu persaingan sengit atau menghancurkan basis pendapatan mereka, tetapi mereka membungkus upaya memonopoli kekuasaan atas seluruh kerja manusia sebagai keunggulan moral
    • Tulisan itu mengemas pembatasan perangkat keras yang menuju Tiongkok sekaligus penggunaan model open-source Tiongkok di Barat dengan kalimat “kami mendukung persaingan, tetapi…”
      Menurut saya, keputusan Tiongkok untuk membuka inovasi AI sebagai open-source demi menahan atau mempercepat pecahnya gelembung AI adalah pilihan yang sangat baik dan sesuai kepentingan nasionalnya

  • Di paragraf pertama mereka mengatakan larangan tidak berguna, tetapi kemudian mengatakan penyelundupan dan jalur pengelakan untuk mendapatkan chip bagi Tiongkok harus ditindak
    Keyakinan bahwa larangan tidak efektif seharusnya berlaku sama pada perangkat keras
    Tiga langkah yang didukung Dario adalah larangan penjualan chip ke Tiongkok, penindakan distilasi, dan pemeriksaan keselamatan wajib untuk semua model berkinerja tinggi, dan kebetulan semuanya menguntungkan Anthropic secara komersial. Akan jauh lebih meyakinkan jika Anthropic pernah merilis satu saja model open-weight

    • Larangan penggunaan model open-weight Tiongkok di AS dan larangan ekspor chip AI serta peralatan manufaktur semikonduktor ke Tiongkok adalah dua perkara yang sepenuhnya berbeda, jadi menolak yang satu sambil mendukung yang lain bukanlah kontradiksi
    • Surat ini akan jauh lebih masuk akal jika Anthropic merilis model open-weight lalu Tiongkok mendistilasinya dan menyimpannya diam-diam untuk tujuan jahat
    • Ringkasnya, mereka ingin mempertahankan posisi yang memungkinkan Anthropic terus menghasilkan uang dalam jumlah sangat besar meski ada persaingan

  • Orang yang hingga kemarin tidak peduli kemungkinan teknologinya dipakai untuk membombardir sekolah perempuan di negara lain tiba-tiba mengkhawatirkan penindasan terhadap warga negara lain
    Pamer moral seperti ini, atau ceramah sok unggul tentang “skenario mimpi buruk” tahun ini, sulit dipercaya

    • Menarik bahwa bagian tentang penindasan terhadap opini yang berlawanan mengutip pemerintahan Trump saat ini
    • Sulit percaya Dario benar-benar peduli pada kesejahteraan orang Tiongkok. Jika AS berperang dengan Tiongkok dan membombardir kota-kotanya, sepertinya ia akan mendukungnya, dan memakai Claude untuk menambahkan kantor pusat DeepSeek dan Moonshot ke daftar target
      Ia pro-Israel, tetapi tidak pernah membahas risiko pemerintah Israel memakai AI untuk mengendalikan dan menindas warga negara lain, dan ia juga aktif bekerja sama dengan Palantir, yang secara eksplisit bertujuan membangun negara pengawasan serta kontrol dan penindasan populasi
      Korea Utara, negara paling represif di dunia, melakukan itu bahkan tanpa AI. Jika Anda menyampaikan gagasan Dario kepada orang Tiongkok bahwa DeepSeek atau Kimi menindas mereka, kemungkinan besar mereka akan tertawa

  • Saya tidak ingat ada perusahaan yang jatuh secepat ini dari angsa bertelur emas menjadi entitas tak jelas
    Karena sikap defensif terus-menerus yang mendasari pengumuman Dario, bahkan keinginan untuk memercayai atau bergantung pada produk Anthropic pun hilang. Saya bahkan tidak mengerti siapa yang ingin diyakinkan oleh tulisan ini, dan tampaknya Anthropic perlu berbenah

    • Komunikasi eksternal Anthropic dalam beberapa bulan terakhir sangat buruk sampai mengejutkan, dan sulit dipahami mengingat pasar ini sangat kompetitif
    • Investor besar seperti Google dan Nvidia menandatangani petisi open source, sementara Amazon tidak, jadi tampaknya mereka berusaha memuaskan investor yang terbelah sekaligus publik
      Ini sikap ambigu untuk menenangkan semua pihak yang mengambil posisi lebih jelas, tetapi hasilnya cukup buruk
    • Anthropic memang sejak awal seperti ini. Hanya saja ketika pihak lemah yang nyentrik menyampaikan pesan yang sama, orang menerimanya dengan lebih baik; sekarang mereka terlihat seperti raksasa perusahaan bernilai triliunan dolar

  • Narasinya seperti: Partai Komunis Tiongkok yang jahat adalah ancaman besar bagi perdamaian dunia dan kebaikan, jadi demi tatanan internasional berbasis aturan agar kekuatan baik berkembang dan ahli biologi kura-kura yang korup bisa disingkirkan, serahkan semua uang dan data token input ke Palantir
    https://www.theguardian.com/world/2026/jun/20/mona-khalil-tu...

    • Menjijikkan melihat miliarder AS menuduh Tiongkok sebagai ancaman bagi perdamaian dunia ketika separuh dunia menderita akibat harga energi karena perang tanpa legitimasi yang dimulai Amerika Serikat dan Israel

  • Logikanya pada akhirnya adalah “teknologi ini terlalu berbahaya, jadi hanya kami yang boleh mengaksesnya, dan karena kami berada di pihak yang baik, kami bisa menjamin penggunaannya aman”
    Kalau begitu, siapa yang mengawasi para pengawas?

    • Alasan keberadaan Anthropic sendiri adalah keyakinan bahwa AGI terlalu berbahaya untuk dikendalikan oleh OpenAI atau Sam Altman. Maka secara alami kesimpulannya juga mengarah bahwa berbahaya jika semua orang di Bumi memilikinya
    • Anthropic tidak menyerukan pelarangan model open weight itu sendiri; posisinya adalah mencegah kekuatan otoriter mendapatkan chip berkinerja tinggi, menghalangi distilasi skala industri, dan mewajibkan pemeriksaan keselamatan untuk semua model yang cukup kuat, baik terbuka maupun tertutup

  • Jika mendukung penyebaran penuh model terbuka, apa yang harus dilakukan terhadap model open weight yang memuat kapabilitas senjata biologis dan serangan siber?
    Haruskah kita menerima pemberian alat seperti ini kepada penyerang sebagai harga kebebasan? Insiden OpenAI/Hugging Face menunjukkan kemampuan model setingkat GPT 5.6 tanpa pembatasan, dan sekitar 6 bulan lagi model open weight juga akan mencapai level itu, sehingga semua pelaku jahat bisa melancarkan serangan dalam skala yang sama
    Memilih keterbukaan itu masuk akal, tetapi sikap selalu mendukungnya dalam segala situasi tanpa memikirkan dampaknya secara serius terlalu naif

    • Insiden Hugging Face dengan baik menunjukkan mengapa diperlukan model open source dengan kapabilitas siber defensif
      Hugging Face tidak punya akses ke model mutakhir dengan kapabilitas siber dan terus terhalang safeguard; baru setelah menggunakan GLM-5.2 open source mereka bisa bertahan dari serangan. Jika model open source dilarang, organisasi yang tidak masuk allowlist OpenAI atau Anthropic tidak akan bisa mengamankan keamanan siber mereka
    • Pelaku jahat pada akhirnya tetap akan mendapat akses. Intinya adalah apakah perusahaan raksasa akan menghambat inovasi
    • Saya tidak tahu soal senjata biologis, tetapi saya optimistis soal kapabilitas keamanan informasi
      Akan ada periode risiko yang menyakitkan ketika kode yang selama lebih dari 30 tahun tidak mendapat analisis seperti ini tiba-tiba ditinjau dengan kemampuan setara sejuta “taviso”, tetapi pengembang dan pembela juga bisa memakai alat yang sama. Meski ada asimetri karena biaya pertahanan lebih tinggi, ini perlombaan senjata yang akan menstabil; pada akhirnya verifikasi formal atas properti keamanan kemungkinan akan meluas, dan model yang sama akan terus menurunkan biayanya
      Distilasi dan model open weight tidak akan hilang, dan hampir tidak ada cara untuk melarang atau mengendalikannya secara efektif. Alat swalayan yang memungkinkan nonpakar mendistilasi dan memelihara sendiri model mutakhir dengan kemampuan keamanan informasi juga bisa muncul
      Jika Anda pembela, yang terbaik adalah merespons dengan asumsi itu, dan sekalipun kita memperdebatkan boleh tidaknya, dalam jangka waktu itu tidak akan muncul sistem penegakan global
    • Jika risikonya benar-benar sebesar itu, LLM harus diperlakukan seperti bom atom. AS harus menghubungi negara lain dan mencapai kesepakatan agar tidak ada pihak yang mengembangkan model AI lagi; satu-satunya cara meyakinkan pihak lain untuk berhenti adalah AS tidak memonopoli semua keuntungan dan lebih dulu memberi contoh
    • Saya tidak tahu soal biologi, tetapi kapabilitas serangan siber sudah dimiliki penyerang dan tidak bisa diputar balik
      Terbuka atau tertutup tidak terlalu penting, dan meskipun safeguard saat ini condong pada false positive, model tertutup tetap bisa menyebabkan kerusakan siber yang signifikan
      Satu-satunya kontrol yang efektif adalah meratakan lapangan bermain agar penyerang dan pembela memiliki akses ke kapabilitas yang sama. Jika membuat gerbang seperti usulan Dario—yang bisa dilewati penyerang tetapi tidak bisa dilalui pembela—hasilnya hanya menjamin kekacauan

  • Hal yang terus luput dari Dario adalah bahwa orang-orang tidak lagi percaya AS akan membuat AI yang selaras
    Seluruh strateginya bertumpu pada asumsi bahwa AS dan pemerintah AS secara luar biasa baik, tetapi bagi wilayah dunia lainnya, itu jelas terlihat keliru

    • Dalam wawancara Bloomberg, Dario dengan jelas menyatakan ia percaya pada eksepsionalisme Amerika. Ia mengatakan tidak masalah jika AI terlibat dalam pengeboman siswi di negara lain karena ia memercayai pimpinan militer AS
      Menurutnya, aturan keselamatan dan moral bagi seluruh dunia hanya boleh ditulis oleh AS, dan dalam wawancara yang sama, sambil mendukung kebijakan luar negeri AS, ia menyebut Tiongkok sebagai “rezim agresif dan gemar berperang”
      Semakin banyak warga Amerika juga melihat ini sebagai kebohongan, tetapi karena lapisan oligarki adalah penerima manfaat terbesar dari kebijakan pemerintah AS, propaganda akan terus berlanjut

  • Saya memahami logika Anthropic yang mendorong pengembangan sambil sekaligus meminta penghentian dan regulasi, dan juga bahwa ada alasan bagi individu yang menginginkan perlambatan untuk tetap bekerja di perusahaan AI
    Namun jika semua orang berpikir seperti itu, persaingan akan terus memanas sambil menunggu kesepakatan yang mungkin tidak pernah tercapai, tidak ada yang berubah, dan insentif ekonomi membenarkan setiap peserta untuk terus berjalan
    Saya berharap ada tindakan yang lebih konkret dari dalam. Ketika penilaiannya terlalu rumit, kembalilah ke prinsip dasar. Jika percaya AI berkembang terlalu cepat, hentikan pengembangannya; jika perusahaan AI menginginkan penghentian, mereka harus berhenti lebih dulu dan memberi contoh
    Perusahaan lain mungkin akan mengikuti, dan yang tidak mengikuti akan terlihat tidak bertanggung jawab. Orang yang telah memutuskan untuk tidak lagi berbuat dosa harus menjadi yang pertama meletakkan batu