Gavin Newsom memveto RUU keselamatan AI SB 1047

 (wsj.com)
1 poin oleh GN⁺ 2024-09-30 | 1 komentar | Bagikan ke WhatsApp
  • Gubernur California Gavin Newsom memveto RUU keselamatan AI SB 1047, sehingga perdebatan tentang cakupan regulasi AI terus berlanjut
  • Alasan utama veto tersebut adalah karena RUU ini hanya berlaku untuk model AI terbesar dan paling mahal, sehingga cakupannya dinilai sempit
  • Newsom menilai RUU itu tidak mempertimbangkan apakah model tersebut diterapkan dalam situasi berisiko tinggi
  • OpenAI dan Meta menentang RUU tersebut, sementara para ilmuwan peneliti terkemuka yang mengembangkan teknologi AI mendukungnya
  • Newsom mengambil posisi untuk mendorong aturan AI yang lebih komprehensif daripada SB 1047

Keputusan veto dan para pemangku kepentingan

  • Gubernur California Gavin Newsom memveto RUU keselamatan AI SB 1047 yang kontroversial
  • RUU ini merupakan isu yang mempertemukan perusahaan teknologi besar dan para ilmuwan peneliti terkemuka yang mengembangkan teknologi AI dalam posisi berseberangan
  • OpenAI dan Meta menentang RUU tersebut, sementara para ilmuwan peneliti mendukungnya

Cakupan RUU dan alasan veto

  • Dalam pesan vetonya, Newsom menilai cakupan penerapan RUU ini terbatas
    • RUU ini hanya berlaku untuk model AI terbesar dan paling mahal
    • Tidak mempertimbangkan apakah model AI diterapkan dalam situasi berisiko tinggi
  • Newsom menginginkan aturan AI yang lebih komprehensif daripada RUU ini

Bacaan terkait

1 komentar

 
GN⁺ 2024-09-30
Pendapat di Hacker News

  • https://www.wsj.com/tech/ai/californias-gavin-newsom-vetoes-...

  • Keputusan Newsom sangat bagus. Parlemen California memang sangat aktif, tetapi dalam beberapa tahun terakhir terlalu banyak legislasi yang sekadar mengikuti tren. Saya mendukung agenda Wiener, terutama kebijakan perumahan, tetapi menurut saya rancangan undang-undang ini benar-benar meleset
    Pada dasarnya ini adalah torpedo yang diarahkan ke model terbuka, dan pemain terdepan seperti OpenAI atau Anthropic tidak terlalu khawatir soal RUU ini maupun model terbuka secara umum. Para pendukungnya lebih dekat ke kubu pemain tertinggal seperti Musk yang ingin merapikan lapisan bawah, atau pihak-pihak yang menentang AI yang tidak bisa mereka kendalikan, seperti kekuatan lawan Barat dan pemegang hak cipta yang berhati-hati: https://techcrunch.com/2024/08/26/elon-musk-unexpectedly-off...

    • Salah satu alasan Newsom memveto adalah ambang penerapan RUU ini jauh lebih tinggi daripada model mana pun saat ini, dan ia menginginkan pembatasan yang lebih luas hingga model yang jauh lebih kecil dengan komputasi pelatihan yang lebih rendah, yang sama sekali tidak disentuh oleh RUU ini
      Selain itu, OpenAI bersama Google dan Meta memimpin penentangan terorganisasi terhadap RUU ini, sedangkan Anthropic justru merupakan pendukung utama
    • Kalau RUU ini adalah torpedo yang diarahkan ke model terbuka, saya heran mengapa Google, Microsoft, OpenAI menentangnya. Bukankah mereka berada di posisi yang paling diuntungkan?
    • RUU yang bisa membunuh industri baru besar, kalaupun dibuat, harus bersifat reaktif setelah ada kejadian. Ini RUU yang buruk, dan syukurlah gubernur mengambil keputusan itu
    • Kita perlu memperlambat langkah dan mendengarkan kedua pihak, bukan hanya pihak yang percaya AGI akan datang dalam 1–2 tahun dan T1000 akan mengejar kita
      Menurut saya LLM punya masa depan cerah, terutama saat makin banyak perangkat keras khusus dibuat. Sebagian besar masalah bisa diselesaikan oleh pasar, dan pemerintah seharusnya turun tangan ketika arahnya jelas salah atau monopoli dan penyalahgunaan sudah nyata, bukan bergerak berdasarkan spekulasi luas dari dua kutub ekstrem
    • Saya juga umumnya sejalan secara politik dengan Wiener, terutama soal perumahan dan transportasi publik, tetapi tidak untuk RUU kali ini

  • https://legiscan.com/CA/text/SB1047/id/3019694
    RUU ini tampaknya akan membuat penyediaan bobot terbuka untuk model di atas skala tertentu menjadi ilegal, mewajibkan pemeriksaan bahwa pelanggan tidak akan mengabaikan hukum dan melatih model sebelum menjual sumber daya komputasi yang cukup untuk melatih model semacam itu, serta memaksakan persyaratan audit untuk membuktikan bahwa model tidak membantu terjadinya bencana dan bisa dimatikan

    • Audit tidak bisa membuktikan apa pun, dan juga tidak bernilai untuk merencanakan masa depan. Audit hanyalah alat retrospektif murni yang memberi wawasan tentang potensi faktor risiko
      Dan bagian “harus bisa dimatikan” membuat saya berharap para legislator bergerak dalam realitas, bukan dalam episode Star Trek
    • Tidak ada bagian mana pun dalam RUU yang menyatakan “membuat penyediaan bobot terbuka untuk model di atas skala tertentu menjadi ilegal”. Banyak orang jadi salah paham begitu karena para penentang RUU ini
    • RUU ini terdengar seperti legislasi yang keliru menetapkan akar masalahnya sebagai “mungkin komputer terlalu pintar”, sambil melewatkan sisi “manusia dan perusahaan harus bertanggung jawab jika menggunakan alat secara jahat”
    • Ini hukum yang sangat buruk. Orang-orang yang mendukung hukum ini, terutama perusahaan, perlu diawasi apakah mereka sebenarnya sedang berusaha memonopoli pasar
    • Usulan hukum ini begitu konyol dan bodoh sampai-sampai, jika saya tinggal di California, saya akan serius mempertimbangkan untuk memilih lawan Anthony Weiner pada pemilu berikutnya
      Sulit mempercayakan kekuasaan kepada orang ini, dan ini bukan pertama kalinya ia mendorong hukum yang menggelikan. Contoh utamanya, ia berada di balik AB2098 yang jelas-jelas inkonstitusional, dan hukum itu diam-diam dicabut oleh legislatif negara bagian California sebelum digugurkan pengadilan: https://finance.yahoo.com/news/ncla-victory-gov-newsom-repea...
      https://www.sfchronicle.com/opinion/openforum/article/COVID-...
      Ini bukan masalah partisan. Terlepas dari kecenderungan politik atau posisi tentang “keamanan AI”, kita seharusnya menginginkan wakil yang lebih hati-hati daripada orang dengan penilaian seburuk ini dan pamer diri lewat legislasi

  • Tulisan terkait. Ada lagi?
    OpenAI, Anthropic, Google employees support California AI bill - https://news.ycombinator.com/item?id=41540771 - September 2024, 26 komentar
    Y Combinator, AI startups oppose California AI safety bill - https://news.ycombinator.com/item?id=40780036 - Juni 2024, 8 komentar
    California AI bill becomes a lightning rod–for safety advocates and devs alike - https://news.ycombinator.com/item?id=40767627 - Juni 2024, 2 komentar
    California Senate Passes SB 1047 - https://news.ycombinator.com/item?id=40515465 - Mei 2024, 42 komentar
    California residents: call your legislators about AI bill SB 1047 - https://news.ycombinator.com/item?id=40421986 - Mei 2024, 11 komentar
    Misconceptions about SB 1047 - https://news.ycombinator.com/item?id=40291577 - Mei 2024, 35 komentar
    California Senate bill to crush OpenAI competitors fast tracked for a vote - https://news.ycombinator.com/item?id=40200971 - April 2024, 16 komentar
    SB-1047 will stifle open-source AI and decrease safety - https://news.ycombinator.com/item?id=40198766 - April 2024, 190 komentar
    Call-to-Action on SB 1047 – Frontier Artificial Intelligence Models Act - https://news.ycombinator.com/item?id=40192204 - April 2024, 103 komentar
    On the Proposed California SB 1047 - https://news.ycombinator.com/item?id=39347961 - Februari 2024, 115 komentar

  • Bahaya langsung dari model AI besar bukanlah mengubah Bumi menjadi klip kertas, melainkan menciptakan penipuan sebagai layanan dan masyarakat di mana tidak ada apa pun yang bisa dipercaya
    Saya bisa mendukung bahkan undang-undang yang agak kikuk yang mewajibkan gambar, audio, dan video yang dibuat oleh model dengan lebih dari X parameter diberi metadata bahwa itu dihasilkan AI. Caranya dengan melarang pembuatan model yang tidak memasang tag seperti itu
    Namun masalah yang jelas adalah bahwa mengambil screenshot gambar AI lalu mengunggahnya kembali tanpa metadata juga harus dibuat ilegal, dan khususnya untuk gambar, penegakannya bisa benar-benar berantakan. Di atas segalanya, semua langkah di bidang ini harus dibuat dengan asumsi bahwa kita pada dasarnya tidak bisa mengendalikan apa yang dilakukan “aktor jahat”. Bertindak secara bertanggung jawab berarti melepaskan uang, dan uang itu akan diambil oleh negara yang kurang bertanggung jawab

    • Pada model terbuka, siapa pun bisa mematikan fitur tagging seperti itu, jadi melarang output tanpa tag tidak masuk akal
    • Hukum yang mencoba mengklasifikasikan konten yang tidak dapat dipercaya tampaknya ditakdirkan gagal. Sebaliknya, kita perlu menemukan cara yang lebih baik untuk menyampaikan keandalan, dan saya juga tidak yakin menambah undang-undang akan membantu dalam hal ini
    • Menurut saya, cara paling realistis untuk memverifikasi gambar AI adalah menyimpan sidik jari dari semua gambar yang dibuat generator
      Nantinya, ketika suatu gambar muncul, kita bisa bertanya kepada Meta atau siapa pun, “apakah ini tampaknya buatan kalian?” Teknologi serupa sudah ada, seperti Content ID YouTube atau deteksi CSAM. Memang tidak sempurna, tetapi bisa membantu tanpa efek samping besar dari upaya mengunci semua pembuatan gambar
    • Untuk kasus yang digunakan dalam penipuan, cukup buat undang-undang yang mewajibkan penandaan konten AI
    • Mengubah Bumi menjadi klip kertas tidak akan terjadi dalam waktu dekat, jadi risiko itu aman untuk diabaikan

  • Saya penasaran apakah artikel itu melebih-lebihkan risiko yang dibahas dalam RUU tersebut, jadi saya membaca teks aslinya.
    “Kerugian serius” berarti kerugian yang ditimbulkan atau secara substansial dimungkinkan oleh model yang tercakup atau model turunannya, dan mencakup kasus ketika pembuatan atau penggunaan senjata kimia, biologis, radiologis, atau nuklir menyebabkan korban massal; ketika serangan siber terhadap infrastruktur kritis menyebabkan korban massal atau kerugian lebih dari 500 juta dolar; ketika, di bawah pengawasan manusia yang terbatas, model menyebabkan kematian, luka berat, atau kerusakan properti melalui tindakan yang tergolong tindak pidana; serta kerugian serius terhadap keselamatan dan keamanan publik yang setara dengan itu.
    Namun, dikecualikan jika informasi yang dihasilkan model adalah informasi yang secara wajar dapat diakses publik oleh orang biasa dari sumber lain; jika dikombinasikan dengan perangkat lunak lain, dikecualikan bila model tidak berkontribusi secara substansial terhadap kemungkinan terjadinya kerugian; dan dikecualikan bila kerugian itu bukan disebabkan atau dimungkinkan oleh pembuatan, penyimpanan, penggunaan, atau publikasi model oleh pengembang.

    • Apakah Newsom percaya bahwa model AI dapat menyebabkan kerugian semacam ini secara otonom, atau apakah ia memahami bahwa hal itu hanya mungkin jika digunakan dan diawasi manusia?
      Jika manusia bisa menimbulkan kerugian dengan AI, mereka mungkin juga bisa melakukannya tanpa AI; inti persoalannya adalah seberapa besar AI meningkatkan kemungkinan tercapainya tujuan destruktif. Saya tidak tahu apakah kekhawatirannya adalah bahwa AI membuat hal itu lebih mudah diakses dan lebih efektif, atau “monster” persisnya apa. Saya tidak melihat model-model seperti ini memiliki informasi nonpublik tentang infrastruktur dan sistem yang dapat disalahgunakan.
    • Pengecualian untuk kerugian yang berasal dari “informasi yang secara wajar dapat diakses publik oleh orang biasa dari sumber lain” menelan seluruh aturan, dan gagal menyasar apa yang berbeda dari AI. AI memang biasanya lebih baik daripada orang biasa dalam mengintegrasikan berbagai aliran fakta.
      Karena itu, undang-undang ini terlihat seperti panggung legislasi. Bisa jadi ia dirancang untuk menarik perhatian dan donasi demi membangun waralaba politik. Menargetkan hanya model-model terbesar sehingga hanya pemain terbesar yang terdampak juga mungkin karena merekalah yang paling mampu menyumbang kepada partai yang menentukan, dan paling kecil kehilangan niat baik bila menentang.
      Regulasi AI akan menjadi tugas legislasi dan administrasi yang kompleksnya setara dengan kode pajak baru, dan jika diperlakukan sebagai waralaba politik, itu menjadi mustahil. Melihat OpenAI berubah menjadi perusahaan nirlaba, bentuk nonprofit saja tidak cukup untuk mempertahankan orientasi kepentingan publik. Mengizinkan transisi seperti ini setara skalanya dengan konversi sistem rumah sakit nonprofit menjadi profit sejak 1990-an.
      Potensi AI menyingkap dengan jelas kerentanan tata kelola kita. Tata kelola yang lemah memang juga memberi lebih banyak peluang, tetapi dorongan untuk lepas dari eksploitasi akibat kegagalannya menumbuhkan otokrasi, dan otokrasi menelan hak milik bersama hak-hak lainnya.

  • Apakah salah satu masalahnya adalah kekhawatiran bahwa komputasi AI yang tak terkendali akan begitu saja terjadi di luar California?
    Dalam pemilihan tingkat county terkait CAFO di Sonoma pun ada isu serupa: meski kemajuan lingkungan diperoleh secara lokal, hasilnya bisa saja sekadar mengekspor masalah ke negara bagian lain dengan regulasi yang lebih longgar: https://www.kqed.org/news/12006460/the-sonoma-ballot-measure...

    • Seperti semua hukum, pasti akan ada orang yang menghindari regulasi secara geografis. Undang-undang yang ditulis dengan baik nantinya menjadi preseden atau titik awal bagi wilayah lain yang kemudian menginginkan fungsi regulasi serupa.
      UE dan California tampaknya sering berada di posisi pelopor seperti ini dalam teknologi dan privasi. Dari luar mungkin terlihat seperti upaya sia-sia, tetapi ini adalah proses membuka jalan, dan merupakan tahap penting agar hukum yang baik memperoleh pijakan di seluruh dunia.

  • Itu undang-undang yang bodoh, jadi untuk sekali ini seorang politisi melakukan hal yang cerdas.

  • Saya penasaran apakah ada materi yang merangkum argumen pro dan kontra RUU ini. Pikiran pertama saya setelah membaca artikelnya adalah bahwa ungkapan seperti “kehati-hatian yang wajar” dan “risiko yang tidak wajar” tampak begitu kabur hingga nyaris mustahil dijadikan hukum, karena bisa berujung pada gugatan tanpa henti
    Pada saat yang sama, ilmuwan komputer seperti Geoffrey Hinton dan Yoshua Bengio, yang banyak membangun teknologi dasar di balik gelombang AI generatif saat ini, secara terbuka mendukungnya, dan 119 karyawan serta mantan karyawan perusahaan AI besar juga menandatangani surat yang mendesak agar RUU ini disahkan. Tentu saja, kecerdasan seseorang di satu bidang bukan berarti nasihat hukumnya bisa dipercaya, tetapi saya penasaran mengapa Hinton dan Bengio begitu kuat mendukung undang-undang ini

    • “Kehati-hatian yang wajar” dan “risiko yang tidak wajar” sama sekali bukan ungkapan bermasalah, melainkan konsep hukum yang sepenuhnya standar. Misalnya, hukum perbuatan melawan hukum memang membahas hal-hal seperti itu
      Tentu saja bisa berujung ke gugatan, tetapi intinya adalah jika ada area abu-abu, perusahaan harus beroperasi di dalam wilayah yang jelas-jelas aman, dan jika mereka mendorong batasnya, mereka harus tahu bahwa itu adalah pertaruhan hukum. Dengan prosedur yang masuk akal, catatan dokumentasi yang jelas, dan pengambilan keputusan yang disetujui pengacara, biasanya mudah untuk tetap berada di zona aman. RUU ini bisa saja buruk karena alasan lain, tetapi kedua ungkapan ini sendiri bukan masalah
    • Kekhawatirannya adalah sistem dalam waktu dekat akan jauh lebih mampu daripada sistem saat ini, dan ketika saat itu tiba, mungkin sudah terlalu terlambat untuk merespons
      Banyak orang di perusahaan AI besar yang berada di garis depan percaya bahwa AGI yang akan mengubah dunia bisa hadir dalam 5 tahun, contohnya Situational Awareness dari Aschbrenner. Ada juga kekhawatiran paralel bahwa AI dapat membuat terorisme menjadi lebih mudah: https://www.theregister.com/2023/07/28/ai_senate_bioweapon/
      Yoshua Bengio baru-baru ini menulis secara rinci tentang pandangannya mengenai keselamatan AI. Ia tidak terlalu menekankan kemungkinan AI setara manusia akan datang dalam waktu sangat dekat, tetapi melihat kecerdasan supermanusia mungkin muncul dalam 5–20 tahun. Ia mengatakan, “Mengingat ketidakpastian itu, skala risiko bencana atau setingkat kepunahan, serta fakta bahwa kita gagal memprediksi kemajuan pesat kemampuan AI baru-baru ini, kehati-hatian agnostik adalah jalan yang jauh lebih bijak”
      Hinton juga belakangan memberikan kuliah rinci tentang risiko kehilangan kendali. Para pendukung umumnya melihat RUU ini sebagai rancangan yang ditargetkan secara sempit untuk menangani, sampai batas tertentu, skenario terburuk dari kehilangan kendali dan penyalahgunaan: https://yoshuabengio.org/2023/05/22/how-rogue-ais-may-arise/
      https://yoshuabengio.org/2023/06/24/faq-on-catastrophic-ai-r...
      https://yoshuabengio.org/2024/07/09/reasoning-through-argume...
    • Saya meninjau apa yang termasuk kehati-hatian yang wajar dan merangkum kesimpulannya di sini: https://www.lesswrong.com/posts/kBg5eoXvLxQYyxD6R/my-takes-o...
    • Ilmuwan komputer Scott Aaronson menulis unggahan dukungan di blognya: https://scottaaronson.blog/?p=8269
      Tulisan itu menautkan ke tulisan-tulisan penjelasan sebelumnya, dan juga memuat argumen pro-kontra serta diskusi tambahan di komentar
    • California Office of Legislative Counsel selalu menyediakan “digest” untuk teks lengkap setiap RUU: https://leginfo.legislature.ca.gov/faces/billTextClient.xhtm...
      Ini bukan daftar pro-kontra dari sudut pandang industri, tetapi kemungkinan merupakan penjelasan paling netral tentang apa yang dilakukan RUU ini

  • Itu legislasi yang buruk sekali, dan untungnya gubernur menghentikannya
    Inilah wujud regulatory capture. Jika seseorang mengubah produk Anda menjadi komoditas umum, mereka akan membuatnya ilegal agar Anda tidak bisa terus membuatnya gratis
    Ini tidak berbeda dengan melarang Linux supaya semua orang memakai Microsoft dan Apple

    • Saya tidak setuju. Dalam topik ini saya melihat terlalu banyak argumen ideologis dan kurang informasi
      Menurut saya sulit bagi banyak orang yang bermimpi mendirikan startup AI untuk menilai lanskap AI serta kelebihan dan kekurangannya secara rasional dan netral
    • Undang-undang seperti ini juga bisa membuat perusahaan menyadari bahwa masih ada 49 negara bagian lain dan hampir ratusan negara lain
      California memiliki zeitgeist langka yang memadukan teknologi dan universitas, tetapi dengan uang dan janji yang cukup, hal itu bukan mustahil direplikasi di tempat lain
    • Veto ini kemungkinan besar terjadi terutama karena California tidak ingin dirugikan dalam persaingan AI