- SB-1047 bertujuan mendorong pengembangan AI yang aman, tetapi pasal-pasal saat ini dapat memberi beban berlebihan bagi pengembang open source dan perusahaan kecil
- Jika pembatasan pengembangan diperketat, transparansi·kolaborasi dapat berkurang, sehingga kemampuan komunitas pakar yang lebih luas untuk menemukan dan memperbaiki masalah keamanan juga bisa melemah
- Definisi “covered model” terlalu luas, dan tuntutan untuk penghentian wajib, pelaporan, serta kepatuhan pada panduan begitu besar sehingga bahkan pengembangan model open source yang beriktikad baik pun dapat terhambat
- Audit, konsultasi hukum, biaya, dan kemungkinan sanksi perdata dapat menjadi hambatan masuk serta tekanan sensor diri bagi startup dan peneliti
- Pendekatan yang lebih baik adalah mengatur penggunaan berisiko tinggi, bukan pengembangan model itu sendiri, sekaligus mendukung open source, kolaborasi industri-akademisi-pemerintah, dan investasi pada keahlian AI pemerintah
Posisi dasar terhadap SB-1047
- Tulisan ini adalah pernyataan pribadi Jeremy yang diajukan kepada penyusun RUU SB-1047, dan bukan posisi resmi Answer.AI
- Tujuan SB-1047 untuk pengembangan AI yang aman dan terlindungi pada dasarnya dapat dipandang positif
- Masalahnya, beberapa pasal dalam RUU saat ini dapat berdampak negatif pada pengembang open source, perusahaan kecil, dan inovasi di seluruh ekosistem AI
- Jika pengembangan open source dibatasi, keamanan AI juga dapat ikut melemah
- Jika transparansi·kolaborasi berkurang, akan makin sulit bagi lebih banyak pakar untuk mengidentifikasi dan mengatasi potensi masalah keamanan
- Jika kendali terkonsentrasi pada segelintir aktor besar, keragaman·resiliensi menurun, dan kemungkinan titik kegagalan tunggal serta risiko sistemik meningkat
Kekhawatiran melemahnya pengembangan open source
- Open source adalah faktor kunci yang memungkinkan keberhasilan industri perangkat lunak AS, dan telah membuat banyak orang dapat mengakses alat perangkat lunak penting
- Banyak komponen dasar AI modern juga berasal dari open source, dan riset akademik serta riset keselamatan·keamanan juga hampir seluruhnya dilakukan berbasis open source
- Jika open source melemah, pengembang, konsumen, akademisi, dan startup baru semuanya akan terdampak
-
Definisi “covered model” yang terlalu luas
- Definisi “covered model” dalam RUU ini sangat luas, sehingga berbagai model open source berisiko rendah pun dapat tercakup
- Akibatnya, aktivitas pengembang yang beriktikad baik dalam menjalankan proyek AI yang bermanfaat pun dapat tanpa sengaja dikriminalisasi
-
Masalah tanggung jawab atas alat serbaguna
- Model AI lebih mirip perangkat lunak serbaguna yang berjalan di komputer, seperti pengolah kata, kalkulator, atau browser web
- Seperti halnya pengembang browser web atau kalkulator tidak dapat mencegah semua penyalahgunaan, pembuat model juga sulit menjamin bahwa model tidak akan pernah digunakan untuk hal berbahaya
- Jika tanggung jawab seperti ini dibebankan kepada pembuat alat serbaguna, pada praktiknya alat semacam itu bisa menjadi sulit dibuat kecuali oleh perusahaan besar yang memiliki tim hukum memadai
-
Beban persyaratan bagi pengembang
- RUU ini membebankan kewajiban kepada pengembang seperti penghentian wajib, pelaporan luas, dan kepatuhan pada “covered guidance” yang bisa saja ambigu
- Bagi pengembang open source yang kekurangan sumber daya untuk menangani prosedur regulasi yang kompleks, persyaratan seperti ini terasa jauh lebih berat
- Ketakutan terhadap konsekuensi hukum dan prosedur birokratis dapat mengurangi partisipasi dalam pengembangan open source dan melemahkan budaya kolaborasi yang telah mendorong kemajuan AI
- Jika transparansi berkurang, menemukan dan mengatasi potensi masalah keamanan juga menjadi lebih sulit
Dampak terhadap perusahaan kecil dan ekosistem riset
- Regulasi yang diusulkan dapat menciptakan hambatan masuk besar bagi perusahaan kecil dan startup yang ingin berinovasi di bidang AI
- Biaya kepatuhan regulasi dan risiko hukum dapat mengerdilkan nyali pendiri startup dan membatasi persaingan
- Akibatnya, laju inovasi dapat melambat, dan kekuasaan mungkin makin terkonsentrasi pada perusahaan besar yang sudah mapan
-
Biaya dan risiko hukum
- Biaya kepatuhan regulasi seperti biaya administrasi, audit, dan konsultasi hukum menjadi beban besar bagi perusahaan kecil dan startup
- Struktur biaya seperti ini dapat membatasi persaingan, memusatkan kekuasaan pada perusahaan besar yang sudah mapan, dan menghambat inovasi
-
Melemahnya riset dan keluarnya talenta
- Ketakutan bahwa pasal-pasal RUU dapat terpicu tanpa sengaja dapat berujung pada sensor diri oleh peneliti dan pengembang
- Jika arah riset AI yang menjanjikan dihindari, kemajuan ilmiah dan potensi AI untuk menyelesaikan masalah sosial akan terbatas
- Lingkungan yang restriktif dapat membuat peneliti dan pengembang AI berbakat pindah ke luar California
- Ini dapat merugikan ekonomi California dan melemahkan kepemimpinan inovasinya di bidang AI
Dampak lanjutan bagi inovasi AI California dan AS
- California memainkan peran penting dalam memimpin inovasi AS, terutama di bidang teknologi
- Jika SB-1047 membebani pengembangan AI secara berlebihan, kepemimpinan California di bidang inti ini dapat melemah
- Dampaknya dapat menyebar ke seluruh AS dan memperlambat kemajuan keseluruhan riset dan pengembangan AI
Alternatif yang diusulkan
- Dibutuhkan pendekatan yang berfokus pada aplikasi AI dan risiko nyata, bukan mengatur pengembangan model AI itu sendiri
-
Dukungan bagi pengembangan open source
- Mendorong pengembangan open source untuk model AI dapat meningkatkan kolaborasi dan transparansi, serta menciptakan ekosistem AI yang lebih beragam dan resilien
-
Fokus pada regulasi penggunaan, bukan pengembangan
- Fokus regulasi seharusnya bukan pada pengembangan model AI, melainkan pada cara penggunaan AI
- Secara khusus, perlu fokus pada aplikasi yang menimbulkan risiko tinggi terhadap keselamatan dan keamanan publik
- Dengan mengatur penggunaan AI di bidang-bidang yang berpotensi menimbulkan dampak besar, seperti layanan kesehatan, peradilan pidana, dan infrastruktur kritis, tanggung jawab atas penggunaan yang merugikan dapat dipastikan sambil tetap melanjutkan kemajuan teknologi AI
-
Investasi pada transparansi·kolaborasi·keahlian
- Melalui kerja sama antara industri, akademisi, dan pemerintah, pengembangan serta adopsi praktik terbaik untuk pengembangan AI yang bertanggung jawab dapat didorong
- Penyusunan standar industri, dorongan bagi pengembangan open source, dan investasi pada riset keamanan AI perlu berjalan bersamaan
- Jika lembaga pemerintah diberi sumber daya untuk membangun keahlian AI, mereka dapat memantau dan merespons potensi risiko dengan lebih efektif
- Pendekatan semacam ini memungkinkan regulasi AI yang lebih cermat, yang menyeimbangkan keamanan dan inovasi
Pasal spesifik yang dikhawatirkan
- Section 22602 (f): Definisi “covered model” terlalu luas dan dapat mencakup berbagai model open source
- Section 22603 (b): Persyaratan bagi pengembang berlebihan dan dapat melemahkan pengembangan open source
- Section 22606 (a): Kemungkinan sanksi perdata dapat menciptakan efek pembekuan terhadap riset dan inovasi
- Section 11547.6 (c)(11): Wewenang mengenakan biaya dapat menciptakan hambatan masuk bagi perusahaan kecil
1 komentar
Opini Hacker News
Pembuat model tidak bisa menjamin bahwa modelnya tidak akan pernah digunakan untuk hal berbahaya, dan hal yang sama berlaku bagi pengembang peramban web, kalkulator, dan pengolah kata.
Jika pembuat alat serbaguna seperti ini dibebani tanggung jawab, pada praktiknya tidak ada yang bisa membuat alat semacam itu selain perusahaan besar yang memiliki tim legal memadai. Hampir mustahil menjamin bahwa suatu teknologi tidak digunakan untuk “tujuan berbahaya”, dan ketentuan seperti ini tampaknya akan menjadi satu lagi penghalang yang mencegah pihak selain perusahaan besar ikut serta dalam pengembangan LLM.
Mereka juga tidak bertanggung jawab atas insiden keselamatan itu sendiri; cukup melaporkannya. Meski bisa jadi agak merepotkan, secara keseluruhan ini terlihat cukup masuk akal.
Mereka juga tidak otomatis bertanggung jawab hanya karena model berperforma tinggi digunakan untuk hal buruk, bahkan kerugian katastrofik; poin utamanya adalah apakah langkah pencegahan yang wajar telah diambil. Bisa saja diterapkan pendekatan tanggung jawab mutlak yang membebankan tanggung jawab atas kerugian katastrofik terlepas dari ada tidaknya kelalaian pengembang, tetapi RUU ini tidak melakukan itu.
Secara keseluruhan, maksudnya cukup masuk akal: jika sebuah model dapat menyebabkan kerugian katastrofik—meski belum berlaku untuk model saat ini, mungkin berlaku untuk model masa depan—maka model itu tidak boleh didistribusikan dengan cara yang secara dapat diprediksi bisa menimbulkan kerugian seperti itu.
Jika ingin mengetahui detail isi RUU ini, saya merekomendasikan tulisan panjang Zvi. Secara pribadi, saya melihatnya sebagai proposal yang cukup sempit dan berfokus pada risiko paling serius; misalnya, jauh lebih sempit daripada EU AI Act: https://thezvi.substack.com/p/on-the-proposed-california-sb-...
Kalau tidak, kita juga harus mengkritik larangan terhadap riset agen biologis open source, hulu ledak nuklir open source, dan protokol kloning manusia open source. Semuanya juga merupakan teknologi dwiguna, dan secara objektif netral secara moral.
Ini seperti kita tidak mengizinkan granat dijual di sudut jalan. Sikap ingin lari dari tanggung jawab adalah salah satu hal yang paling tidak saya sukai dari perusahaan teknologi besar.
Ini bisa mencakup AI untuk pengembangan obat baru dan ilmu material, AI untuk pengelolaan jaringan listrik dan lalu lintas broadband, serta AI untuk layanan keuangan dan medis. Sisi kompleks industri-militer mungkin sama sekali tidak tersentuh oleh undang-undang ini jika hanya terkait kontrak federal. Pengembangan AI militer rahasia terlihat sembrono, sampai-sampai orang bertanya-tanya apakah mereka belum pernah menonton War Games.
https://technologymagazine.com/top10/top-10-military-technol...
Setidaknya jika open source, kemampuannya akan lebih cepat terlihat.
Situasinya tampak gila karena kalangan politik sangat kuat membidik AI open source.
Soros mengatakan bahwa gabungan proyek AI korporat dan proyek AI pemerintah menciptakan ancaman yang lebih kuat daripada para diktator era Perang Dingin yang menjauh dari inovasi perusahaan. Intinya: “Gabungan rezim represif dan monopoli TI memberi rezim seperti itu keunggulan bawaan dibanding masyarakat terbuka. Mereka menimbulkan ancaman mematikan bagi masyarakat terbuka.”
https://www.wired.com/story/mortal-danger-chinas-push-into-a...
Secara harfiah semua pihak yang mengejar pengaruh global sedang tergiur oleh AI. Saya sampai serius mempertimbangkan apakah harus membeli Mac Studio 512GB ketika keluar nanti untuk menjalankan model llama3 besar yang mungkin segera dilarang.
Investor atau penerima manfaat dari perusahaan seperti OpenAI mungkin memiliki hubungan dekat dengan politisi. Kemungkinan besar tidak ada kaitan langsung, dan mereka mungkin sudah sangat mahir menyembunyikan kaitan semacam itu serta memungkinkan bantahan yang terdengar masuk akal.
Ini masih benar-benar tahap awal. Kecuali akademia gagal besar, dalam sekitar 5 tahun klaster riset profesor akan bisa melatih model pada level state-of-the-art saat ini, dan mungkin tidak hanya terbatas pada universitas R1.
Dalam jangka panjang, saya kira siapa pun yang punya akses ke teks sebanyak satu perpustakaan akan bisa membuat model yang berguna. Tidak ada hal magis pada otak kita, jadi suatu hari nanti kita akan bisa mengajari komputer membaca dan menulis dengan jumlah buku yang kira-kira sama seperti yang dibutuhkan untuk mengajari manusia. Bahkan jika model itu 10 kali lebih bodoh dari kita, apakah kita akan mewajibkan izin untuk memiliki lebih dari beberapa ribu ebook, ketika rata-rata orang Amerika membaca ratusan buku sepanjang hidupnya?
Bahkan dalam versi yang lebih lemah, tanpa otonomi sama sekali dan semuanya hanya hasil prompt, jika benar-benar memberikan kinerja yang dijanjikan, dampaknya akan sangat mendestabilisasi. Kita sama sekali belum siap menghadapi dunia di mana hampir semua hal palsu bisa dibuat dengan biaya mendekati nol.
Di sisi lain, besar kemungkinan ini akan muncul dalam bentuk aturan yang sangat aneh seperti ITAR yang sudah ada, yang hampir tidak berkaitan dengan keselamatan nyata.
Jauh lebih murah daripada Mac Studio. Saya membeli R820 seharga beberapa ratus dolar, berisi RAM 256GB, dan masih ada ruang untuk ekspansi lebih besar.
Karena tidak disebutkan di blog, saya tambahkan: pada 7 Februari 2024, Senator Scott Wiener mengajukan SB-1047 ke legislatif negara bagian California
Nama resminya adalah Safe and Secure Innovation for Frontier Artificial Intelligence Systems Act, dan ini adalah rancangan undang-undang untuk mengatur pengembangan dan penggunaan model AI tingkat lanjut. RUU ini mewajibkan pengembang membuat penilaian keselamatan tertentu sebelum melatih model AI, mematuhi berbagai persyaratan keselamatan, dan melaporkan insiden keselamatan AI. Selain itu, RUU ini membentuk Frontier Model Division di dalam Department of Technology untuk melakukan pengawasan, serta menerapkan denda perdata jika terjadi pelanggaran
https://www.dlapiper.com/en/insights/publications/2024/02/ca...
https://www.opensecrets.org/orgs/openai/summary?id=D00008425...
https://www.sfgate.com/politics/article/fentanyl-dealers-in-...
Saya khawatir regulasi seperti ini akan menciptakan efek penguncian yang menguntungkan perusahaan AI terdepan yang sudah ada dan membuat pendatang baru mustahil masuk
Kecuali tim yang benar-benar gila dan bisa menggalang sekitar 1 miliar dolar sejak awal, tidak ada peluang untuk bersaing
Sulit dipercaya. Saya menyukai kebijakan perumahan Scott Wiener, tetapi RUU ini penuh dengan campur tangan pemerintah yang berlebihan
Ironisnya, efeknya akan sama seperti sistem NIMBY yang sudah lama ia lawan
Misalnya, sebelum mulai melatih model terapan non-turunan, pengembang harus mengimplementasikan kemampuan untuk segera menghentikan sepenuhnya model tersebut sampai memenuhi syarat pengecualian kewajiban terbatas. Pada akhirnya, ini tampak seperti berarti hanya model yang sudah diizinkan yang boleh dilatih
Tentu saja, ini juga diikuti pembentukan divisi baru yang memiliki wewenang mengenakan biaya. Frontier Model Division dibentuk untuk meninjau laporan sertifikasi tahunan pengembang, memublikasikan ringkasan temuan, dan dapat mengenakan biaya terkait untuk dimasukkan ke dana terpisah
Dan tentu saja, konsultan juga harus dibayar. Department of Technology akan menugaskan konsultan untuk membuat klaster komputasi cloud publik bernama CalCompute, dengan tujuan utama meneliti penerapan model AI skala besar yang aman dan terlindungi serta mendorong inovasi yang adil
Sepertinya itu semestinya mudah, dan tetap saja memastikan bahwa ia bisa dimatikan tampak sebagai hal yang baik
Dalam jangka panjang, saya penasaran negara bagian mana yang paling baik untuk startup AI
Awalnya saya akan mengira California, tetapi sekarang tampaknya lebih penting memilih negara bagian yang kecil kemungkinannya mengebut dalam regulasi. Washington belum menunjukkan gerakan seperti ini, tidak memiliki pajak penghasilan negara bagian, dan punya banyak insinyur serta peneliti AI di Seattle/Redmond, jadi saya berada di sini. Texas juga kemungkinan besar tidak akan menambah regulasi, dan jika berada di Austin, manfaatnya mirip. Jika California mengusir industri lewat regulasi, tempat mana yang akan muncul?
Karena itu, kota-kota di Texas dan Florida sedang tumbuh. Seattle bercuaca buruk, Washington dingin, dan kota-kota besarnya tidak dikelola dengan baik sehingga tidak menarik sebagai tempat tinggal bagi keluarga kaya
California memiliki tarif listrik yang sangat tinggi, dan juga mempersulit pembangunan fasilitas industri baru. Apalagi jika lokasinya dekat perairan yang bisa membantu kebutuhan pendinginan. Perusahaan bisa saja menempatkan sebagian karyawannya di California, tetapi perangkat kerasnya kemungkinan besar berjalan di tempat lain
Tulisan ini sangat buruk dan berbau hasil buatan LLM
Jika ingin benar-benar memahami RUU ini, lebih baik membaca analisis Zvi: https://thezvi.substack.com/p/on-the-proposed-california-sb-...
Misalnya, sebelum memulai penggunaan komersial, publik, dan luas atas model terapan, jika tidak ada penilaian keselamatan positif atau pengecualian kewajiban terbatas, pengembang harus mengimplementasikan perlindungan dan persyaratan yang wajar untuk “mencegah individu menggunakan model tersebut untuk membuat model turunan yang menimbulkan bahaya berat”
Ini jelas mustahil. Jika Anda memberi saya bobot model, saya pasti bisa melakukan fine-tuning agar menimbulkan bahaya terapan. Misalnya, saya bisa membuatnya memberikan instruksi pembuatan senjata kimia atau biologis. Persyaratan ini tidak mungkin dipenuhi, dan jika tidak dipenuhi, model terapan tidak boleh didistribusikan
Sangat mungkin perusahaan atau penulisnya telah mencoba langsung produk internal mereka
“Model yang berlaku” adalah model AI yang memenuhi salah satu dari dua kriteria
Pertama, model yang dilatih dengan lebih dari 10^26 operasi bilangan bulat atau floating point. Kedua, model yang dilatih dengan jumlah komputasi yang cukup besar sehingga secara wajar diperkirakan dapat menghasilkan performa yang setara atau lebih tinggi dibandingkan model AI yang dilatih dengan lebih dari 10^26 operasi berdasarkan standar 2024, dan ini dinilai dengan benchmark yang lazim digunakan untuk mengkuantifikasi performa umum model fondasi mutakhir
Dengan hanya mengikuti kelas dasar arsitektur CPU saja, kita tahu bahwa operasi bilangan bulat dan operasi floating point memiliki beban komputasi yang sangat berbeda. Suatu pihak bisa saja menggunakan ungkapan ini di pengadilan untuk menurunkan ambang penerapan secara signifikan setelah fakta terjadi. Misalnya, mereka bisa berargumen bahwa 1 operasi floating point sama dengan 10 operasi bilangan bulat, sehingga batasnya adalah 10^26 operasi bilangan bulat atau 10^25 operasi floating point
Karena mencoba mengantisipasi algoritma yang lebih baik di masa depan dengan berpatokan pada benchmark hari ini, upaya komputasi itu sendiri sampai pada titik di mana tidak lagi penting. Tampaknya mereka menarik garis batas berdasarkan benchmark hari ini, terlepas dari apakah benchmark itu mencerminkan kemampuan sebenarnya atau tidak. Model kecil bisa saja dilatih agar sengaja berkinerja rendah pada benchmark semacam ini, tetapi unggul pada tugas-tugas yang mereka khawatirkan, seperti pembuatan senjata nuklir
Disebutkan bahwa sebelum mulai melatih model yang berlaku, pengembang dapat menentukan apakah model tersebut akan berkinerja lebih rendah pada semua benchmark; tetapi bagaimana mungkin mengetahui performanya sebelum pelatihan?
Jika ada batas atas yang boleh digunakan, kreativitas manusia akan berkumpul ke arah yang pas di dalam batas itu. Tentu saja ini hanya soal Amerika Serikat. Tiongkok, Rusia, Korea Utara, Iran, dan lainnya masih bisa mengejar teknologi ini dengan bebas
Seluruh tulisan ini terasa seperti ditulis dengan ChatGPT
Misalnya, bahkan tidak mengutip RUU aslinya dan hanya terus membuat klaim yang kabur tentang nilai open source
Saya tidak tahu apa tambahannya bagi diskusi, dan saya juga ragu apakah ada argumen yang berfungsi sebagai bantahan
Saya menyukai usulan bahwa, alih-alih meregulasi pengembangan model AI itu sendiri, yang seharusnya diregulasi adalah area aplikasi, terutama yang menimbulkan risiko tinggi bagi keselamatan dan keamanan publik
Jika penggunaan AI diregulasi di area berisiko tinggi dengan potensi bahaya terbesar, seperti layanan kesehatan, peradilan pidana, dan infrastruktur penting, perkembangan teknologi AI tetap dapat diizinkan berlanjut sambil memastikan adanya pertanggungjawaban atas penggunaan yang merugikan. Saya penasaran apakah ada argumen yang kuat untuk menentang pendekatan ini