Yann LeCun: Skenario kiamat yang sebenarnya adalah perebutan kekuasaan permanen oleh ‘pemilik 1%’ AI
(businessinsider.com)- Kepala ilmuwan AI Meta, Yann LeCun, melihat risiko nyata AI bukan pada kepunahan manusia, melainkan pada kontrol jangka panjang oleh segelintir perusahaan
- Fokus kritiknya adalah bahwa Sam Altman, Demis Hassabis, dan Dario Amodei mengedepankan diskusi keselamatan AI untuk melakukan penyebaran ketakutan dan lobi perusahaan
- Pada Maret 2023, lebih dari 1.000 pemimpin teknologi menandatangani surat terbuka untuk menghentikan pengembangan AI selama 6 bulan, sehingga perdebatan risiko AI meluas menjadi isu regulasi industri dan struktur kekuasaan
- LeCun menilai sudut pandang hard take-off bahwa “begitu superintelligence dinyalakan, umat manusia berakhir” terlalu dilebih-lebihkan, dan isu sebenarnya adalah bagaimana AI dikembangkan dan dibuka ke publik
- Jika pengembangan AI yang berpusat pada perusahaan komersial tertutup berbarengan dengan melemahnya AI open source, segelintir perusahaan dapat menentukan platform dan lingkungan digital masyarakat
Kekhawatiran LeCun: regulatory capture, bukan apokaliptisisme
- Yann LeCun melihat ancaman AI yang lebih realistis pada konsentrasi kekuasaan
- Ia mengkhawatirkan situasi ketika segelintir “one-percenters” memonopoli kekayaan dari AI dan menyingkirkan orang lain
- Dalam unggahan di X, ia secara langsung menyebut Sam Altman dari OpenAI, Demis Hassabis dari Google DeepMind, dan Dario Amodei dari Anthropic
- Ia mengkritik mereka karena melakukan lobi perusahaan berskala besar dalam diskusi regulasi keselamatan AI
- Jika upaya itu berhasil, “segelintir perusahaan akan mengendalikan AI,” dan LeCun menyebutnya sebagai “catastrophe”
- Altman, Hassabis, dan Amodei tidak segera menanggapi permintaan komentar dari Insider
- Pernyataan itu muncul sebagai respons terhadap unggahan X dari fisikawan Max Tegmark
- Tegmark menilai LeCun tidak cukup serius menanggapi risiko AI yang bersifat apokaliptik
- Dengan menyebut Global AI Safety Summit di Inggris, ia mengatakan bahwa pembahasan risiko eksistensial AI oleh Turing, Hinton, Bengio, Russell, Altman, Hassabis, dan Amodei tidak bisa dibantah hanya dengan sinisme atau tuduhan lobi perusahaan
Ketegangan antara narasi ketakutan dan AI open source
- Setelah peluncuran ChatGPT, pengaruh publik tokoh-tokoh utama industri AI semakin besar, dan LeCun menilai sebagian pendiri menghabiskan banyak waktu untuk memperbesar ketakutan terhadap teknologi yang mereka jual sendiri
- Pada Maret 2023, lebih dari 1.000 pemimpin teknologi, termasuk Elon Musk, Altman, Hassabis, dan Amodei, menandatangani surat terbuka yang menyerukan penghentian pengembangan AI selama setidaknya 6 bulan
- Surat itu memperingatkan bahwa sistem AI hipotetis dapat menimbulkan “risiko besar bagi masyarakat dan umat manusia”
- Tegmark, salah satu penandatangan, menyebut pengembangan AI sebagai “suicide race”
- LeCun dan para pengkritik lain menilai peringatan semacam itu dapat memperkuat kekuasaan dan mengaburkan risiko AI yang lebih mendesak
- Distributed AI Research Institute menyebut eksploitasi pekerja dan pencurian data sebagai risiko nyata, dengan keuntungannya mengalir ke “segelintir entitas”
- LeCun menilai orang-orang bereaksi berlebihan terhadap risiko AI karena mitos “hard take-off”
- hard take-off adalah gagasan bahwa umat manusia berakhir begitu sistem superintelligence dinyalakan
- LeCun menilai teknologi baru pada kenyataannya melalui proses pengembangan yang tertib sebelum disebarkan secara luas
Isu utamanya adalah bagaimana AI dikembangkan
- Bagi LeCun, titik yang harus menjadi fokus saat ini bukan performa AI itu sendiri, melainkan cara pengembangannya
- Ia memandang berbahaya situasi ketika pengembangan AI terkurung di dalam perusahaan komersial tertutup dan hasilnya tidak dibuka ke publik
- Ia juga mengkhawatirkan lenyapnya komunitas AI open source
- Meta merilis model bahasa besar LLaMa 2, pesaing GPT, sebagai open source sampai batas tertentu
- Tujuannya agar komunitas teknologi yang lebih luas dapat melihat bagian dalam model tersebut
- Perusahaan big tech lain belum melakukan rilis open source serupa, dan ada rumor bahwa OpenAI mempertimbangkan untuk merilis model AI open source
- LeCun menilai jika AI open source menghilang karena regulasi, segelintir perusahaan di Pantai Barat AS dan China akan mengendalikan platform AI dan seluruh pola konsumsi digital masyarakat
- Situasi seperti ini berujung pada pertanyaan tentang demokrasi dan keberagaman budaya
1 komentar
Opini Hacker News
Cache Archive.is: https://archive.is/HbRLy
Cara para pemain lama yang dominan tampaknya memakai klaim berlebihan seperti X-Risk dan kepunahan umat manusia secara mendadak untuk merebut kekuasaan melalui regulatory capture; ini terlihat sebagai salah satu taktik paling sinis sejauh ini di industri teknologi
Open source adalah salah satu hadiah terbesar yang kita miliki, jadi gerakan untuk menutup AI dengan lisensi konyol dan kewajiban pelaporan benar-benar tidak masuk akal
Penggunaan software yang jahat atau abusif sudah bisa ditangani dengan hukum yang ada
https://twitter.com/ESYudkowsky/status/1719777049576128542
“Berhenti” bukan berarti lisensi atau kewajiban pelaporan, melainkan secara harfiah berhenti
Sam Altman sudah beberapa kali berdiskusi dengan Yudkowsky, dan tampaknya ia berpikir pilihan terbaik adalah memecahkan masalah alignment dengan model berdaya rendah, sehingga membuat model terlebih dahulu lalu memperlambat laju setelahnya
Peluang suksesnya tidak terlihat tinggi, tetapi saat ini juga tidak tampak ada pilihan yang jauh lebih baik
Sebaliknya, teknologi ini punya risiko yang nyata dan segera, yaitu sebagian manusia memperoleh kekuasaan lebih besar atas manusia lain
Serangan yang diusulkan pihak risiko kepunahan justru memperburuk risiko langsung tersebut. Untuk teknologi apa pun, satu-satunya cara agar tidak dipakai sebagian pihak untuk mengendalikan yang lain adalah mendemokratisasikan akses bagi semua orang
Jika akses dibatasi, bahkan jika harus melanggar hukum, kekuasaan akan makin menumpuk pada pihak yang memiliki akses
Bahkan jika mengambil batas bawah interval kepercayaan 95%, saya melihatnya sekitar 50–100 tahun lagi. Saya tahu orang-orang rasional tidak sepakat dengan estimasi ini, tetapi itulah penilaian jujur saya
AI kemungkinan besar akan memperburuknya dengan anggapan seolah-olah tidak bisa salah
Karena itu, regulasi AI Uni Eropa mencakup dokumentasi menyeluruh atas foundation model dan pengungkapan data pelatihan, larangan penggunaan berisiko tinggi seperti social scoring, kemampuan menjelaskan keputusan AI dengan cara yang dapat dipahami manusia, serta kewajiban menandai dengan jelas bahwa seseorang sedang berinteraksi dengan sistem AI
Tepatnya bagaimana konspirasi ini seharusnya bekerja? Apakah maksudnya Yoshua Bengio sedang disuap?
Sebagai catatan, saya bekerja di bidang safety di sebuah lab besar, tetapi para pendukung itu tidak
Saya rasa kita perlu melawan suasana anti-regulasi yang muncul di kalangan para teknolog ini
Untuk Yann, saat ini saya sepenuhnya mendukung langkah-langkah tegas untuk meredam dan mengendalikan riset AI. Saya tidak punya kepentingan di perusahaan terkait, dan saya juga bukan orang yang tidak tahu apa-apa, karena pernah tinggal selama setahun di gedung tempat acara AI digelar beberapa kali setiap minggu
Ini hampir satu-satunya ranah tempat umat manusia membahas respons nyata yang cukup berhati-hati. Diskusi x-risk ini dan respons cepat terhadap Covid adalah satu-satunya hal yang memberi harapan bahwa manusia punya kemampuan untuk tidak memusnahkan dirinya sendiri
Bahkan jika kelak terbukti bahwa x-risk AI 100% tidak berdasar, saya akan tetap mengatakan hal yang sama
Umat manusia secara kolektif hampir tidak pernah menunjukkan kemampuan untuk menginjak rem, dan menguji “apakah kita bisa melakukan ini” saja sudah bernilai. Ini benar-benar perlu dan patut disambut
Tidak ada alasan untuk lebih memercayai satu orang kaya Silicon Valley daripada siapa pun. Mengapa dia harus duduk menentukan apa yang tidak boleh kita lakukan, sementara dirinya menjadi makin kaya? Inti artikel juga ada di bagian itu
Mereka bisa memakainya sebagai penguat kecerdasan mereka sendiri, menyewakan akses versi yang lebih rendah mutunya kepada seluruh umat manusia, dan menjadi jauh lebih kaya lagi
Jika AI berkembang seledak yang diperkirakan sebagian orang, kita harus benar-benar memahami skala perebutan kekuasaan yang mungkin sedang kita saksikan sekarang
Skenario “foom” yang paling masuk akal adalah segelintir manusia menggunakan superinteligensi untuk menjadi dewa-dewa hidup. Saya menganggap foom itu sendiri sangat spekulatif, tetapi versi ini masuk akal. Sebab kita sudah tahu manusia memang bertindak seperti itu, sementara AI belum sampai pada tahap membicarakan kesadaran diri atau kemandirian
Saya tidak berpikir sebagian besar ilmuwan sungguhan yang mengkhawatirkan AI menginginkan itu, tetapi dalam rezim regulasi, itulah yang akan terjadi. Orang-orang yang tepat selalu dianggap boleh melakukan apa yang mereka mau, sementara regulasi diterapkan pada orang miskin dan mereka yang tidak punya koneksi politik
Perkembangan AI akan terus berlanjut, hanya saja akan dimonopoli. Jika ada skenario foom yang mungkin, itu tetap akan terjadi, dan akan berangkat dari privilese luar biasa yang diwarisi dari lapisan elite yang menciptakannya
Kemungkinan “penghentian” sungguhan terjadi adalah 0
Namun berkat kemampuan analisis saya dan anonimitas internet, jika harus jujur, hasrat besar saya untuk melihat AI superinteligensi sepenuhnya sangat mencemari penilaian objektif saya
Saya sangat ingin melihat ini terwujud, sampai respons default otak saya hampir seperti “jangan khawatirkan akibatnya, pikirkan saja betapa gilanya dan kerennya ini”
Saya tidak akan mengatakan ini di luar, tetapi itulah isi hati saya. Terutama bagi orang-orang yang menjadikan pengembangan AI sebagai pekerjaan seumur hidup, bagaimana mungkin mereka mengabdikan hidup untuk mencapai Taman Eden lalu tidak mencicipi buahnya sedikit pun
Untuk AI juga, ujung risikonya memang selalu bisa berupa kematian, tetapi imbalannya jauh lebih besar. Tampaknya orang-orang dengan toleransi risiko yang tidak lazim rendah berbondong-bondong masuk ke diskusi ini
Mereka adalah orang-orang dengan sumber daya sangat besar, dan seperti biasa, terobsesi mendapatkan lebih banyak kekayaan dan kekuasaan
Mereka memanipulasi wacana untuk mengalihkan perhatian dari bahaya nyata saat ini, yaitu diri mereka sendiri, dan menggeser fokus ke bahaya imajiner berupa “Terminator akan datang”
Dalam sebagian besar fiksi, Terminator dibuat oleh pemerintah atau laboratorium perusahaan raksasa, tepatnya oleh orang-orang seperti Altman dan kelompoknya. Polanya selalu gerilyawan compang-camping melawan penjahat miliarder atau organisasi tak berwajah
Jika ingin melindungi masa depan umat manusia dari AI, fokuslah pada para penguasa manusia yang sudah ada. Merekalah penjahat dalam skenario ini, dan sejak dulu memang begitu
Pernyataan “membuat prototipe, mengujinya dalam skala kecil, merilisnya secara terbatas, memperbaiki masalah, membuatnya lebih aman, lalu merilisnya secara luas” mengandaikan bahwa teknologi yang bermasalah itu dikembangkan secara sengaja
Namun bisa juga itu adalah sifat emergen dari teknologi yang memang sengaja dibuat
Kita sudah punya nama untuk sifat emergen seperti itu. “Bug”. Tidak ada yang merilis Heartbleed secara terbatas, begitu pula Spectre atau Rowhammer. Kita harus menanggung dampaknya, dan itu bahkan belum selesai
Siapa yang bisa menjamin risiko teknologi tidak akan tetap tersembunyi sampai disebarkan secara universal
Apalagi meski mengesampingkan poin dari “We have no moat and neither does OpenAI”. Sekalipun para pemangku kepentingan utama sangat berhati-hati, begitu teknologinya ada, versi open-source-nya akan segera disebarkan ke mana-mana dengan nyaris tanpa pertimbangan keselamatan
Manusia yang awalnya membuatnya tidak lagi mendapat keuntungan, tidak selaras dengan niat manusia mana pun, dan juga tidak bisa “dimatikan”
Menurut saya Yann mungkin salah
Ia tidak mau menangani argumen “kaum doomer” dengan serius. Penalaran tersinkronisasi jenis yang sama juga bisa diterapkan pada Yann sendiri dan tujuan finansial Meta, jadi itu bukan framing yang meyakinkan
Bahkan dalam upaya berdiskusi yang bukan sekadar makian, ia memberi contoh seperti ia mengenal banyak orang pintar tetapi mereka bukan presiden, atau kucingnya sendiri juga cukup pintar tetapi tidak menguasainya. Implikasinya adalah kecerdasan tidak selalu berarti kendali, tetapi ini justru bukti yang cukup baik bahwa ia tidak menanggapi risikonya secara serius
Risikonya bukan perbedaan kecerdasan antara manusia pintar dan manusia bodoh. Ada berapa simpanse di parlemen? Di pemilihan pendahuluan? Tidak ada sama sekali
Dalam risiko eksistensial AGI, kesenjangan kapabilitasnya jauh lebih besar dari itu, dan pada dasarnya jauh kurang selaras
Untung saja orang lain yang memegang kekuasaan tidak diyakinkan oleh Yann
Satu-satunya usulan yang sejauh ini saya pahami adalah dari sisi FEP. Jika seseorang menetapkan mekanisme autogeneratif pada AI, AI itu bisa melakukan tindakan yang meningkatkan peluang bertahan hidupnya sendiri, bukan manusia
Namun pelaku besar tampaknya tidak punya insentif untuk mencurahkan sumber daya ke sana, jadi kemungkinannya tidak terlihat tinggi. Apa yang saya lewatkan?
Saya tidak setuju dengan skenario kiamat Eliezer, tetapi sulit bagi saya diyakinkan oleh ilmuwan yang tidak membahas risiko yang diajukan dan malah menumpang pada ketakutan publik serta ketakutan akan perebutan kekuasaan
Kecuali jika ada peneliti AI yang juga politisi terampil, tetapi sepertinya tidak ada orang seperti itu
Di setiap negara ada kelompok yang jauh lebih berbahaya daripada kelompok mana pun. Mereka memiliki “pendapatan” puluhan miliar hingga ratusan miliar dolar, dan memakai uang itu semata-mata untuk membunuh orang, menghancurkan pemerintah, serta mencari cara baru agar satu negara bisa memaksakan kehendaknya atas negara lain. Kekebalan hukum mereka juga lengkap
Dan kelompok inilah yang, apa pun aturan atau perjanjian yang kita adopsi secara terbuka, akan memiliki akses tak terbatas—bahkan mungkin akses mutakhir yang eksklusif—ke model AI yang “dibatasi”
Jadi sebenarnya saya mau dilindungi dari siapa? Tetangga? Penjahat jalanan? Sosiopat atau kelompoknya?
Seolah-olah ada trik rahasia untuk membuat senjata pemusnah massal dari beberapa tusuk gigi dan satu tube pasta gigi; paling-paling “trik” yang sudah tersedia luas lewat pencarian web atau perpustakaan
Dalam skenario yang dibatasi, kelompok yang sangat mungkin mendorong kita ke skenario kiamat tetap mempertahankan akses sepenuhnya tanpa batas ke sistem tipe AI. Argumen bahwa ini melindungi masyarakat sepenuhnya sinis dan menggelikan
Saya harap orang berhenti menempelkan label AI Godfather pada peneliti AI terkemuka. Itu terlalu menggelikan dan juga sangat tidak sesuai fakta
Konsep AI sudah ada sejak Turing, dan kalau ada orang yang pantas mendapat gelar seperti “bapak AI”, dia lebih cocok
Cukup sebut LeCun sebagai Chief AI Scientist Meta
Ungkapan “AI godfather” cukup valid
Bukankah alasan para peneliti AI terkemuka dianggap terkemuka adalah karena mereka memengaruhi arus yang terkait dengan AI?
Jika model open source dibuat ilegal, kelompok pinggiran yang ingin memakai AI sebagai alat teror akan mendapat lingkungan dengan nyaris tanpa persaingan dan sangat sedikit pengetahuan tentang cara menanggapinya
Saya tidak terlalu percaya alat ini bisa lebih buruk daripada alat-alat lain dalam sejarah yang jika disalahgunakan bisa membunuh orang, tetapi sekadar mendorongnya ke bawah tanah tidak akan membuatnya hilang
Yang terjadi hanya orang biasa yang punya rasa ingin tahu intelektual masuk penjara, sementara kriminal tetap melakukannya dan mengeksploitasi kita
large language model tidak memberi keunggulan baru, dan tidak ada keajaiban membuat pasukan “killer bot” bersama AutoGPT untuk menimbulkan “kehancuran”
Saat ini lebih mirip mengulang begitu saja poin orang-orang yang mengulang cerita dari film
Anda mungkin tidak menyukai langkah-langkah yang diperlukan untuk menghentikan pengembangan AI, tetapi itu bisa dihentikan
Orang-orang saat ini berfokus pada model bahasa besar dan model difusi yang sudah jadi sangat umum, tetapi jika AI untuk pemilihan saham dan prediksi benar-benar berada di level yang berbeda dan terus mengungguli model-model lama, ia akan menyedot kekayaan yang luar biasa besar.
Jika para operatornya tidak terlalu serakah dalam jangka pendek sampai membuat sistem runtuh dalam semalam, mereka pada dasarnya bisa saja memiliki masyarakat.
Hal menarik tentang pasar adalah biasanya Anda hanya bisa menghasilkan uang ketika harga salah ditetapkan. Karena itu, bahkan pelaku dengan informasi sempurna pun punya batas pada total potensi keuntungan.
Sekalipun ada model AI yang bisa memprediksi arus kas masa depan perusahaan dan suku bunga masa depan dengan hampir pasti, ia bisa dengan mudah menghitung discounted cash flow dan menentukan harga saham wajar saat ini atau di masa depan.
Pasar kemungkinan akan menjadi lebih stabil alih-alih runtuh, dan saham kemungkinan akan bergerak lebih mirip obligasi.
Teori informasi algoritmik yang dibatasi oleh fisika tidak benar-benar memungkinkan skenario “akselerasi kuat”, dan itu adalah salah satu sanggahan kuat terhadap skenario tersebut.
https://en.wikipedia.org/wiki/Algorithmic_information_theory
Ada batas pada apa yang bisa diprediksi dari data keuangan masa lalu.
Kalau ada cara membuat mesin pencetak uang dengan machine learning, itu pasti sudah terjadi.
Ruang masalahnya jauh lebih mudah daripada pembuatan bahasa atau gambar.
Orang-orang terobsesi pada algoritme tanpa pikiran, tetapi urusan sebenarnya selalu terjadi di antara manusia. Serumit apa pun algoritme perangkat lunak, ia hanyalah bidak di papan catur manusia.
Di masa depan yang sangat jauh, makhluk silikon mungkin saja masuk ke papan catur itu dengan syarat mereka sendiri. Strategi untuk memanfaatkan kemungkinan yang jauh itu demi keuntungan di sini dan sekarang terasa aneh.
Namun strategi itu tampaknya berhasil. Ini menunjukkan bahwa kita lebih mirip kawanan lemming berinteligensi rendah yang mudah tertipu oleh cerita bagus meski buktinya lemah.
Sudah terlambat untuk memonopoli model bahasa besar. Teknologi untuk membuatnya sudah diketahui dan biayanya terus turun.
Ada hal-hal yang patut dikhawatirkan, tetapi ini tampaknya bukan salah satunya.
Harga GPU memang tidak setinggi masa puncak penambangan, tetapi untuk membeli sekumpulan A100 dibutuhkan biaya setara sebuah mobil. Selain itu, pihak seperti Google sedang membuat akselerator machine learning generasi berikutnya, dan produk terbaiknya bahkan tidak dijual.
Sumber daya komputasi hanya separuh masalah. Separuh lainnya yang jauh diremehkan adalah akses data dalam bentuk email, kueri asisten pintar, bel pintu Ring, dan sejenisnya.
Ambang batas yang cukup kecil sedang ditetapkan sebagai kriteria untuk mewajibkan pelaporan pelaksanaan pelatihan dan pusat data kepada pemerintah.
Selain itu, ada juga perintah untuk mengembangkan kerangka pengujian risiko x-risk dan CBRN serta lingkungan keamanan, yang dimaksudkan untuk diberlakukan sebagai persyaratan bagi pengembang model, termasuk sektor swasta.
Bisa dikatakan bahwa pengetahuan yang diperlukan untuk mengembangkan model bahasa besar bersifat open source sehingga dapat diakses semua orang, dan dalam praktiknya itu sebagian besar benar meski tidak sepenuhnya.
Namun pemerintah federal saat ini sedang dalam proses membuatnya hanya bisa dilakukan secara legal oleh orang-orang tertentu.
Melatih model mutakhir hanya dengan perangkat keras konsumen bisa jadi sangat sulit.
OpenAI sedang mencoba melakukan regulatory capture atas model bahasa besar untuk mencegah Amazon atau unicorn bermodal besar ikut mengejar. Setelah para pemain seperti ini mengeras posisinya, orang-orang yang tertinggal akan habis.
Pembaca HN rata-rata tidak bisa bersaing dengan OpenAI. Mereka berusaha mengambil porsi kue sebanyak mungkin dengan mencegah munculnya lebih banyak pesaing yang didanai modal ventura dengan baik.
Siklus hype dan pendanaan untuk model bahasa besar pada dasarnya sudah selesai. Anda bukan Anthropic, dan mungkin sudah terlalu terlambat untuk masuk ke permainan ini.
Yang penting bukan palunya, melainkan izin mendirikan bangunan.
Sebagian spekulator mengatakan kita akan memasuki era kelimpahan sehingga uang menjadi jauh kurang penting atau bahkan tidak penting sama sekali.
Namun kalau begitu, bagaimana perusahaan beralih dari kondisi “laba adalah segalanya” saat ini ke “uang tidak penting”?
Saya justru melihat kemungkinan monopolisasi jauh lebih besar.
Namun masih ada orang yang tidak bisa memberi makan anaknya, orang yang mati karena terlalu banyak bekerja, dan orang-orang yang saling membunuh karena tanah.
Itu dengan asumsi umat manusia terus bertahan dalam bentuknya saat ini dan preferensi konsumsi tetap stabil. Saya kurang yakin dengan model kapitalisme itu sendiri, tetapi itu pun bisa terus ada. Mungkin bahkan sekadar demi kesenangan.
https://en.wikipedia.org/wiki/Virtual_economy