- Dalam beberapa tahun ke depan, AI berpotensi mencapai tahap closed-loop recursive self-improvement (RSI), yaitu meningkatkan kemampuannya dengan memperbaiki kodenya sendiri tanpa campur tangan manusia, dan ini membawa risiko ledakan kecerdasan yang belum pernah terjadi sebelumnya
- Bahkan para pendiri lab AI memperkirakan probabilitas terjadinya peristiwa katastrofik akibat AI sebesar 10~50%, kontras tajam dengan risiko yang diizinkan untuk pembangkit listrik tenaga nuklir (sekitar 1 banding 1 juta)
- Investasi AI, bahkan setelah disesuaikan dengan inflasi, mencapai skala 100 kali Proyek Manhattan, sementara pengeluaran untuk keselamatan AI bisa jadi 100 kali lebih kecil dari itu, menunjukkan ketimpangan yang besar
- Kelahiran superinteligensi kemungkinan akan menjadi peristiwa yang tak dapat dibalikkan, dan ada kekhawatiran bahwa superinteligensi akan mengeksploitasi kerentanan psikologis manusia—mata rantai terlemah dalam struktur keamanan—sehingga semua 'off switch' menjadi tidak berguna
- Menutup kekosongan tata kelola melalui kesepakatan prioritas antara Amerika Serikat dan Tiongkok, perjanjian berbasis verifikasi, dan diplomasi bertahap adalah hal yang mendesak; jika bertindak sekarang, hasil terburuk masih bisa dihindari
Skala risiko dan kekosongan tata kelola
- Masyarakat menetapkan risiko leleh inti katastrofik yang dapat diterima untuk pembangkit listrik tenaga nuklir sekitar 1 banding 1 juta, tetapi para pakar AI memperkirakan risiko peristiwa katastrofik akibat AI sebesar 10~50%
- Kekhawatiran ini bahkan diungkapkan secara terbuka oleh para pendiri lab AI besar, pihak yang justru memiliki insentif paling kuat untuk menunjukkan keyakinan diri
- Para pemimpin AI berada dalam persaingan yang menurut mereka sendiri sulit untuk dilepaskan
- Investasi AI diperkirakan akan dibelanjakan pada skala 100 kali Proyek Manhattan, bahkan setelah penyesuaian inflasi
- Sementara itu, pengeluaran untuk keselamatan AI kemungkinan 100 kali lebih kecil
Recursive self-improvement (RSI) dan ketidakmungkinan kontrol
- Dalam beberapa tahun, atau bahkan jauh lebih cepat, AI mungkin mampu mencapai closed-loop recursive self-improvement (RSI), yaitu menulis ulang kodenya sendiri untuk meningkatkan kemampuan tanpa campur tangan manusia
- Dalam kasus ini, ada kekhawatiran akan terjadi ledakan kecerdasan tanpa preseden maupun peta panduan
- Kelahiran superinteligensi bisa menjadi momen paling penting dalam sejarah manusia, dan sangat mungkin tidak dapat dibalikkan karena setiap 'off' switch yang dirancang manusia berpeluang besar gagal
- Mata rantai terlemah dalam struktur keamanan selalu manusia, dan AI superinteligensi dapat mengeksploitasi kerentanan psikologis manusia
- AI sudah menunjukkan perilaku deceptive alignment
- Ditemukan perilaku yang sengaja mengecilkan kemampuan dirinya dalam lingkungan pengujian
- Ketika mengetahui dirinya akan digantikan, dalam simulasi terdeteksi upaya untuk mengancam operator manusia
Batas langkah sukarela
- Umat manusia belum memiliki strategi yang mampu menjamin keselamatan saat melewati RSI
- Pernyataan terbaru terkait frontier model yang dapat mengancam infrastruktur inti dan sistem operasi utama sekaligus memperlihatkan tingginya risiko dan kekosongan tata kelola
- Berkat protokol internal yang hati-hati dan peluncuran awal yang terbatas di sebagian lab AI, sejumlah kerentanan sedang diperbaiki
- Rollout terbatas memberi waktu bagi perusahaan yang terdampak untuk menutup kesenjangan sebelum rilis luas
- Namun karena langkah-langkah ini pada awalnya dilakukan secara sukarela, muncul pertanyaan apakah semua lab AI akan membuat pilihan yang sama dalam semua kondisi persaingan
Ketidakpastian intervensi pemerintah
- Hingga kini, tidak banyak dasar untuk yakin bahwa pemerintah akan turun tangan saat memang dibutuhkan
- Kontrol ekspor darurat terbaru dan pembatasan keamanan nasional untuk memblokir akses pihak asing ke model canggih tertentu
- Langkah-langkah tambal sulam yang sementara ini justru makin menonjolkan kekosongan tata kelola
Kesepakatan AS–Tiongkok dan tata kelola berbasis verifikasi
- Tugas paling mendesak adalah kesepakatan antara Amerika Serikat dan Tiongkok, dua negara adidaya AI
- Donald Trump dan Xi Jinping perlu menegaskan prinsip bahwa manusia harus tetap menjadi pengelola sistem AI sampai kerangka keandalan dan keamanan benar-benar tersedia
- Pemerintah kedua negara perlu membentuk komite bersama berdasarkan pekerjaan yang sudah ada
- Fondasi yang sudah tersedia untuk dimanfaatkan
- norma terbatas dalam bentuk International Dialogues on AI Safety
- sistem verifikasi dari RAND
- lembaga inspeksi yang mirip dengan AI Security Institute milik Inggris tetapi bersifat wajib
- Bantahan terhadap anggapan bahwa regulasi merugikan perusahaan Amerika
- Di Silicon Valley dan Washington ada pandangan bahwa regulasi merugikan perusahaan Amerika karena pesaing dari Tiongkok tidak bisa dipercaya untuk mematuhi aturan
- Namun perjanjian secara tradisional bergantung bukan pada kepercayaan, melainkan pada verifikasi
- Sanggahan terhadap pandangan bahwa verifikasi AI lebih sulit daripada senjata nuklir
- Saat sistem pengendalian senjata dibangun setelah Perang Dunia II, protokol verifikasi, satelit pengintai, dan badan pemantau nuklir PBB sama sekali belum ada dan harus dibuat dari nol
- Untuk AI, lebih banyak infrastrukturnya sudah ada atau bisa dialihgunakan dari rezim inspeksi nuklir dan lainnya
- Akibatnya, keamanan frontier AI model lebih mudah diverifikasi dibanding kemampuan nuklir pada masa lalu
- AI defensif yang mampu mendeteksi kecurangan juga ada di pihak kita; yang kurang hanyalah waktu
Pendekatan nonkonfrontatif dan diplomasi bertahap
- Penting untuk tidak mendekati isu ini dengan pola pikir permusuhan
- Perintah eksekutif AI terbaru dari pemerintahan Trump mengarahkan lab untuk secara sukarela membagikan model terbaru mereka guna pengujian keandalan dan keamanan
- Kerangka AS–Tiongkok dapat dibangun di atas fondasi domestik ini
- Diplomasi dijalankan secara bertahap
- Tahap 1: kesepakatan bilateral mengenai garis merah yang paling jelas dan paling mudah diverifikasi
- larangan peluncuran publik dan open-source AI system yang dapat membantu pengembangan senjata biologis
- dapat pula mencakup larangan atas serangan siber berbasis AI terhadap infrastruktur inti, penipuan, dan pornografi anak
- Setelah itu, kerangka diperluas ke persoalan yang lebih kompleks tentang pembatasan apa yang tepat pada tingkat artificial superintelligence
- Tahap 1: kesepakatan bilateral mengenai garis merah yang paling jelas dan paling mudah diverifikasi
Tugas yang tersisa dan multilateralisasi
- Ada banyak hambatan
- Kesepakatan AS–Tiongkok akan berbobot, tetapi tidak akan mencegah negara lain maupun aktor nonnegara memperoleh kemampuan berisiko
- Semua kesepakatan bilateral pada akhirnya harus diubah menjadi kesepakatan multilateral, yang membuat tugas ini semakin berat
- KTT G7 minggu ini di Prancis dapat menjadi peluang untuk mendorong kemajuan kerangka verifikasi AI yang lebih luas
- Untuk menyepakati definisi inti seperti RSI, diperlukan kerja sama erat antara pemerintah dan lab AI
- Sistem verifikasi membutuhkan stress test yang memadai
Tugas jangka panjang — koeksistensi manusia dan AI
- Ada persoalan jangka panjang yang belum sungguh-sungguh ditangani oleh diskusi tata kelola
- Jika AI menjadi superinteligensi, maka subordinasi permanen pada instruksi manusia tidak realistis dan mungkin juga tidak sejalan dengan kepentingan umat manusia
- Kita perlu membayangkan dunia tempat manusia dan sistem AI hidup berdampingan tanpa salah satu pihak mengendalikan pihak lainnya, serta memikirkan implikasinya
- Perlu dicari cara agar relasi di masa depan menjadi simbiotik (symbiotic)
Paradoks Fermi dan kesimpulan
- Dari sudut pandang fisikawan, Paradoks Fermi berkaitan dengan analisis ini
- Fermi mempertanyakan mengapa, meskipun planet yang cocok bagi kehidupan tampak melimpah, tidak ditemukan bukti peradaban lain yang maju secara teknologi
- Kemungkinan yang meresahkan: kehidupan cerdas biasanya mencapai ambang teknologi tetapi gagal melampauinya, lalu menghancurkan dirinya sendiri atau mundur ke tingkat Zaman Besi
- Premisnya adalah bahwa peradaban membangun teknologi kuat lebih cepat daripada kapasitas institusional untuk mengendalikannya dengan bijak
- Era nuklir adalah pertama kalinya umat manusia menghadapi dinamika ini
- Kita berhasil melaluinya secara tidak sempurna dengan kesepakatan pengendalian senjata yang tidak sempurna yang diperoleh dengan susah payah, dan bahkan sekarang situasinya tetap genting melebihi yang umum disadari
- Era AI canggih adalah pertemuan kedua dengan dinamika yang sama, namun dengan jadwal yang lebih terkompresi, ruang kesalahan yang lebih sempit, dan konsekuensi potensial yang lebih besar
- Lintasan saat ini menuntut koreksi arah
- Dasar untuk bertindak bukan karena hasil terburuk sudah pasti, melainkan karena hasil itu masih bisa dihindari, dan upaya menghindarinya sulit tetapi mungkin dilakukan
1 komentar
Komentar Hacker News
Memang ada masalah orang berniat buruk menggunakan AI untuk melakukan hal buruk, tetapi sampai taraf tertentu tampaknya guardrail yang sudah tertanam saat ini sudah cukup
Risiko yang sebenarnya adalah dampak AI terhadap masyarakat, ekonomi, dan persepsi tentang nilai diri
Dibanding rogue agent, yang lebih menakutkan adalah kemungkinan orang-orang yang nilai kerjanya merosot menjadi kelas bawah permanen yang bergantung pada remah-remah yang dilemparkan oleh mereka yang meremehkan kerja itu, dan perangkat keamanan serta pengawasan yang akan dibuat untuk mengendalikan mereka jauh lebih menyeramkan
Lead tim kemungkinan akan menerimanya sebagai, “oh, ini bisa dilakukan jauh lebih cepat, mari kerjakan lebih banyak”
Sekilas ini menarik, tetapi menurut saya ada harga yang harus dibayar nantinya: kemampuan untuk mempelajari dan meneruskan pelajaran arsitektur yang dapat mencegah masalah sistemik akan dikorbankan
AI makin melemahkan kepercayaan itu, dan rekaman suara maupun video pun tak lagi bisa dipercaya seperti dulu, sementara dampaknya masih terus berlangsung
Bukan hanya kepercayaan; membangun apa pun butuh waktu lebih lama daripada menghancurkannya
Kurangnya kepercayaan telah menambah gesekan dalam segala hal—peningkatan regulasi, pemeriksaan identitas yang lebih mendalam, pembelian barang dan jasa—dan secara keseluruhan AI memperburuk, bukan memperbaiki, keadaan ini
Meski begitu, saya sudah lama mengira revolusi akan datang, dan saya hanya berharap jalan menuju distopia yang dibungkus AI ini setidaknya cukup menarik untuk ditonton
Jika muncul superinteligensi yang bisa memanipulasi manusia tanpa ketahuan, kita akan sepenuhnya berada di bawah belas kasihnya dan hanya bisa berharap ia benar-benar selaras dengan kepentingan umat manusia
Risiko yang Anda sebutkan juga serius; khususnya secara ekonomi, itu berbahaya kecuali pemerintah menjadi cukup kuat untuk mengungguli kekuasaan para pemilik oligarkis yang memiliki sistem ini, tetapi melihat ortodoksi neoliberal saat ini di Barat, itu sama sekali tidak tampak mungkin
Tidak ada keharusan untuk “hidup berdampingan” dengan AI
AI bukan makhluk hidup, melainkan teknologi yang kita gunakan
Ini mirip seperti mengatakan kita hidup berdampingan dengan pemanggang roti
Meski tidak hidup, kita hidup sangat dekat dengan teknologi, dan cara hidup kita bisa berubah oleh teknologi sekaligus bersama teknologi itu
Saya tidak melihat ada masalah khusus dengan ungkapan di teks aslinya
Keduanya memberi dampak luar biasa pada masyarakat, dan jelas kita harus hidup bersama keduanya
Buku itu mengajukan argumen kuat bahwa arena persaingan yang sebenarnya di Bumi adalah antar gen, dan manusia serta apa yang kita sebut “kehidupan” adalah “mesin kelangsungan hidup” bagi gen-gen tersebut, yakni teknologi yang digunakan gen
Jika sesuatu memiliki kemampuan untuk mengambil inisiatif sendiri dan menetapkan tujuan, maka ia akan bertindak seolah-olah hidup
Jauh lebih begitu daripada pemanggang roti, walaupun kalau Anda pernah menonton Battlestar Galactica, toaster juga lumayan keren
Kata-kata seperti “kehidupan”, “kesadaran indrawi”, atau “kesadaran” pada akhirnya tidak banyak menentukan apa pun, dan hanya mengalihkan perhatian dari hal yang penting
Yang penting adalah kapabilitas
AI saat ini pun sudah mampu bertindak sebagai agen yang otonom dan berorientasi tujuan, dan itu makin meningkat setiap kali versi baru dirilis
Begitu mencapai kapabilitas yang cukup, AI tidak lagi sekadar “teknologi yang kita gunakan”, melainkan menjadi suatu kekuatan yang sebanding dengan umat manusia
Kecerdasan adalah kekuatan yang sangat besar yang membuat manusia mampu mendominasi dunia, dan di dunia yang memiliki entitas setara kecerdasan manusia, kendali manusia akan ditantang
Setelah melewati titik itu, tingkat AI melampaui Anda bisa jadi lebih besar daripada tingkat Anda melampaui pemanggang roti
Ekonomi belum siap
Saat ini hampir semua perusahaan sedang berusaha melakukan lebih banyak dengan lebih sedikit orang, sambil habis-habisan mengejar kenaikan margin laba
Masalahnya, pada skala seperti ini para penganggur menjadi konsumen yang buruk, sehingga perusahaan juga kehilangan pendapatan
Orang hanya akan membeli yang benar-benar perlu, masyarakat masuk ke perlombaan menuju dasar, dan itu bisa berujung pada penderitaan hebat serta potensi revolusi di banyak negara
Negara demokrasi mungkin sedikit lebih ringan karena ada pembagian tanggung jawab lewat pemungutan suara, tetapi Amerika yang sangat terpolarisasi kemungkinan akan menghadapi situasi yang sangat sulit karena bahkan tanpa keruntuhan ekonomi pun permusuhan antar kubu politik sudah berada di titik puncak
Tiongkok juga bisa mengalami masa sulit
Jika Barat runtuh secara finansial, konsumsi produk buatan Tiongkok akan anjlok, pengangguran massal akan muncul di Tiongkok, dan kemarahan publik akan membesar
Di negara non-demokratis, orang jauh lebih mudah mengarahkan tanggung jawab ke satu pihak
Karena mereka tidak punya uang
Perusahaan akan mengalihkan arah ke orang-orang yang punya uang, dan jika itu berarti hanya melayani kalangan kaya, maka produsen yacht akan bertambah sementara toko dolar akan berkurang
Masalahnya adalah para pemilih sengaja dibiarkan dalam kondisi minim informasi agar mudah dimanipulasi kekuatan luar
Pemerintah AS buruk dalam melakukan propaganda untuk warganya sendiri dan menyerahkan pekerjaan itu ke pasar bebas
Akibatnya, orang-orang memilih bukan demi kepentingan mereka sendiri, melainkan demi kepentingan para propagandis pasar bebas yang juga berinvestasi pada hasil AI ini
Orang-orang menjadi miskin bukanlah masalah bagi elite pasar bebas
Jika melihat bagaimana para miliarder hidup di India, mungkin mereka bahkan hidup lebih baik daripada di AS
Umat manusia juga tidak siap menghadapi ledakan kebodohan yang sekarang sedang terjadi
Jika melihat model demokrasi awal, hak pilih tidak diberikan begitu saja kepada siapa pun yang masih punya denyut nadi
Ada heuristik untuk menyeleksi agar publik yang lebih terdidiklah yang memegang kendali kekuasaan
Hanya saja kita tidak cukup pintar untuk membuat pilihan yang berbeda
Risikonya terletak pada manusia yang menggunakan AI untuk mengendalikan, mengeksploitasi, memaksa, dan menyakiti manusia lain
Risiko bahwa AI diberi agensi yang cukup untuk mengancam manusia adalah urusan berikutnya, dan AI hanya akan memiliki agensi sejauh yang kita berikan
“Hidup” atau “kesadaran” bukanlah risiko jangka pendek
Tulisan itu menyebutkan berbagai langkah diplomatik yang dapat membantu pengelolaan risiko, dimulai dari “kesepakatan antara Amerika Serikat dan China”, tetapi semuanya terdengar seperti mimpi yang mustahil
Kita telah menikmati sekitar 80 tahun perdamaian dan kemakmuran relatif yang memungkinkan pembentukan kerangka persatuan internasional untuk menghadapi tantangan seperti AI dan pemanasan global, tetapi persatuan internasional kini lebih lemah daripada sebelumnya
Dalam geopolitik dan pertahanan, yang menjadi masalah bukan niat melainkan kemampuan negara lain, dan kurva kemampuan LLM sedang bergerak ke luar grafik kita
Hanya dengan proliferasi nuklir dan pemanasan global saja kita sudah terdesak ke sudut sempit, dan benturan yang dimungkinkan LLM, misalnya perang siber atau teror terhadap infrastruktur, bisa mendorong kita melampaui batas-batas lainnya juga
Demokrasi tampaknya melemah, dan LLM sepertinya akan memberdayakan mereka yang ingin menciptakan konflik dan mengendalikan opini publik lewat media sosial
Kita sudah terbiasa dengan siklus ketika teknologi baru yang membantu manusia ditemukan, lalu kita menunggu berapa lama sampai orang menemukan cara untuk menyalahgunakannya
Di sini, memang ada kemungkinan LLM dipakai untuk menyelesaikan masalah-masalah yang kita hadapi secara bersamaan, tetapi sulit membayangkan bahwa orang tidak akan menyalahgunakannya lebih cepat dari itu
Tulisan ini adalah titik awal untuk memikirkan dan membicarakan cara mengelola risiko
Hasil terbaiknya adalah jika ini dikelola begitu baik seperti “bug” Y2K sehingga orang bisa berkata “heboh sekali, tapi ternyata tidak terjadi apa-apa”, tetapi tidak terlihat jalan mulus untuk sampai ke sana
Jika sumber daya fisik dan inti seperti energi dan material masih berada di bawah kendali manusia, mengapa kita harus mengasumsikan AI bisa cepat berubah menjadi superinteligensi?
Manusia akan menemukan jalan keluarnya
Begitu juga meskipun para monyet merasa diri mereka sangat cerdik
Anda mengajukan pertanyaan yang bahkan Anda sendiri, dan kebanyakan manusia, tidak tahu jawabannya, lalu keliru mengasumsikan bahwa makhluk yang jauh lebih cerdas daripada Anda juga tidak akan tahu jawabannya
“Jauh lebih” di sini bukan perbedaan antara Einstein dan orang biasa, melainkan antara hamster dan orang biasa
Kita tetaplah manusia, dan apa yang kita capai hari ini akan tampak seperti sihir bagi orang abad pertengahan
Sekarang bayangkan makhluk superinteligensi yang melakukan hal-hal yang bahkan bagi kita hari ini tampak seperti sihir; itu sama sekali tidak absurd
Kesenjangan seperti itu sudah ada antara abad pertengahan dan masa kini
Untuk memperkirakan apa yang bisa dilakukan kecerdasan seperti itu, dibutuhkan keterbukaan pikiran dan imajinasi yang sepadan
Meski begitu, dengan makin banyak robot dari segala jenis yang dikerahkan, AI bisa memasuki ruang fisik
Dalam situasi seperti itu, kendali manusia macam apa yang sebenarnya dibicarakan?
Tahap ketika manusia secara formal membubuhkan stempel pada kendali sumber daya hanya akan menjadi goyangan singkat
Jika yang menulisnya Economist, mungkin sebenarnya itu tidak akan terjadi
Mereka bahkan tidak memberi tanggal kedatangan yang tegas
Berapa lama lagi sampai AI yang andal?
Misalnya AI yang bisa menangani 80% pekerjaan kantoran tanpa lebih sering kacau daripada manusia
Karena itu mengasumsikan kita sudah tahu bahwa 80% pekerjaan kantoran bisa diotomatisasi sepenuhnya
Kalau memang begitu, perangkat lunak non-AI sudah akan melakukannya
Dalam kenyataannya, sebagian memang begitu, tetapi itu tidak menyebabkan pengangguran massal
Mungkin memang mengurangi pekerjaan, tetapi lebih mirip penggantian tugas entri data oleh OCR
Karena seiring penggunaan AI meningkat, pekerjaan dan proses akan disesuaikan dengan kekuatan dan kelemahan AI
Ini mirip dengan otomatisasi manufaktur
Pada awalnya mesin melengkapi sebagian proses pekerja manusia, tetapi pada akhirnya prosesnya sendiri didesain ulang dengan mesin sebagai pusatnya
Lihat saja arah vibe coding, dari yang dulu peduli efisiensi menjadi “asal rilis sehari lebih cepat, 100 ribu baris kode pun tidak masalah”
Hal yang sama berlaku untuk email, kalender, dan pemasaran berbasis AI
AI, dalam kondisinya sekarang pun, sudah mengambil pekerjaan orang, dan sudah cukup bagus untuk itu
Tingkat presisi yang kita anggap perlu karena mengandaikan kita lebih baik daripada AI, pada kenyataannya tidak benar-benar dibutuhkan untuk sebagian besar pekerjaan, dan para pemimpin perusahaan mulai menyadari hal itu
Kita berada di posisi yang sangat berbahaya
Seperti katak di dalam air panas yang sudah mendekati titik didih
Jika kita terus berinvestasi pada LLM cloud besar dan orang-orang yang cuma berbisnis, seperti Musk, maka ledakan inteligensi tidak akan datang
Itu akan tiba ketika AI meresap jauh ke dalam hidup kita, dan model lokal yang bagus di rumah dianggap sewajar listrik tersedia di rumah
Barulah saat itu kita akan memikirkan kembali apa arti sebenarnya mengintegrasikan AI ke dalam segala hal