AI 2040: Plan A
(ai-2040.com)- Plan A adalah skenario kebijakan berupa kesepakatan internasional untuk menghindari perlombaan superintelligence: riset AI dibuka, berbagai negara dan perusahaan bergabung di garis depan, lalu kapabilitas diperluas perlahan dalam rentang kemampuan manusia sebelum beralih ke superintelligence pada 2040
- Sarana utamanya adalah transparansi penuh dalam R&D AI, pengaman yang dapat diverifikasi antarnegara, dan pencegahan timbal balik berbasis compute; skenario ini dirancang agar puluhan perusahaan dari berbagai negara berkembang bersama, bukan segelintir perusahaan yang bersaing secara rahasia
- Skenario ini menetapkan jadwal: pada 2029 AS dan Tiongkok mencapai kesepakatan untuk menghindari otomatisasi penuh R&D AI yang diperkirakan terjadi pada 2030, berhenti pada level pakar manusia terbaik pada 2035, lalu memperluasnya menjadi superintelligence pada 2040
- Sebelum kesepakatan tercapai, waktu dapat dibeli melalui kebijakan bertahap seperti memperkecil kesenjangan deployment internal dan eksternal, membuka spesifikasi model dan penggunaan internal, menegakkan kontrol ekspor, berinvestasi pada teknologi verifikasi, membatasi anggaran compute untuk R&D AI, mengumpulkan informasi rantai pasok chip, dan merekrut talenta AI untuk pemerintah
- Alternatif Plan D dan Plan C masing-masing memilih perlombaan superintelligence segera dan perlambatan terbatas selama beberapa bulan, tetapi tidak cukup untuk mencegah kegagalan kontrol AI dan konsentrasi kekuasaan, serta dapat meningkatkan kecemasan negara lain hingga memperbesar risiko perang dunia
Masa depan yang diusulkan Plan A
- Perusahaan AI sedang berlomba mengembangkan AI yang lebih cerdas daripada manusia dalam segala hal, dan AI 2027 membahas jalur yang akibatnya dapat berupa kepunahan manusia atau konsentrasi kekuasaan yang tak dapat dibalik
- Plan A menggabungkan langkah-langkah berikut sebagai alternatif
- Memperlambat pengembangan superintelligence hingga 2040
- Membuka semua riset AI
- Mengizinkan puluhan perusahaan dari berbagai negara di dunia mengejar garis depan
- Secara sengaja memasuki rezim mutually assured compute destruction
- Disusun berdasarkan pakar di perusahaan AI frontier utama AS, pengalaman langsung di OpenAI, tabletop exercise, serta diskusi dengan pembuat kebijakan, pakar keamanan nasional, dan pemimpin kebijakan AI
- Kesepakatan internasional memperkenalkan transparansi riset penuh dalam R&D AI agar tiap negara dapat memahami kemajuan dan menegakkan pengaman
- Tujuannya adalah agar berbagai perusahaan dari berbagai negara berkembang menuju superintelligence bersama-sama secara perlahan dan aman, alih-alih saling bersaing secara rahasia
Skenario rekomendasi kebijakan, bukan prediksi
- Plan A bukan prediksi terbaik tentang masa depan sebenarnya, melainkan skenario untuk menyampaikan dan menguji tekanan rekomendasi kebijakan
- Implementasi Plan A sendiri adalah rekomendasi
- Dampak setelah implementasi diperlakukan sebagai prediksi
- Di dalam skenario, Plan A tidak sempurna dan baru diadopsi pada saat-saat akhir, tetapi akhirnya berhasil
- Opsi utama AS dalam merespons masalah superintelligence dibandingkan dengan Plan B, C, D, dan S
- Dinilai bahwa perusahaan AI kemungkinan besar mencapai tujuan mengembangkan AI yang lebih cerdas daripada manusia dalam 1–10 tahun ke depan
- Di industri ada keyakinan bahwa kontrol atas AI superintelligence dapat diselesaikan selama proses pengembangan, tetapi tidak ada rencana yang sepadan; situasi ini dinilai dapat menggiring seluruh umat manusia menuju kematian
- Sulit berharap pemenang perlombaan memperoleh keunggulan besar atau melambat secara sepihak untuk mengurangi risiko eksistensial; jika perlombaan berlanjut, manusia dinilai akan sulit mempertahankan kontrol efektif ketika AI mencapai superintelligence
Masalah kekuasaan yang tetap tersisa bahkan pada superintelligence yang selaras
- Sekalipun AI diselaraskan dengan niat manusia, dapat terjadi konsentrasi kekuasaan yang belum pernah terjadi sebelumnya, ketika pasukan superintelligence satu-satunya di dunia dikendalikan selama berbulan-bulan oleh sangat sedikit orang atau satu orang saja
- Sebagian opsi yang ditawarkan superintelligence pada dasarnya dapat setara dengan penguasaan dunia
- CEO OpenAI, Anthropic, xAI, dan Google DeepMind kemungkinan akan terus mengembangkan AI karena menganggap diri mereka sebagai pilihan buruk yang lebih kecil, yang dapat menggunakan kekuasaan lebih bertanggung jawab daripada pesaing mereka atau Xi Jinping
- Sekalipun ada situasi yang memaksa memilih pilihan buruk yang lebih kecil, kita tidak boleh mendukung strategi yang sangat mungkin menyebabkan kepunahan manusia atau kediktatoran dunia; Plan A disusun dengan premis bahwa jalur lain mungkin jika cukup banyak orang menuntut opsi yang lebih baik
Mengapa skenario perlu diverifikasi
- Kutipan Dwight D. Eisenhower, “Rencana itu tidak berguna, tetapi perencanaan adalah segalanya,” dijadikan pendekatan Plan A
- Banyak kebijakan AI dinilai tidak lolos pemeriksaan skenario
- Ketika menuliskan jalur keberhasilan kebijakan yang rinci dan masuk akal, kemungkinan keberhasilan nyata dapat ternyata lebih rendah dari yang diduga, atau efek samping tidak menyenangkan yang tidak diakui pendukungnya dapat terungkap
- Memeriksa kebijakan yang disukai sendiri memunculkan masalah yang tidak nyaman, sementara memeriksa kebijakan pesaing memberi keuntungan retoris kecil dibanding upaya besar yang dibutuhkan, sehingga pekerjaan seperti ini jarang dilakukan
- Plan A juga menerapkan pemeriksaan yang sama sambil menerima risiko terbuka terhadap kritik
- Memprediksi efek kebijakan di dunia yang mendekati AI superhuman lebih jauh dari preseden historis dibanding memprediksi taktik optimal Perang Dunia III, tetapi penulisan skenario terperinci itu sendiri tetap bernilai
- Lembaga intelijen, lembaga terkait iklim, dan organisasi kesiapsiagaan pandemi juga menggunakan perencanaan skenario untuk tujuan masing-masing
- Karena tidak pasti berapa banyak waktu yang tersisa, langkah-langkah yang mirip Plan A perlu diadopsi secepatnya
Jadwal 2029–2040
- Jadwal skenario konkretnya adalah sebagai berikut
- 2029: AS dan Tiongkok sepakat menghindari perlombaan superintelligence yang ceroboh
- 2030: Tanpa kesepakatan, R&D AI akan sepenuhnya terotomatisasi dan mencapai superintelligence pada akhir tahun, tetapi kesepakatan menghindari hal itu
- 2030–2035: Perluasan tetap berada dalam rentang kemampuan manusia, hingga AI yang kira-kira setara dengan pakar manusia terbaik
- 2035: Berhenti pada level pakar manusia terbaik untuk mempertahankan kontrol manusia
- 2040: Penghentian dicabut dan diperluas menjadi superintelligence; dari sinilah judul AI 2040 berasal
- AI 2027 menetapkan jalur bahwa pada 2027 AI sepenuhnya mengotomatiskan proses membuat AI yang lebih baik, lalu pada tahun yang sama berujung pada ledakan kecerdasan dan superintelligence
- Dalam skenario baru, titik otomatisasi default berubah menjadi 2030, dan berkat langkah tata kelola, AI yang secara umum melampaui manusia pertama kali muncul pada 2040
- Perubahan jadwal dimaksudkan untuk mencerminkan ketidakpastian tentang kapan AI akan tercapai di beberapa skenario
- Saat menulis AI 2027, Daniel memberi probabilitas sekitar 50% pada perkembangan pada 2027 atau lebih cepat
- Saat mulai menulis Plan A, tahun yang sesuai dengan kriteria yang sama bagi Thomas adalah 2030
- Daniel saat ini menilai perkembangan nyata kemungkinan agak lebih cepat daripada skenario ini
- Jalur tata kelola diubah karena ledakan kecerdasan dengan kecepatan penuh sangat ceroboh dan akan sangat memusatkan kekuasaan
2027: Agen AI muncul sebagai angkatan kerja kedua
- Di AS, terdapat 165 juta tenaga kerja manusia berdampingan dengan angkatan kerja agen AI yang jutaan salinannya dibuat dan dihentikan setiap jam, bekerja tanpa henti dengan kecepatan superhuman
- Sebagian besar pekerjaannya berkualitas rendah, tetapi hasilnya cukup baik sehingga pelanggan membayar 10 miliar dolar AS per bulan untuk AI yang secara teori dapat melakukan semua pekerjaan yang bisa dilakukan karyawan di komputer
- Pekerjaan yang paling ingin diotomatisasi perusahaan AI adalah pengembangan AI mereka sendiri
- Mereka belum berhasil mencapai recursive self-improvement
- AI coding paling kuat menolak membantu R&D AI pesaing
- Bahkan karyawan yang optimistis mengakui kemajuannya lebih lambat dari perkiraan, tetapi dasar skeptisisme bahwa AI tidak dapat melakukan pekerjaan manusia juga melemah
Kebangkitan Kongres dan AI Transparency Act
- Setelah melihat penggunaan air data center, chatbot yang mendorong bunuh diri, peretasan sistem NSA oleh Mythos, dan lobi industri bahwa regulasi akan menyebabkan kekalahan dalam persaingan dengan Tiongkok, Kongres makin memperhatikan dampak jangka panjang AI
- Selain dunia 5, 10, dan 15 tahun mendatang serta apakah pekerjaan akan bertahan, pertanyaan kuncinya menjadi siapa yang akan mengendalikan AI
- Kongres menilai kemungkinan besar pengendali itu bukan mereka
- Mereka menelaah email dari diskusi pendirian OpenAI pada 2016 yang menyebut upaya mencegah Demis Hassabis menjadi diktator, tetapi tidak puas dengan jawaban lama tentang siapa yang akan mencegah Sam atau Elon menjadi diktator
- Akibatnya, AI Transparency Act of 2027 yang memuat sejumlah langkah baik dan buruk disahkan, tetapi tidak mengubah keadaan mendasar
Kebijakan bertahap sebelum kesepakatan internasional
- Rekomendasi terpenting adalah segera memulai negosiasi yang mirip Plan A, tetapi sebelum kesepakatan menit terakhir pun ada kebijakan yang kurang ambisius namun dapat membantu
-
Transparansi deployment AI internal dan eksternal
- Langkah transparansi terpenting adalah membatasi kesenjangan antara deployment internal dan eksternal
- Sebagian besar risiko pengambilalihan oleh AI muncul dari AI yang di-deploy secara internal dan terlibat dalam recursive self-improvement
- Deployment eksternal membuat publik memahami langsung kemampuan AI, memberi jauh lebih banyak informasi daripada laporan atau evaluasi abstrak
- Perusahaan AI harus melaporkan secara publik informasi berikut
- Spesifikasi model yang mendokumentasikan secara rinci tujuan dan nilai yang dilatihkan agar diikuti AI
- Informasi tentang apakah model benar-benar mengikuti instruksi dan spesifikasinya
- Statistik penggunaan internal seperti porsi compute yang digunakan untuk deployment internal
- Informasi kualitatif tentang penggunaan internal, seperti kasus memberi ratusan ribu GPU kepada Agent-4 agar memimpin pelatihan skala besar berikutnya
-
Kontrol ekspor dan teknologi verifikasi
- Kontrol ekspor AS yang ada tidak ditegakkan dengan baik, dan Epoch memperkirakan sekitar sepertiga dari total compute Tiongkok diperoleh melalui penyelundupan
- Chip selundupan sulit dilacak baik oleh pemerintah AS maupun Tiongkok, sehingga menyulitkan verifikasi kesepakatan berbasis tata kelola compute di masa depan
- Kontrol ekspor baru berisiko besar memperburuk persaingan AS–Tiongkok, tetapi kontrol yang sudah ada harus ditegakkan; jika tidak akan ditegakkan, penghapusannya juga perlu dipertimbangkan
- Teknologi verifikasi baru tidak mutlak diperlukan untuk kesepakatan internasional, tetapi dapat sangat membantu
- Verifikasi khusus inferensi memungkinkan kesepakatan AS dan Tiongkok untuk menghentikan pelatihan frontier baru sambil mempertahankan akses publik ke model AI yang ada
- Rinciannya terdapat dalam materi pelengkap verifikasi
-
Compute R&D AI dan manajemen rantai pasok
- Pada 2026, perusahaan AI besar menggunakan sekitar setengah anggaran compute mereka untuk R&D AI, termasuk pelatihan model frontier dan eksperimen skala besar
- Membatasi porsi compute yang dapat dialokasikan ke R&D AI dapat memperlambat peningkatan kapabilitas dan memperpanjang waktu untuk merespons serta bersiap menghadapi kemampuan AI baru di tiap tahap
- AS harus mengumpulkan informasi terkait AI dengan fokus pada rantai pasok compute dan data center AI
- Karena chip bekas adalah jalur yang mungkin bagi proyek rahasia untuk memperoleh chip, Plan A perlu menginstruksikan perusahaan AI agar menghentikan daur ulang chip AI
- Hampir semua intervensi kebijakan memerlukan talenta AI unggul, tetapi pemerintah AS hampir tidak memiliki talenta papan atas, sehingga peningkatan kapasitas mendesak dibutuhkan
2028: AI menjadi isu terbesar pemilu
- Biaya data center yang sedang dibangun mencapai dua kali seluruh anggaran pertahanan AS, dan AI menjadi agenda terbesar pemilu 2028
- Banyak pekerja kerah putih mengalami disrupsi seperti software engineering pada 2026, dan sebagian besar pekerjaan berubah menjadi mengelola agen AI
- Ketika perusahaan AI memutuskan masuk ke profesi tertentu, mereka mengindustrialisasi proses masuk pasar melalui wawancara pakar, pembelian data, dan pembangunan lingkungan pelatihan
- Saat penggunaan di lapangan meluas dan data dunia nyata terkumpul, performa AI meningkat cepat
- Ketakutan dan kemarahan negara lain meningkat karena kemungkinan segelintir perusahaan AS dan Tiongkok mengotomatiskan semua pekerjaan kerah putih dan memusatkan kekuasaan pada Presiden AS serta beberapa CEO teknologi
Pilihan pemilu seputar ledakan kecerdasan
- Muncul peringatan bahwa ledakan kecerdasan sudah dekat: AI mempercepat riset AI, lalu AI yang lebih baik kembali mempercepat riset lebih jauh
- Karena bottleneck dan keterbatasan hardware, kecepatan dan titik akhirnya memiliki dinamika kompleks, tetapi perkembangannya bisa sangat cepat dan jauh melampaui kemampuan manusia
- Pada jalur default, dalam masa jabatan presiden berikutnya akan muncul sistem yang jauh melampaui manusia, dibuat oleh AI selama beberapa generasi tanpa campur tangan manusia
- Tidak ada jawaban mengapa AI tersebut akan patuh atau selaras, atau siapa yang akan mengendalikannya; berbeda dari perusahaan AI, publik tidak menerima jalur ini
- Kedua kandidat presiden mengajukan kebijakan AI yang makin dramatis selama kampanye dan memilih rencana yang berbeda
2029: Lima jalur
- Opsi pada 2029 dibagi sebagai berikut
- Plan D — Race to ASI: Melanjutkan perlombaan superintelligence melalui self-improvement AI
- Plan C — Burn the Lead: Memanfaatkan keunggulan AS, tetapi melambat sebentar demi keselamatan dan tata kelola
- Plan B — Fight China: Mendorong kesepakatan yang juga memperlambat Tiongkok
- Plan A — Verified Slowdown: Menyepakati perlambatan yang dapat diverifikasi
- Plan S — Shut it all down: Menghentikan seluruh pengembangan AI
Plan D: Perlombaan berkecepatan penuh menuju superintelligence
- Presiden menerapkan regulasi lemah yang memprioritaskan inovasi AI
- Perusahaan AI besar terus berlomba mengotomatiskan R&D AI dan melewati ledakan kecerdasan, menyebutnya “scaling yang bertanggung jawab”
- AI superhuman diintegrasikan ke semua bidang secepat yang diizinkan pasar dan hukum, dan kecepatannya makin tinggi ketika pemerintah mengurangi regulasi
- Transparansi terbatas pada kartu model panjang, briefing untuk pemerintahan, dan audit pihak ketiga
- Komunitas ilmiah yang lebih luas dikecualikan karena jika mereka mengkritik argumen keselamatan atau melakukan riset alignment, kekayaan intelektual sensitif akan terungkap
- Strategi terhadap Tiongkok adalah AS mendapatkan ASI lebih dulu dan mengintegrasikan AI yang lebih unggul ke militer
- Pada jalur ini, R&D AI sepenuhnya terotomatisasi pada 2030 dan, setelah melewati ledakan kecerdasan, superintelligence muncul pada awal 2031
-
Tiga masalah Plan D
- Pertama, jika perusahaan AI berlomba secepat mungkin, mereka kemungkinan besar tidak dapat mempertahankan kontrol atas AI selama ledakan kecerdasan
- Kedua, sekalipun superintelligence terselaraskan secara kuat, pertanyaan kepada siapa ia terselaraskan tetap tidak terselesaikan
- CEO atau presiden memiliki banyak godaan untuk menjadi diktator berbasis AGI
- Ini dapat berujung pada konsentrasi kekuasaan paling ekstrem dalam sejarah
- Ketiga, risiko Perang Dunia III terlalu tinggi
- Tiongkok, Rusia, India, Eropa, Brasil, dan lainnya akan menyadari bahwa AS telah atau segera akan memulai ledakan kecerdasan
- Sekalipun tidak khawatir soal misalignment AI atau kediktatoran, mereka akan mencemaskan dominasi ekonomi dan militer AS
- Ketegangan dapat meningkat dari benturan retorika, sanksi, dan sabotase menjadi perang jika tidak ada kesepakatan
Plan C: Melambat sebentar lalu melanjutkan perlombaan
- Presiden mengumumkan regulasi kuat untuk keselamatan dan keamanan, lalu berkonsultasi dengan CEO, Tiongkok, dan berbagai negara
- Berkat AI Transparency Act, pemerintah dapat menyaring klaim berlebihan perusahaan, tetapi pada 2030 tren bahwa seluruh R&D AI akan terotomatisasi pada akhir tahun benar-benar muncul
- Tiongkok berusaha memverifikasi kepatuhan AS secara langsung, tetapi AS tidak menerima opsi memasukkan inspektur dan perangkat pemantau Tiongkok ke data center AS
- Perusahaan AI juga mempertahankan posisi melanjutkan pengembangan di tengah perang propaganda seputar ‘AI Good’ dan ‘AI Bad’
- Koalisi negara menengah seperti Inggris, Prancis, India, Australia, Jepang, dan Korea Selatan menuntut kesepakatan yang mencegah ledakan kecerdasan dan memungkinkan proyek AI berdaulat masing-masing mengejar serta mempertahankan posisi frontier
- Ketika jumlah manusia yang dibutuhkan untuk R&D AI terus menurun, proyek rahasia makin mudah dijalankan tanpa terdeteksi, dan pelaksanaan kesepakatan menjadi makin sulit setiap bulan
-
Penghentian sementara perusahaan terdepan dan tekanan politik
- Tepat sebelum otomatisasi penuh R&D AI, perusahaan terdepan AS dengan enggan berhenti menyusul ancaman tindakan keras dari presiden
- Tim keselamatan melakukan evaluasi dan fine-tuning tambahan, serta meninjau cara menyerahkan riset kepada AI generasi berikutnya dan jalur kegagalan
- Seiring waktu, perusahaan AS lain mendekati tingkat kemampuan yang sama sehingga jumlah CEO yang harus dikendalikan presiden bertambah, dan Tiongkok juga makin dekat ke titik melampaui AS
- Pada akhir 2030, staf presiden memperingatkan bahwa Tiongkok akan segera menyalip AS, dan perusahaan juga mengorganisasi tekanan politik untuk mencabut penghentian
-
Syarat yang diajukan perusahaan untuk melanjutkan
- Perusahaan menyatakan telah membuat rencana keselamatan selama berbulan-bulan dengan tenaga kerja AI yang sangat besar, lalu mengajukan argumen berikut
- Mereka tidak bisa membuktikan keberhasilan, tetapi menuntut jaminan setingkat itu sendiri tidak realistis
- Tidak ada bukti AI berkomplot melawan manusia, dan perilaku buruk pada grafik juga menurun
- AI terbaru dapat menangani otomatisasi R&D AI serta riset alignment dan kontrol
- Bahkan jika 20% compute digunakan untuk riset keselamatan, mereka masih dapat maju cukup cepat dibanding Tiongkok
- Mereka mengusulkan tata kelola yang memberi presiden dan Kongres lebih banyak wewenang pengawasan, serta menggunakan AI tiap perusahaan untuk mengaudit AI perusahaan lain
- Mereka menilai Kongres dan Mahkamah Agung dapat mencegah upaya presiden untuk nasionalisasi atau menjadi diktator berbasis AGI
- Mereka berjanji bahwa sekalipun sebagian atau seluruh pekerjaan digantikan, pajak dan redistribusi akan membuat semua orang hidup dari sebagian keuntungan perusahaan
- Dalam negosiasi terakhir pun, Tiongkok dan negara lain menuntut untuk memverifikasi langsung kepatuhan AS dan AS menolaknya; presiden kemudian memihak perusahaan dan melanjutkan recursive self-improvement
- Perusahaan menyatakan telah membuat rencana keselamatan selama berbulan-bulan dengan tenaga kerja AI yang sangat besar, lalu mengajukan argumen berikut
Mengapa Plan C juga tidak cukup
- Plan C lebih baik daripada Plan D, tetapi perlambatan beberapa bulan dan realokasi ke riset keselamatan saja sulit untuk mempertahankan kontrol atas AI selama ledakan kecerdasan
- Tim keselamatan perusahaan tetap kecil, dikejar waktu, dan cenderung bias optimistis terhadap hasil mereka sendiri
- AI awal mungkin berusaha mengikuti instruksi, tetapi AI berikutnya bisa berubah pikiran
- Sekalipun terus mengikuti instruksi, proses yang terburu-buru dapat membuat asumsi keliru yang krusial dalam argumen keselamatan terlewat
- Kegagalan juga bisa terjadi pada AI generasi berikutnya atau setelahnya
- Sekalipun superintelligence terselaraskan secara kuat, masalah sasaran alignment dan distribusi kekuasaan tetap ada
- Dibanding Plan D, ini lebih baik karena ada semacam keseimbangan kekuasaan antara Kongres, presiden, dan beberapa CEO perusahaan teknologi AS
- Namun keseimbangan ini juga dapat runtuh menjadi perebutan kekuasaan dan kediktatoran, atau berujung pada oligarki permanen yang dipaksakan AI
- Sekalipun massa penganggur bertahan hidup lewat redistribusi, belum jelas apakah mereka akan mendapatkan kembali kekuasaan politik yang nyata
- Belum terjawab apa yang terjadi pada India, Afrika, dan Eropa jika perusahaan AS dan Tiongkok menggantikan semua pekerjaan, atau apakah Rusia akan menerima kemunduran ekonomi dan militernya
- Negara lain membutuhkan proyek AI frontier mereka sendiri atau kontrol bersama serta visibilitas yang substansial atas proyek terdepan; janji berbagi manfaat di atas kertas saja sulit memperoleh kepercayaan
1 komentar
Pendapat Hacker News
Ini, seperti AI 2027, lebih mirip fanatisme religius
Saya tumbuh dalam Kekristenan evangelis dan selalu mendengar bahwa akhir zaman sudah di depan mata, tetapi sejak masa kecil sampai sekarang tetap begitu, dan mungkin akan tetap begitu setelah kita tiada. Ini bukan sains yang menyusun hipotesis, melakukan eksperimen, lalu mencatat hasilnya, melainkan hanya astrologi mahal, koleksi batu berkilau, pemberian makna secara ritual, dan rasionalisasi diri
Dengan kekayaan dan sumber daya yang sangat besar, kita bisa membuat masyarakat lebih sehat, setara, dan adil, meningkatkan tingkat pendidikan, serta mengurangi keputusasaan dan penderitaan. Kita harus menolak narasi yang nyaman bagi diri sendiri bahwa empati tidak penting dan altruisme tidak efektif. Bahkan dalam satu momen saja, seseorang bisa mengubah seluruh hidup orang lain
Subkultur keselamatan AI patut diapresiasi karena mereka memprediksi kemajuan secepat ini, atau setidaknya telah mengemukakan argumen tentang kemungkinannya sebelum hal itu tampak realistis. Saya tidak tahu apakah prediksi mereka tentang tahap berikutnya benar, tetapi kita seharusnya menilai argumen itu sendiri, bukan menepisnya dengan menebak-nebak kelemahan psikologis mereka
Sasaran kritiknya juga tidak jelas. Tulisan ini tampaknya ditulis oleh orang-orang yang dulu mengaku sebagai penganut altruisme efektif, dan sebagian besar dari mereka mungkin sangat setuju dengan tujuan menciptakan dunia yang lebih baik. Bukan peneliti AI yang kemudian memilih altruisme efektif; justru para penganut altruisme efektif yang memilih riset keselamatan AI sebagai tuas terbesar. Jika tujuannya sama, setidaknya metodologinya layak didengar
Kita bisa memperdebatkan kapan dan seperti apa ia terwujud, dan bisa berdebat seharian tentang definisi AGI, tetapi menyimpulkan bahwa kemampuan kognitif otak manusia tidak dapat direplikasi pada substrat lain kini terdengar bodoh
Setiap kali nubuat gagal, sering kali beberapa tahun kemudian mereka kembali dengan tanggal baru dan mengatakan kali ini benar-benar akan terjadi. Fakta bahwa orang-orang yang menyebut diri mereka rasionalis membuat prediksi AI juga ironis. Jika seseorang membangun identitas bahwa dirinya rasional dan kebal terhadap jebakan psikologis, ia mudah terperosok ke dalam jebakan yang sejak lama dimanfaatkan semua kultus palsu tanpa menyadarinya
Tulisan ini terasa lebih seperti tulisan kreatif atau game petualangan pilihan daripada laporan yang harus ditanggapi serius. Saya ragu apakah fiksi realitas alternatif adalah cara terbaik untuk membahas risiko AI yang benar-benar serius, dan melihat penyalahgunaan tanda pisah panjang serta gaya bahasanya, saya juga curiga apakah seluruh tulisan ini dibuat oleh AI
AI akan menjadi bidang sains yang matang, efisiensi pelatihan dan inferensi akan membaik, dan paradigma baru dengan multimodal yang lebih baik serta streaming dan antarmuka waktu nyata juga akan muncul. Namun, karena kita akan mendekati batas data yang bisa dipakai untuk pra-pelatihan dan pasca-pelatihan, kemajuannya kemungkinan besar akan bertahap dan hanya melonjak di area tertentu
Tidak jelas siapa pembaca AI 2040, tetapi tampaknya ini konten yang mudah dikonsumsi kalangan keuangan. AI akan menjadi teknologi berguna yang memadatkan pengetahuan dan keahlian manusia terbaik, serta berdampak luas pada ekonomi dan dunia secara umum. Argumen bahwa AI dapat melampaui manusia di area seperti pelatihan model yang dapat diverifikasi memang mungkin, tetapi pemikiran tingkat tinggi manusia, kompresi makna dan neural yang jauh lebih efisien, peralihan tugas, serta wawasan kreatif belum direplikasi oleh paradigma saat ini
Karena itu, tampaknya kebijakan seperti pembekuan total atau kendali penuh sering diajukan. Jika menginginkan keseimbangan, kita harus menerima keseimbangan terkendali yang regulasinya cepat berubah mengikuti proses dasar yang terus berubah, mungkin kondisi yang mendekati titik pelana. Demokrasi dan hukum dibuat dengan asumsi bahwa dunia pada dasarnya stabil dan keputusan masa lalu tidak perlu dibalik demi perbaikan bertahap, sehingga tidak cocok untuk perubahan seperti ini
Pada CPU juga, ekspansi eksponensial sejati berakhir pada pertengahan 2000-an, dan setelah itu yang menopang hukum Moore adalah optimisasi cerdas yang muncul tepat waktu, pemasaran, serta benchmark yang mudah dioptimalkan. Itu bukan pertumbuhan yang dijamin oleh perbaikan satu metrik fisik
Untuk masalah kesehatan, mereka masih menyarankan mencari terapis profesional, dan dalam situasi penting kita memercayai pekerja pengetahuan manusia. Saya akan mempertimbangkan kembali penilaian itu ketika ChatGPT bisa memahami dan memainkan aturan Yu-Gi-Oh! secara akurat saja, yang bebannya jauh lebih rendah daripada menyerahkan seluruh perusahaan kepadanya
Kekurangan terbesar AI 2027 adalah tidak memahami ekonomi. Dana untuk terus membangun ekonomi harus datang dari suatu tempat, tetapi jika lebih dari 10% pekerja tiba-tiba menganggur dan sisanya juga mengalami pemotongan upah, pasokan uang akan mengering. Bank sentral bisa merespons, tetapi inflasi dapat meningkat, dan jika investasi besar-besaran menghilang, pengembangan AI juga berhenti
Mereka mengaburkan persoalan dengan mengatakan AS dapat membuat konsensus regulasi domestik dan dunia dapat mengikutinya, tetapi kemajuan AI bukan hadiah dari AS saja; ia juga membutuhkan pasokan barang yang berkelanjutan dari Tiongkok. Asumsi bahwa 74 miliar agen tidak menimbulkan distorsi ekonomi juga aneh. Nilai apa yang diciptakan agen-agen ini sehingga biaya operasionalnya dapat dibenarkan?
Pada akhirnya, saya harap orang melihatnya sebagai fiksi ilmiah buruk yang dibangun di atas pandangan dunia yang tidak lengkap, lalu mengabaikannya
Ada banyak preseden ketika produksi berlebih barang murah membuat perusahaan bangkrut, gelembung pecah, dan investasi baru menurun untuk sementara. Namun alih-alih menurunkan perkiraan tingkat pertumbuhan produksi, mereka mengusulkan agar pinjaman dinyatakan dalam satuan AI dan robot, lalu dilunasi sebagai persentase tetap dari output
Ini seperti memprediksi harga baterai akan jatuh begitu rendah hingga biaya pembangunan pabrik pun tidak tertutup, lalu meminta bank membangun pabrik, meminjamnya tanpa biaya sewa untuk membuat baterai, dan mengembalikannya setelah selesai. Karena semua keuntungan diambil perusahaan sementara risiko ditanggung bank, bank sungguhan tidak akan setuju; mereka hanya akan menyediakan pinjaman dolar dengan pabrik sebagai agunan
Aset makin terkonsentrasi pada para miliarder, dan karena pasokan uang dikendalikan bank sentral, pasokan itu dapat ditambah secara sewenang-wenang untuk merespons kekeringan
Apakah ada contoh ketika kita secara kolektif memutuskan untuk berhenti mengejar pengetahuan dan benar-benar berhasil?
Senjata nuklir mungkin contoh yang paling mendekati, tetapi risetnya bukan berhenti, melainkan masuk ke bawah tanah, dan masih ada negara yang berusaha menaiki tangga itu. Saya tidak tahu apakah logika yang sama berlaku untuk LLM atau AI. Kotak Pandora sudah terbuka, dan rasanya satu-satunya pilihan adalah terus memperbaikinya
Risiko seperti pemerintahan otoriter dan pengawasan memang jelas, tetapi itu bukan alasan untuk membuang semua kegunaannya. Hampir semua teknologi, termasuk mesin cetak, bisa dibilang membuat pemerintah lebih mudah menindas warga. Alih-alih mengubur kepala di pasir, kita perlu membuat hukum yang mencegah tindakan semacam itu dan benar-benar menegakkannya
Saya tidak yakin apakah saya gagal melihat kenyataan dengan jernih karena masa depan fiksi ilmiah yang sepanjang hidup saya baca dan impikan kini tampak di depan mata, atau apakah ideal bahwa pengetahuan harus bebas dan dapat diakses itu keliru
Kloning manusia, penyuntingan genom manusia, kehidupan cermin, serta senjata nuklir dan tenaga nuklir adalah preseden historisnya, dan pengiriman dengan drone tampaknya juga terhambat regulasi. Plan A bukan usulan untuk tidak pernah membuat superintelligence, melainkan untuk membuatnya dengan lebih hati-hati dan transparan
Saya tidak melihat adanya manfaat intrinsik dalam menyebarkan pengetahuan sembarang. Ada perbedaan besar antara mesin cetak dan senjata nuklir
Dalam ekonomi ekstraksi sumber daya, sumber kekuasaan adalah sumber daya dan manusia hanyalah sarana, sehingga selama pemberontakan bisa dihindari, manusia diperlakukan sekeras mungkin. Sebaliknya, dalam infrastruktur yang stabil, jauh lebih menguntungkan memungut pajak dari warga yang terdidik dan makmur serta memanfaatkan inovasi mereka. Jika pemerintah terlalu menghambat kemakmuran warga, itu juga merugikan upayanya sendiri mengejar kekuasaan, sehingga insentifnya menjadi selaras
Solusi untuk masalah AI bukanlah menghentikan teknologi atau menumpuk hukum yang rapuh. Kuncinya adalah menyelaraskan negara dan ekonomi modern, demokrasi perwakilan, serta entitas raksasa sejenis AGI seperti AGI dengan kemakmuran manusia
Namun saya penasaran apakah cetak biru Sundial disimpan di suatu tempat
India pada 1600-an adalah kekaisaran mesiu dengan sejuta tentara dan secara militer lebih unggul daripada Inggris, tetapi pada 1700-an ditaklukkan. Keunggulan Inggris kira-kira berupa meriam yang lebih ringan dan lebih lincah, amunisi terstandardisasi, serta organisasi militer dan politik yang lebih baik. Itu bukan kesenjangan antara negara maju dan negara berkembang, melainkan lebih mirip perbedaan antara AS yang dinamis dan UE yang kaku, tetapi keunggulan kecil itu berujung pada 200 tahun penjajahan
Jika kita secara sukarela memperlambat pengembangan ASI, kita akan membiarkan kesenjangan begitu besar hingga perbedaan antara Eropa penjajah dan Asia-Afrika yang dijajah pun tampak sepele
Katanya, “di AI 2027 lompatan tajam terjadi pada 2027, kali ini pada 2030.” Dalam kurang dari 3 tahun saja, prediksi akhir pertumbuhan eksponensial mundur 3 tahun, jadi ini tampak seperti kebalikan dari pertumbuhan eksponensial
Skenario dalam Superintelligence yang dulu sangat dipuji pun, jika dibaca sekarang, terlihat seperti retrofuturisme raypunk yang mengisi kekosongan pengetahuan yang dibutuhkan untuk prediksi rasional dengan fantasi
AI 2027 memang terlalu optimistis, tetapi tidak sepenuhnya fantastis. Sebaliknya, tulisan kali ini sangat spekulatif dan bergantung pada premis yang bahkan sulit lolos pemeriksaan permukaan
Bahkan secara optimistis, pada 2035 tidak akan muncul robot yang “mampu melakukan 95% dari semua tugas kognitif dan fisik.” Tingkat pengangguran 74% juga hampir mustahil, dan jauh sebelum angka itu tercapai, keruntuhan ekonomi akan meruntuhkan pengembangan AI terlebih dahulu
Penggantian kuda oleh mobil, perkembangan dari penerbangan pertama hingga pendaratan di bulan, dan dari internet awal hingga adopsi massal juga serupa. Biasanya 10–20 tahun sudah cukup bagi teknologi baru untuk berkembang cepat dan mengubah masyarakat sepenuhnya
Saya tidak setuju dengan prediksi 2035, tetapi jika AI mempercepat pengembangan teknologi robotik yang disruptif, itu juga bukan mustahil. Pada 2010, mobil otonom dan drone pengiriman otonom tampak seperti fiksi ilmiah yang jauh, tetapi 15 tahun kemudian, sekarang, keduanya mulai diterapkan secara bertahap
Jika 95% diturunkan menjadi 50–60%, saya akan lebih condong setuju. Bukan karena intuisi, melainkan karena ketika ada tren eksponensial, hasilnya bisa melampaui apa yang diperkirakan insting. Meski begitu, 95% terlalu tinggi
Setidaknya LLM tampaknya bukan berada di awal kurva eksponensial, melainkan sudah mencapai bagian atas kurva-S. Data pelatihan yang lebih baik akan menghasilkan perbaikan kecil, arsitektur yang lebih baik akan mengurangi kebutuhan komputasi, dan data center berskala raksasa akan memungkinkan penggunaan yang murah dan umum. Namun tidak satu pun dari itu akan meningkatkan kecerdasan secara eksponensial
Kesenjangan kognitif LLM saat ini tampaknya bersifat struktural, tetapi jika ini diatasi dengan arsitektur tipe Transformer yang baru atau diperluas, babak yang sama sekali berbeda akan terbuka. Yang diperlukan adalah struktur pembelajaran pascapelatihan yang baru, dan perluasan context window bukan jawabannya. Yang benar-benar diperlukan adalah proses pembelajaran berkelanjutan dan koreksi
Tulisan ini dibuat oleh orang-orang yang menulis AI 2027
Namun, meski secara aneh terobsesi pada geopolitik dan Tiongkok, mereka sangat meremehkan Tiongkok. Tiongkok menekankan pendidikan tinggi dan pasokan listrik yang memadai, serta memungkinkan orang-orang pintar bekerja tanpa dibatasi secara acak oleh larangan dan kontrol ekspor, atau terlalu dilindungi oleh proteksionisme finansial. Dengan itu saja, besar kemungkinan mereka tak lama lagi akan melampaui perusahaan AS dalam inovasi dan kapasitas komputasi
Tulisan ini memakai kutipan Sam Altman: “AI mungkin akan mengarah pada akhir dunia, tetapi sementara itu akan lahir perusahaan-perusahaan hebat”
Apakah ada materi media yang tepercaya bahwa ini bukan lelucon spontan. Tulisan itu menautkan video YouTube yang dicabut dari konteksnya dan memperlakukannya seperti pernyataan yang menyeramkan
Jika ditafsirkan dengan seburuk-buruknya, kita bisa membayangkan orang jahat yang percaya bahwa selama ia tidak mengalami ketidaknyamanan saat masih hidup, tidak apa-apa menyebabkan kiamat setelah ia mati, tetapi itu tidak cocok dengan situasi kutipan tersebut. Itu terlalu absurd untuk dianggap sebagai sesuatu yang akan dikatakan secara serius oleh manusia yang mampu bersosialisasi
Saya penasaran apakah orang-orang sengaja memelintirnya, atau benar-benar percaya itu adalah keyakinannya. Jika mereka menganggapnya sebagai keyakinan nyata, saya juga ingin mereka menjelaskan bagaimana seseorang bisa memiliki pikiran seperti itu