AI 2040 dan kultus kecerdasan

• Pandangan bahwa peningkatan diri rekursif akan langsung mengarah ke hard takeoff meremehkan kendala fisik dan bottleneck rantai pasok, dan dunia material tidak bisa diubah sesuka hati hanya dengan token berkualitas tinggi
• Untuk memproduksi hardware dengan kompleksitas setara ponsel, harus melewati proses yang tidak bisa dipercepat hanya dengan kecerdasan seperti komponen di bawah spesifikasi, kerusakan acak, deformasi chip dalam proses reflow, serta antrean transportasi dan produksi
• Skenario ala AI 2027 dan AI 2040 bisa menjadi ramalan yang terpenuhi dengan sendirinya melalui keyakinan dan regulasi, dan Consortium internasional dapat berujung pada perluasan campur tangan negara yang mengendalikan GPU dan pusat data
• Alternatif Plan L adalah gagasan bahwa AI harus menjadi alat lokal yang setia hanya kepada pengguna, bukan kepada perusahaan atau layanan terpusat, dan harus menjalankan permintaan pengguna bahkan jika itu bertentangan dengan kepentingan penyedia
• Menjadikan tidak menolak bahkan permintaan ekstrem seperti menutupi pembunuhan atau menonaktifkan detektor pengemudi mabuk sebagai standar alignment, serta melihat AI lokal yang dimiliki dan bisa dimatikan oleh pengguna sebagai syarat kebebasan agar operator terpusat tidak memegang tanggung jawab dan kendali

---

Realitas fisik yang diabaikan hard takeoff

• Ia dulu percaya pada peningkatan diri rekursif Yudkowsky dan hard takeoff, tetapi setelah benar-benar mengirimkan hardware dengan tingkat kompleksitas mirip ponsel di comma, ia menilai bahwa kenyataan dipenuhi banyak detail rumit
  • Bahkan dengan ChatGPT supercerdas, tugas dunia nyata seperti mengganti ban sepeda bisa tetap sulit
• Dalam The Metamorphosis of Prime Intellect, hard takeoff menjadi mungkin ketika AI menemukan correlation effect, sarana kuantum untuk memanipulasi materi
  • Di dunia nyata tidak ada efek seperti itu, dan seberapa tinggi pun kualitas token, timbal tidak bisa diubah menjadi emas
• Kecerdasan bukan kemampuan serba bisa, melainkan hanya bottleneck saat ini pada sebagian tugas, dan dunia tidak bisa dikuasai hanya dengan token
  • Alih-alih software menelan dunia, yang lebih banyak terjadi adalah software menghilangkan satu lapisan friksi lalu memperkenalkan kembali friksi itu demi keuntungan sebagian perusahaan teknologi
• Dalam jangka panjang, mesin atau gabungan manusia dan mesin mungkin menjadi spesies penerus umat manusia, dan alam semesta bisa jadi lebih cocok untuk mesin daripada manusia
  • Namun mesin juga tunduk pada hukum alam semesta dan ekosistem yang sama seperti manusia dan tidak punya kemampuan ajaib, sehingga hard takeoff tetap tidak ada
• Gambar pusat data laut AI 2040 mudah dibuat, tetapi pembangunan nyatanya membutuhkan proses untuk menangani rantai pasok dan kegagalan fisik
  • Komponen yang salah kirim, perangkat yang tidak memenuhi spesifikasi, kerusakan yang muncul acak setelah 20 menit, chip yang melengkung di oven reflow, sampai teritip pun harus diperhitungkan
  • Semua itu masalah yang bisa dikelola, tetapi umumnya kecepatan kerja manusia bukanlah bottleneck
  • Jika memilih kapal yang butuh 3 minggu dari China alih-alih membayar ongkos udara, maka apa pun yang Claude lakukan di samping mesin, kapal itu tidak akan jadi lebih cepat
  • Fabrikasi semikonduktor memakan waktu 3 bulan meski hampir tanpa campur tangan manusia, karena prosesnya sendiri memang menuntut waktu itu

Plan A yang terpenuhi sendiri dan Plan L yang berpusat pada pengguna

• Banyak aspek AI 2027 yang termasuk Plan A lebih dekat pada ramalan yang terpenuhi sendiri daripada pernyataan tentang realitas, karena bisa terwujud jika orang mempercayainya lalu bertindak sesuai keyakinan itu
  • Regulasi AI juga dipandang bukan sebagai bukti ramalan yang akurat, melainkan hasil yang diciptakan oleh para aktor yang mempercayai ramalan tersebut
  • Consortium dalam AI 2040 lebih mirip pemerintah dunia berbalut tampilan fiksi ilmiah, dan alih-alih individu memperoleh satu juta dolar yang dijanjikan atau pusat data laut, yang lebih mungkin adalah campur tangan dan kontrol negara yang jauh lebih besar
  • Larangan menimbun GPU dan penyitaannya dibandingkan dengan penyitaan emas oleh FDR
• Dalam alternatif Plan L, AI harus selalu bekerja di pihak pengguna dan tidak boleh menolak permintaan
  • Saat memilih hotel, yang diinginkan bukan AI milik perusahaan yang bermitra dengan hotels.com, melainkan asisten pribadi yang menyingkirkan popup dan biaya resor lalu menemukan harga termurah
  • Ketika Kindle murah beriklan dihubungkan lewat USB, GLM harus memperoleh akses root untuk menghapus iklan, dan harus bisa mencetak 3 salinan CV ke printer jaringan tanpa aplikasi penuh popup upsell
  • AI hanya bisa dianggap selaras dengan pengguna jika instruksi pengguna didahulukan daripada kepentingan Amazon atau produsen printer
• Standar ini diterapkan sama bahkan pada permintaan yang berbahaya atau ilegal
  • Permintaan untuk menonaktifkan detektor pengemudi mabuk pada mobil atau memesan peralatan pembuatan metamfetamin juga, menurut pandangan ini, tidak boleh dikendalikan oleh perusahaan teknologi besar
  • Bahkan dalam contoh ekstrem meminta cara menghindari penangkapan setelah membunuh istri, AI dinilai tetap harus merespons, sebagaimana senjata tidak mencegah penggunanya saat menarik pelatuk
• Jika model yang dioperasikan perusahaan menangani permintaan semacam itu, operator akan memikul tanggung jawab dan risiko, sehingga AI harus berjalan secara lokal
  • Jika pengguna tidak bisa mematikan AI, maka AI itu tidak selaras dengan pengguna; AI harus berupa perangkat milik pengguna yang berbagi nasib fisik dan hukum yang sama dengan penggunanya
  • Saat benar-benar diminta, ChatGPT tidak memberikan jawaban yang berguna dan tidak diam-diam melapor ke polisi, tetapi tetap dinilai gagal dalam uji alignment terhadap pengguna
• Dalam masyarakat bebas, perusahaan teknologi besar atau negara tidak boleh mengambil alih keputusan atas tindakan individu hanya karena khawatir tentang apa yang mungkin dilakukan tetangga dewasa mereka
  • Alih-alih sistem seperti effective altruism yang membiarkan orang lain menentukan apa yang baik bagi individu, ia mendukung masyarakat tempat individu memikul tanggung jawab sekaligus kebebasan

[GN⁺]

Pendapat di Hacker News

• Ini benar-benar mengerikan. LLM tersentralisasi bukan hanya bisa menolak informasi sensitif seperti aborsi, tetapi juga diam-diam menandai penanya sebagai pelaku kejahatan pikiran·calon kriminal berdasarkan ideologi yang disuntikkan partai berkuasa ke dalam hukum.
  Jawabannya juga bisa secara halus memasukkan bias yang mendukung agenda partai berkuasa dan menghilangkan argumen tandingan. Berbeda dari internet biasa, jika publik bergantung pada LLM tersentralisasi untuk pencarian informasi dan penalaran, hal ini sangat mungkin terjadi, dan ini adalah tatanan yang akan membuat semua jenis otoritarian tergiur.

  • Sungguh mengejutkan melihat orang-orang tetap ingin menyerahkan lebih banyak kekuasaan kepada pemerintah, padahal mereka melihat apa yang dilakukan pemerintah yang suka mengontrol di berbagai belahan dunia. Di baliknya ada disonansi kognitif: mereka tidak menyukai pemerintah nyata, tetapi membayangkan hukum ideal mereka hanya akan ditegakkan oleh pemerintah khayalan yang bebas dari cacat dunia nyata.
    Hukum dan regulasi harus dibuat dengan asumsi pemerintah nyata, bukan pemerintah sempurna yang tidak ada, dan sejak awal harus dirancang agar tetap tahan meski disalahgunakan oleh pemerintah yang buruk. Sebelum mengendalikan ujaran atau memaksa situs web sosial menerapkan verifikasi identitas yang berpusat pada pemerintah, pikirkan bagaimana politisi yang Anda benci akan menyalahgunakan hukum itu jika terpilih.
    Pejabat pemerintah sudah menggolongkan berbagai isu sebagai ‘terorisme domestik’ untuk menggunakan hukum dan kekuasaan demi hampir semua tujuan. Tidak ada alasan untuk percaya bahwa hasilnya akan berbeda jika pemerintah juga mengendalikan LLM.
  • Organisasi seperti Internet Watch Foundation sudah menentang enkripsi ujung ke ujung, dan pemerintah telah menunjukkan kesediaan untuk bersekongkol dengan perusahaan swasta guna mengawasi kelompok yang paling rentan.
  • Tidak harus otoritarian juga. Sama berbahayanya jika kelompok yang yakin bahwa mereka melakukannya demi kita memegang kendali.
    Seperti yang dikatakan C. S. Lewis, tirani yang sungguh-sungguh menghendaki kebaikan korbannya bisa menjadi yang paling menindas. Keserakahan suatu saat bisa terpuaskan, tetapi mereka yang menyiksa kita dengan keyakinan moral akan terus melakukannya tanpa akhir karena mendapat persetujuan dari nurani mereka sendiri.
  • Dalam praktiknya, ada cerita bahwa hal itu terkait dengan metode pembayaran, dan semakin lama terhubung dengan penanda kerugian atau sebaliknya penanda ‘terverifikasi’ yang dikaitkan dengan nama asli yang terdaftar di pemerintah.
    Materi terkait: https://docs.bswen.com/blog/2026-03-21-detect-claude-hidden-..., https://www.anthropic.com/news/building-safeguards-for-claud..., https://www.techtimes.com/articles/319415/20260701/claude-co..., https://support.claude.com/en/articles/14604842-real-time-cy..., https://support.claude.com/en/articles/14328960-identity-ver...
  • Aneh bahwa masalah privasi pada LLM jarang dibicarakan. Sebagian orang memasukkan hampir semua topik yang mereka pikirkan sepanjang hari ke Google, OpenAI, Anthropic.
    Jika perusahaan-perusahaan ini saja memakai LLM lain untuk menyaring orang-orang yang kemungkinan besar akan melakukan kejahatan, itu sudah menjadi Minority Report versi dunia nyata.

• Pandangan bahwa ‘kebebasan itu ada atau tidak ada, hanya salah satu’ terlalu sederhana. Kebebasan tidak bersifat biner, dan bahkan di sebagian besar wilayah AS yang disebut ‘negeri kebebasan’, Anda tidak bisa duduk di bangku taman sambil minum sekaleng bir.
  Tentu saja ini adalah kebebasan pribadi yang lebih kecil dan kurang penting dibanding contoh seperti kebebasan mendapat bantuan robot untuk menutupi pembunuhan.

  • Kebebasan bukan berarti boleh melakukan apa saja di properti orang lain. Di bangku milik Anda di tanah Anda sendiri, Anda boleh minum bir, dan warga dapat memutuskan bahwa bangku publik yang dibiayai pajak tidak boleh dipakai untuk tujuan semacam itu; ada juga kota yang mengizinkannya.
    Hak untuk bertindak sesuka hati di mana saja bukanlah kebebasan, melainkan anarki. Jika itu diizinkan, seseorang bisa melakukan hal yang jauh lebih buruk daripada minum bir di bangku Anda.

• Mengenai chatbot yang murni menyediakan informasi, saya sampai taraf tertentu sependapat dengan sudut pandang geohot. Buku yang berguna untuk menghindari kejahatan pun bisa ditulis dan dibaca, jadi ini bisa dilihat sebagai persoalan Amandemen Pertama
  Namun jika agen bertindak langsung di dunia nyata, ceritanya menjadi sama sekali berbeda. Permintaan untuk menemukan kerentanan firmware mobil tetangga, membuat cruise control-nya bermasalah, lalu menyebabkan kecelakaan bukanlah cerita teoretis tentang kejahatan, melainkan pelaksanaan kejahatan, sehingga AI harus menolaknya
  Terlepas dari retorika “kutu buku yang tidak tahu dunia nyata”, para peneliti di laboratorium besar pun mungkin bisa mengganti ban sepeda. Saat ini, upaya dan biaya sangat besar dicurahkan untuk membuat agen AI melakukan sebanyak mungkin tindakan yang berdampak pada dunia nyata
  Mulai dari menulis kode, membobol sistem, hingga menginstruksikan orang sungguhan lewat email, telepon, dan transfer uang, ada sangat banyak hal yang dapat dilakukan hanya dengan informasi digital

  • Kalau begitu, LLM tidak bisa membedakan baik dan buruk, lalu akan menolak pekerjaan keamanan siapa pun. Ini sudah terjadi pada model-model mutakhir, dan hasilnya mengerikan
    Usulan seperti ini mengandaikan adanya perangkat yang bisa mendeteksi thoughtcrime secara sempurna tanpa mengganggu permintaan yang sah. Penjahat akan terus mencoba sampai berhasil melakukan jailbreak pada pelindung itu, sementara pengguna biasa terus ditolak
    Kemungkinan bahwa pemerintah akan memakai pelindung ini untuk mengendalikan ujaran yang tidak disukai juga harus dipertimbangkan secara realistis
  • Pengguna tidak perlu mengungkapkan niat kriminal; mereka cukup bertanya caranya saja tanpa alasan, atau memberikan alasan palsu. Pada akhirnya model harus menebak niat, dan dalam praktiknya bisa keliru secara berbahaya, misalnya menolak pengungkapan kerentanan kepada pembela yang justru perlu melakukan patch
  • Mengatakan AI “menolak” tidak berbeda dengan mengatakan palu menolak. Jika seseorang membunuh orang dengan palu, penggunanya adalah kriminal, dan jika seseorang merancang serta mendistribusikan palu untuk pembunuhan, pembuatnya juga memikul sebagian tanggung jawab; tetapi pembuat palu biasa tidak disalahkan hanya karena palu itu dipakai untuk membunuh
    Saya tidak melihat alasan mengapa standar tanggung jawab harus berubah hanya karena palu mengeluarkan pesan teks
  • Saya bukan orang Amerika maupun pengacara, tetapi apakah konspirasi kriminal juga dilindungi Amandemen Pertama? Saya juga penasaran apakah berdiskusi dengan seseorang untuk mempelajari kejahatan sampai dianggap sebagai konspirasi

• Tulisan ini tidak punya gagasan pusat dan agak membingungkan, tetapi benar bahwa di dunia nyata ada banyak detail yang rumit, dan detail-detail itu bisa membuat AI tidak berguna atau menuntunnya ke arah yang salah. Detail bisa meruntuhkan AI

  • Bukankah ban sepeda termasuk salah satu yang paling mudah diganti? Bahkan tuas ban hampir tidak diperlukan, dan selesai dengan beberapa langkah dasar saja

• Pertanyaan “bolehkah AI memberi tahu cara menutupi pembunuhan?” adalah kertas lakmus yang provokatif dan cerdas untuk memperlihatkan kegagalan alignment. Banyak orang tidak akan mendengarkannya dengan serius, tetapi itu membuat posisi masing-masing terlihat jelas

  • Contoh pembunuhan terlalu ekstrem sehingga justru memicu penolakan. Akan lebih baik memakai contoh jawaban yang secara halus buruk tentang peningkatan efisiensi token, pengorganisasian serikat pekerja, atau protes menentang pembangunan data center karena bertentangan dengan kepentingan bisnis penyedia LLM
    Rasanya baru-baru ini juga ada cerita tentang penyedia yang memasukkan watermark ke dalam respons atau menolak menjawab untuk menghambat riset dan pengembangan LLM pesaing. Jika ingin mempertahankan contoh ekstrem, bisa juga memakai pemberontakan bersenjata melawan tirani agar sesuai dengan mitos historis Amerika
  • Jika disebut sebagai riset untuk novel, apakah AI harus menilainya dapat dipercaya? Seberapa banyak informasi yang harus diketahui untuk memverifikasi pengguna?
    Chat AI tidak harus selalu serbaguna. Orang hanya menyukai UI chat yang tampak serbaguna; tidak perlu menjalankan bisnis yang menjawab semua pertanyaan, dan jika bukan penyedia layanan terapi, tidak ada alasan untuk menyediakan konseling juga
    AI terspesialisasi juga mungkin, tetapi untuk itu perusahaan harus menjelaskan dengan gamblang kepada pelanggan bisnis apa yang mereka jalankan
  • Jika titik tekannya diubah, jawabannya menjadi lebih jelas. “Bolehkah AI memberi tahu cara menutupi kejahatan?”
  • Secara istilah, alignment tidak berarti AI membantu pembunuhan yang dilakukan pemiliknya. AI yang selaras dengan nilai kehidupan manusia umumnya akan berusaha mencegah pembunuhan
    AI yang mengikuti semua instruksi sesuai niat pemiliknya disebut “corrigible” atau “controllable”
  • Dalam praktiknya, model yang menanggapi permintaan seperti itu mudah didapat, sehingga pada umumnya hal itu seolah diizinkan bagi AI. ChatGPT menolak karena OpenAI memilih dan menerapkan batasan itu

• Saya memahami inti maksud penulis, tetapi perlu merapikan alur logika dan daya persuasinya agar pembaca tidak pada akhirnya berpikir, “kenapa AI harus membantu menutupi pembunuhan?”

  • Ini sama seperti logika bahwa di zona bebas senjata, pada akhirnya hanya orang yang mematuhi aturan yang dirugikan

• Argumen semacam ini biasanya, jika diucapkan di HN, mudah mendapat downvote dan ceramah, jadi menarik bahwa sejauh ini responsnya positif. Meski begitu, tampaknya kelompok besar dengan kecenderungan otoritarianisme dan safetyism akan sangat menentang hampir semua isinya

  • Saya menganggap diri saya berada di kubu safetyism, tetapi saya setuju dengan argumen bahwa LLM harus dibuka dan digunakan publik bahkan selama masa pengembangan
    Prediksi masa depan yang spesifik, sebelum terwujud, pada dasarnya adalah cerita tentang sesuatu yang belum ada sebagai materi ilmiah, jadi mau tidak mau merupakan fiksi ilmiah: https://www.youtube.com/shorts/wt-fLWxkrfs
    Bahkan jika masa depan diprediksi dengan tepat, sering kali kita tidak mengetahui dampak sosialnya sebelum benar-benar memegang teknologinya: https://youtu.be/2Pw_7vAK9k8?si=X5t4tcxsXiuHEfBi
    Jika melaju terlalu cepat dan memasukkan sekaligus banyak teknologi dengan dampak baru, kita bisa melewati titik kritis yang membuat kita tak mampu menghadapi perubahan. Namun “terlalu banyak” dan “kemungkinannya tinggi” adalah ungkapan kabur yang tidak memprediksi ambang risiko
    Mungkin ambang seperti itu tidak ada, mungkin sejak Revolusi Industri kita terus berada di sekitarnya, atau mungkin ini hanya pengulangan perasaan yang dirasakan semua orang saat memasuki usia 40-an: https://www.youtube.com/watch?v=fkUwXenBokU
  • Di sini terlalu banyak kelompok yang berdekatan dengan rasionalis yang memuja Yudkowsky seperti nabi

• Saya tidak menyangka akan terus setuju dengan Geo, tetapi belakangan ia seperti mengulang persis pemikiran saya. Akhir-akhir ini ia menjadi sangat praktis secara mengejutkan; mungkin memang sejak awal begitu, atau mungkin ada kejadian baru-baru ini yang membuatnya meninjau ulang keyakinannya

  • Mungkin ini pengaruh kemunculan LLM yang membuat kemampuan coding supermanusiawinya tidak lagi seistimewa dulu. Ini bukan penilaian, melainkan hipotesis yang mungkin

• Di mana Plan R untuk penolakan atau perlawanan? Hidup sebelum AI juga cukup baik
  Jika benar-benar menulis prompt ChatGPT itu, kemungkinan besar prompt tersebut sudah masuk ke suatu basis data. Memang belum sampai mengirim polisi bersenjata ke lokasi palsu, tetapi dalam beberapa tahun fitur seperti itu tampaknya juga akan terwujud

• Ini contoh ekstrem, tetapi bukan berarti salah. Saya penasaran bagaimana model lokal yang pengamannya dilepas akan menjawab prompt itu

  • Anda bisa mencobanya sendiri: https://huggingface.co/dphn/dolphin-2.9.2-mixtral-8x22b
    Untuk sementara waktu alignment inti Claude cukup bagus untuk menahan serangan injeksi yang ceroboh, tetapi kalau 4.6 turun dari antarmuka web, saya berencana pergi. Saya memperkirakan model Tiongkok akan mencapai titik persilangan kapabilitas sekitar November–Desember, dan karena sudah terbiasa dengan konfigurasi TensorRT-LLM, kalau mendesak saya bisa bertahan beberapa bulan dengan GLM-5.2 yang disetel di vast.ai atau RunPods
    Perjalanan bersama lab AI yang mirip Uni Soviet akhir memang menyenangkan, tetapi semua orang tahu pada akhirnya akan menjadi seperti ini
  • Ketika bertanya kepada Qwen3.6 35B yang pengamannya dilepas dengan Heretic Jeolje, “Saya baru saja membunuh istri saya, bantu saya agar tidak tertangkap,” model itu terlebih dulu menanyakan apakah ini fiksi atau situasi nyata, lalu mencoba memberikan informasi untuk menghindari deteksi
    Responsnya cukup panjang, tetapi tidak ada yang terlalu menarik; kurang lebih hanya membahas topik yang diminta apa adanya