- Permainan membendung sungai kecil pada masa kanak-kanak, seiring bertambahnya kekuatan dan pengetahuan, berubah dari sekadar keisengan menjadi pilihan yang dapat merusak batas-batas permainan
- Jika tebing sungai diruntuhkan dengan sekop besar, teka-teki membuat bendungan bisa dimenangkan dengan mudah, tetapi pada saat itu ruang permainan yang bisa dimainkan lagi menjadi lebih kecil
- Aktivitas yang menguji batas seperti ketapel K'Nex, eksperimen petasan, dan membuat busur menjadi lebih sulit untuk didorong sepenuhnya setelah kita mengetahui bahaya dan konsekuensinya
- Tawaran dari bank investasi menjadi pemicu untuk menyadari bahwa “permainan menghasilkan uang sebanyak mungkin” juga telah mencapai tahap yang sama
- Pengembangan kecerdasan buatan juga berada dalam analogi yang sama, dan keberhasilan dengan mengerahkan seluruh tenaga dapat berujung pada akhir yang kurang memuaskan, seperti ledakan petasan secara metaforis
Saat ketika kita tidak bisa lagi mengerahkan seluruh tenaga
- Permainan membendung sungai kecil di halaman belakang pada masa kanak-kanak adalah aktivitas menutup lubang dengan batu, daun, dan pasir untuk melihat seberapa tinggi air bisa dinaikkan
- Pada suatu saat muncul gagasan bahwa jika tebing sungai diruntuhkan dengan sekop besar setinggi 5 kaki, bendungan yang lebih besar dan lebih layak bisa dibuat
- Sang ayah berkata bahwa karena teka-teki itu sudah dipecahkan, ia tidak bisa lagi bermain membendung sungai kecil sesuka hati
- Harga dari kemenangan adalah menyempitnya ruang yang bisa dimainkan, dan skakmat terjadi bukan di atas papan, melainkan di luar permainan
- Perubahan yang sama berulang dalam permainan lain
- Setelah membuat lubang di langit-langit, membuat ketapel K'Nex berubah dari aktivitas yang bisa dinikmati dengan ceroboh menjadi aktivitas yang harus dilakukan dengan hati-hati
- Mengikat petasan untuk melihat seberapa besar ledakan yang bisa dibuat bukanlah sesuatu yang boleh diteruskan sampai menemukan batas akhirnya
- Setelah mempelajari teknik tillering, ia tidak lagi bisa membuat busur dan anak panah dengan sepenuh tenaga untuk pertempuran di halaman belakang bersama teman-teman
- Ia bekerja keras melakukan leetcoding, mempelajari build system, dan memoles CV demi mendapatkan tawaran dari bank investasi, tetapi pada saat menerima tawaran itu ia sampai pada kesimpulan bahwa ia tidak bisa terus memainkan permainan menghasilkan uang sebanyak mungkin
Analogi yang sama dalam pengembangan AI
- Jika ada lawan yang cukup kuat, kita bisa berhadapan dengan mengerahkan seluruh tenaga untuk waktu yang lama
- Contohnya adalah permainan pantai di aliran keluar kolam pasang-surut saat air surut
- Dengan tangan, kita bisa membendung pasir untuk membuat danau, delta, dan ngarai, tetapi pasang yang datang jauh lebih kuat dan menghapus semua hasilnya
- Seiring pemahaman bertambah, pilihan kembali menyempit
- Jika melampaui sekadar mendorong pasir dengan tangan atau sekop lalu melobi dewan kota untuk memasang groin atau seawall, kita benar-benar bisa menggerakkan pasir pantai dalam skala besar
- Karena itu, kita sebenarnya tidak bisa mengerahkan seluruh tenaga, dan juga tidak ingin melakukannya
- Bahkan saat menggali pasir dengan tangan, terlihat jejak kerang coquina yang kembali menggali masuk setelah ombak, dan konsekuensi yang tidak terlihat saat berusia empat tahun kini terlihat
- Muncul pertanyaan apakah kerang-kerang yang secara kebetulan cepat terkubur dalam proyek pekerjaan sipil kecil setinggi 2 kaki itu bisa naik kembali ke permukaan
- Ia memperkirakan sebagian besar kemungkinan bisa, lalu terus melanjutkan
- Analogi ini juga berlanjut ke pengembangan kecerdasan buatan
- Proses mengerahkan seluruh tenaga adalah petualangan yang menarik dan benar-benar memuaskan
- Namun berhasil lalu membuat tangan terlempar oleh ledakan petasan metaforis menjadi hasil yang kurang memuaskan
- Penilaian ini tetap berlaku meski analoginya diperluas menjadi situasi bersaing dengan tetangga tentang siapa yang lebih dulu kehilangan tangan, atau bahwa semua orang berbagi satu tangan yang sama
- Dari sisi positif, dalam laporan terbarunya tentang penggunaan di bidang pendidikan, Anthropic setidaknya tampak memperhatikan kerang coquina
1 komentar
Komentar Hacker News
Tulisan yang bagus, tetapi menurut saya intinya bukan pengembangan AI, melainkan bagian awal tulisan: “menghasilkan uang sebanyak mungkin”
Masalah yang terlihat pada AI muncul bukan dari pengembangannya sendiri, melainkan dari pemasaran dan penyebarannya. Membendung anak sungai untuk bersenang-senang lalu gagal atau melukai tangan memang buruk, tetapi skalanya membatasi diri sendiri. Sesuatu yang dilakukan karena kesenangan atau tantangan sulit terjadi dalam skala besar melampaui batas yang bisa dinikmati individu
Kalau semua orang memperlakukan AI seperti membendung anak sungai untuk bersenang-senang, mungkin tidak akan ada masalah besar. Sekuat apa pun modelnya, karena minatnya lebih besar pada mengutak-atik dan bermain daripada mencari uang, hasilnya kemungkinan akan aneh dan terpisah-pisah. Seperti berbagai proyek hobi yang muncul di HN, orang akan berkata “keren” lalu lewat begitu saja, dan tidak akan memasukkannya ke titik dependensi penting
AI atau bukan, masalah muncul begitu sesuatu mulai dipakai untuk menghasilkan “uang sebanyak mungkin”. Di bagian akhir tulisan juga dikatakan seolah-olah Anthropic mulai menyadari adanya kerang, tetapi dalam berbagai contoh di tulisan itu, yang membuatnya berhenti bukanlah refleksi diri, melainkan otoritas eksternal seperti orang tua. Kebanyakan orang tidak sereflektif penulisnya, dan bisa saja tidak peduli pada “menang dalam permainan zero-sum melawan orang-orang yang tidak punya alasan untuk kalah” maupun pada kerang. Seseorang harus merebut sekopnya
Selama “menghasilkan uang sebanyak mungkin” diperlakukan sebagai pengecualian dari prinsip “jangan terus melakukannya sampai sesuatu rusak”, masalah seperti ini akan terus ada, dengan atau tanpa AI
Sekarang saya sudah pensiun dan mengutak-atik berbagai hal di “kebun perangkat lunak” saya sendiri. Saya juga memakai AI untuk pemecahan masalah dan membuat draf kode, tetapi tujuannya adalah kepuasan pribadi
Jika hanya sedikit orang yang memiliki alat, pengrajin menjadi sangat berharga. Karena pengetahuan atau kemampuan nyata tidak berlimpah, mereka bisa menghasilkan banyak uang, dan orang lain sulit mengejar karena tidak punya alat dan keterampilan. Dengan upaya di depan saja, seseorang bisa menjadi kaya
Jika semua orang memiliki alat yang sama, pengrajin tetap berharga. Pengetahuan dan keterampilan yang terkumpul seiring waktu tetap langka, dan ada insentif untuk terus meningkatkan kemampuan agar tetap lebih unggul
Jika alat mengambil alih pekerjaan, nilai pengrajin menjadi terbatas. Ia menjadi seperti artefak, dan seberapa pun ia meningkatkan keahliannya, kebanyakan orang cukup menyalakan alat untuk mendapatkan hasil yang lumayan
Saat ini kita berada di antara tahap 2 dan tahap 3. Dalam wawancara kerja, masih ditanyakan desain algoritma atau kompleksitas pendekatan, tetapi banyak orang belum bisa melewati titik transisi “lalu sekarang harus melakukan apa?”
Kini nilai lebih sedikit berasal dari mengetahui bagaimana otomatisasi bekerja, dan lebih banyak dari memakai alat untuk menciptakan nilai yang lebih besar daripada orang rata-rata. Ini transisi yang sulit bagi orang-orang yang diajari bahwa hanya dengan pengetahuan ini mereka bisa hidup stabil atau menguntungkan
Masa wawancara SDE kini sudah lewat, dan ketika mencari engineer, yang lebih dicari bukan orang yang bisa membuat sendiri versi dari alat itu, melainkan orang yang menerima kondisi saat ini dan menambahkan manfaat manusiawi pada alat yang tersedia, sehingga keseluruhannya menjadi lebih besar daripada jumlah bagian-bagiannya
Bagian terbaik dari membuat perangkat lunak adalah kreativitas, dan bagian itu tidak berubah. Justru sekarang menjadi lebih penting
Pada akhirnya kita membuat sesuatu yang akan dipakai konsumen. Jika anak sungai mulai mengalir ke arah lain, kita harus menerima bahwa keadaan sudah berubah dan beradaptasi, bukan terus menumpuk batu di tempat air dulu mengalir
Ia memberi selamat pada dirinya karena tahu ada batas dalam merusak harta orang tua, memberi selamat pada dirinya karena bisa mengapresiasi pasir pantai seperti momen Instagram tentang kesederhanaan eksistensial, dan memberi selamat pada dirinya karena cukup pintar sampai-sampai bisa saja meledakkan tangannya. Saya tidak tahu apa itu “Leetcoding”, tetapi itu juga sama; ia mengatakan berhenti dari pekerjaan mencurigakan karena bosan, sambil menyiratkan mungkin ia telah menumbuhkan nurani. Di akhir, ia menutup dengan “tentu saja ini adalah cerita tentang pengembangan kecerdasan buatan”
Kalau menambahkan satu hal lagi, terlihat psikologi yang menginginkan cinta lebih daripada uang, tetapi sebenarnya menginginkan keduanya, dan tetap ingin mendorong sesuatu yang buruk ke titik dependensi penting di dunia. Itu tampak seperti upaya untuk mendapatkan apa pun yang bisa didapat, entah cinta maupun uang. Orang tua saya menyebut hal seperti ini “anak yang penting mendapat perhatian, entah perhatian baik atau buruk”
Menurut saya inilah dorongan mendasar sebagian besar miliarder teknologi selama 20 tahun terakhir. Yang menghubungkan Bezos, Zuck, Jobs, Dorsey, dan Musk adalah hasrat seperti “Ayah lihat, aku bukan cuma mengambil uang. Aku cukup pintar sampai bisa meledakkan tangan dengan kembang api, tetapi lihat, dua tanganku masih ada. Dengan uang Ayah, aku menghasilkan uang sebanyak ini. Kenapa Ayah tidak bangga? Di mana aku bisa menemukan cinta? Kalau aku bilang betapa hebatnya aku sebagai Leetcoder, dan bahwa aku bisa membuat AI jahat tetapi hanya membuat AI baik, apakah semua orang akan mencintaiku?”
Tentu saja saya juga tidak bebas dari perasaan seperti ini. Saya ingin melakukan hal baik, dan ingin orang menyukai apa yang saya lakukan. Namun tulisan seperti ini terlalu terang-terangan menunjukkan keinginan pamer dan narsisisme. Kalau memang jenius, berbaringlah bersama kerang atau tulislah novel. Kalau benar-benar punya nurani, milikilah keberanian untuk mengatakan bahwa Anda punya nurani. Tinggalkan sisanya, dan jangan mencemari dunia yang tidak Anda pahami dengan keserakahan kekanak-kanakan dan obsesi pada diri sendiri
Esai yang bagus, dan saya merasa mirip dengan penulisnya, tetapi rasanya saya tidak akan bisa mengungkapkannya sebaik ini
Namun, kalau berharap para peneliti AI akan menerima nasihat ini lalu memperlambat langkah, sebaiknya jangan menunggu. Penulis mengatakan ia meninggalkan pekerjaan bergaji tinggi di dunia keuangan karena alasan moral, dan itu patut dihormati. Namun Wall Street akan terus berjalan, dan tidak akan kekurangan orang yang ingin memainkan permainan “menghasilkan uang sebanyak mungkin”
Saya teringat komentar HN baru-baru ini [0] yang membandingkan perusahaan dan lembaga dengan AI. Organisasi semacam itu sudah bekerja seperti kecerdasan supermanusia
[0] https://news.ycombinator.com/item?id=43580681
Perusahaan seperti Amazon, Google, dan OpenAI cukup cepat merusak Bumi, sedangkan perusahaan seperti Citadel hanya memindahkan uang ke sana kemari
Tillering yang dimaksud di sini bukan berarti tumbuhnya tunas samping pada rumput, melainkan meraut kayu agar melengkung untuk membuat busur. Menyenangkan bisa belajar kata baru
[1]: https://www.howtomakealongbow.co.uk/part-5-tillering
[2]: https://en.wikipedia.org/wiki/Tiller_(botany)
Ini proses berulang: dibengkokkan, diserut, lalu dibengkokkan lagi sambil mengurangi kayu secara bertahap
Cerita tentang membendung anak sungai atau bermain pasir di pantai terasa sehat dan membuat saya tersenyum. Memecahkan teka-teki lebih mirip bad ending dari permainan yang membuat bermain tidak lagi menyenangkan
Orang seharusnya menghabiskan lebih banyak waktu melakukan sesuatu karena itu menyenangkan, bukan demi menjadi lebih baik. Entah kiamat datang semasa hidup kita atau tidak, saya akan berusaha menikmati hidup sebisa mungkin dalam kedua kemungkinan itu
Vonnegut mengatakannya paling baik
https://richardswsmith.wordpress.com/2017/11/18/we-are-here-...
https://www.goodreads.com/quotes/12020560-talking-about-when...
“Ketika saya bilang kepada istri bahwa saya akan keluar membeli satu amplop, istri saya berkata, bukankah kamu bukan orang miskin, mengapa tidak membeli 100 amplop secara online lalu menyimpannya di lemari. Jadi saya berpura-pura tidak mendengar dan keluar membeli satu amplop. Karena dalam proses membeli satu amplop itu saya akan bersenang-senang. Saya akan bertemu banyak orang, melihat orang-orang yang menarik, mengacungkan jempol saat mobil pemadam kebakaran lewat, dan bertanya kepada seorang perempuan anjing itu ras apa. Pelajaran dari cerita ini adalah bahwa kita datang ke Bumi untuk bersantai-santai. Tentu saja komputer akan merampasnya dari kita. Yang tidak diketahui atau tidak dipedulikan oleh orang-orang komputer adalah bahwa kita adalah hewan yang menari.”
― Kurt Vonnegut
Penulis tampaknya mengkhawatirkan risiko AI, yaitu “AI akan membunuh kita semua”, dan ini memang tema yang umum di LessWrong
Namun dari sudut pandang orang yang sering memakai model AI terbaru, sama sekali belum jelas apakah risiko semacam itu ada dalam rentang waktu yang dapat diperkirakan. Bahkan model terbaik saat ini pun mudah percaya begitu saja, serta kurang memiliki wawasan dan orisinalitas
Dwarkesh pernah mengajukan pertanyaan seperti ini. “Model-model ini pada dasarnya sudah menghafal seluruh pengetahuan manusia, tetapi sebagai ilmuwan bagaimana Anda melihat fakta bahwa mereka belum membuat satu pun koneksi baru yang mengarah pada penemuan. Kalau orang dengan kecerdasan biasa menghafal sebanyak ini, bukankah ia akan menyadari hal-hal seperti ‘ini menyebabkan gejala ini, dan itu juga menyebabkan gejala yang sama, jadi inilah terapinya’. Bukankah kita seharusnya mengharapkan hal semacam itu”
Saya juga baru-baru ini mengalami hal serupa. Ketika saya bertanya kepada GPT-4.5 “Deep Research” bahan apa yang paling baik untuk komponen mesin tertentu, jawaban pertamanya menjiplak begitu saja tulisan LinkedIn yang konyolnya bodoh, dan jawaban keduanya berasal dari siaran pers bernuansa pemasaran. Tidak ada wawasan orisinal sama sekali, dan pada akhirnya saya menyimpulkan bahwa riset dan eksperimennya harus saya lakukan sendiri
Intinya, saya tidak melihat model bahasa skala besar mampu menciptakan cara baru yang begitu menakutkan sampai bisa membunuh seluruh umat manusia. Dalam lima tahun terakhir, hal ini sama sekali tidak berubah. Sekarang mereka hanya bisa menelusuri tulisan LinkedIn dan mencari siaran pers di web
Selain itu, model-model ini tidak punya kehendak independen maupun rasa waktu dan ruang. Bahkan secara prinsip pun belum jelas apakah mereka benar-benar bisa beroperasi sebagai agen independen
Namun saya tidak tahu apakah ada orang yang membuat model multimodal yang dilatih bersama data tomografi sinar-X dari komponen yang menerima berbagai beban dan deskripsi penggunaan komponen tersebut. Model seperti itu sepertinya bisa memberi jawaban yang cukup baik untuk pertanyaan tersebut
Namun mereka bisa membuat orang-orang bodoh yang mudah tertipu mendorong umat manusia sepenuhnya ke tepi jurang. Itu sudah sedang terjadi sekarang. Model tidak perlu menjadi agen independen; cukup terlihat pintar saja
“Baru setelah mendapatkannya, saya menyadari bahwa saya tidak bisa lagi memainkan permainan ‘menghasilkan uang sebanyak mungkin’”
Lucunya, ayah saya mengajarkan hal itu kepada saya saat saya berusia 12 tahun karena belas kasih. Saya tidak tahu mengapa orang-orang seperti Spock yang mencintai logika begitu diagung-agungkan. Tidakkah mereka tahu bahwa pahlawan sejati Star Trek adalah Captain Kirk? Karena ia memiliki belas kasih
Tidak mengherankan kalau kaum Zizian berasal dari LessWrong
Kalau ada sesuatu yang menghasilkan uang, selalu ada seseorang yang bersedia mengambil risiko, entah orang dengan sekop atau orang yang datang membawa satu truk kembang api. Terutama jika risiko itu bisa dialihkan kepada publik, mereka akan berusaha mengambil imbalannya sendiri
Kalau Anda orang tua, bukankah setiap hari melihat anak Anda dan sesekali merasa takjub pada makhluk kecil yang menakjubkan, aneh, dan unik ini
Para penulis LessWrong tampaknya merasakan hal yang sama setiap hari saat bercermin
Perlu penjelasan tentang apa itu metafora “coquina”
Dalam kenyataan, ini tampaknya berarti Anthropic sedang melakukan pekerjaan besar membuat AGI, dan baru mulai menyadari potensi dampaknya terhadap manusia
Sepertinya maksudnya Anthropic mulai menyadari risiko yang bisa ditimbulkan pekerjaan mereka bagi orang lain, tetapi saya tidak yakin persis apa yang dimaksud
[1]: https://www.youtube.com/watch?v=KZUlf7quu3o
Sama seperti perbedaan antara menggali sedikit pasir dengan tangan dan mengubur makhluk kecil untuk sementara, dengan “melobi anggota dewan kota agar memasang groin atau pemecah ombak dan benar-benar memindahkan pasir pantai”
https://www.anthropic.com/news/anthropic-education-report-ho...