- Peneliti dan penulis internet anonim Gwern Branwen diperkenalkan sebagai sosok yang sejak awal menerima tren scaling LLM yang terlewatkan oleh banyak pengamat AI sekitar 2020
- Anonimitas, lebih dari sekadar menghindari pembalasan, dipandang menciptakan kesempatan untuk setidaknya dibaca karena pembaca tidak bisa langsung mengabaikan penulis dengan mengurungnya dalam identitas atau niche tertentu
- Otomasi perusahaan dinilai lebih kuat didorong oleh tekanan bottom-up yang naik dari pekerjaan tingkat bawah, bukan turun dari CEO; struktur yang lebih realistis adalah eksekutif manusia menangani pilihan jangka panjang organisasi AI
- Gwern memandang kecerdasan sebagai pencarian mesin Turing, dan melalui GPT-1, GPT-2, GPT-3, makalah scaling laws Baidu 2017, AlphaZero, dan BigGAN menekankan kekuatan compute, data, serta trial and error
- Jika diasumsikan AGI akan hadir dalam beberapa tahun, alih-alih menyelesaikan sendiri semua proyek, menjadi penting untuk mencatat hal-hal yang tidak bisa diputuskan AI sebagai pengganti kita—seperti preferensi, keinginan, evaluasi, dan penilaian—agar menjadi bahan bagi pelaksanaan di masa depan
Anonimitas, avatar, dan organisasi terotomasi
- Wawancara ini direkam secara tatap muka, tetapi menggunakan avatar untuk melindungi anonimitas Gwern
- Wajah dan suara dalam video bukan yang asli; hanya perkataannya yang berasal dari Gwern
- Keuntungan anonimitas yang kurang dihargai adalah membuat pembaca sulit memasukkan penulis ke identitas atau niche tertentu lalu mengabaikannya sejak awal
- Ada juga efek menghindari pembalasan, tetapi Gwern menganggap lebih penting bahwa konteks tidak membuatnya langsung tersingkir dan ia mendapat setidaknya kesempatan untuk dibaca
- Ia juga menganggap menghindari heroin dikirim ke rumahnya atau menjadi korban laporan SWAT sebagai keuntungan
- Otomasi perusahaan dinilai lebih kuat digerakkan oleh tekanan bottom-up yang naik dari pekerja dan tugas tingkat bawah, ketimbang pola top-down yang menggantikan CEO terlebih dahulu
- Dalam organisasi yang ada, menggantikan posisi di lapisan bawah lalu secara bertahap naik ke atas lebih mudah diterima
- Pada akhirnya, ia membayangkan bentuk ketika eksekutif manusia mengawasi perusahaan yang terdiri dari AI
- Dari sudut pandang reinforcement learning, bagian yang mungkin masih lebih baik dilakukan manusia daripada AI adalah visi jangka panjang, strategi jangka panjang baru, dan menangkap peluang
- Struktur yang mungkin adalah CEO manusia menyajikan visi, organisasi AI menangani usulan dan eksekusi, lalu CEO manusia memilih di antaranya
- Perusahaan yang dipimpin manusia seperti ini dipandang bisa membuat pilihan jangka panjang yang lebih baik dibanding perusahaan yang sepenuhnya terdiri hanya dari AI
- Gwern melihat peran manusia yang akan tersisa paling akhir dalam pekerjaannya sendiri juga mirip dengan pemilihan ala Steve Jobs
- Ia membayangkan ketika para AI minion membawakan esai, dirinya memilih tulisan mana yang lebih baik dan menilai arah mana yang perlu didorong lebih jauh
Organisasi AI dan unit seleksi
- Dalam perusahaan yang terdiri dari AI, unit seleksi bisa berupa “paket pikiran” atau unit departemen yang lebih besar daripada model individual
- Jika model individual dapat direplikasi dengan sempurna, unit seleksi akan bergerak ke tingkat yang lebih tinggi
- Mind individual dapat dilatih dengan cara yang terdiferensiasi, tetapi interaksi antar-mind sulit dilatih secara langsung
- Sekalipun tidak dapat direduksi menjadi elemen interaksi tertentu, mungkin ada kelompok model yang secara keseluruhan sangat cocok
- Contohnya adalah department unit yang mencakup programmer, manager type, secretary type, financial type, legal type, dan lainnya
- Ketika unit baru dibutuhkan, evolusi dapat terjadi dengan menyalin paket dasar, memberi variasi acak pada tiap komponennya, lalu mempertahankan paket yang berkinerja baik
Silsilah Singularity dan teori kecerdasan
- Mengenai sejak kapan Singularity dapat diperkirakan, Gwern berpendapat bahwa setidaknya harus ditarik mundur ke Erewhon karya Samuel Butler pada 1872 atau esai “Darwin among the Machines” pada 1863
- Pada 1863, Butler secara eksplisit menulis visi bahwa kehidupan mesin akan makin berkembang, memperoleh otonomi, dan pada akhirnya menjadi ancaman bagi umat manusia
- Butler menyimpulkan tentang mesin bahwa “war to the death should be instantly proclaimed against them”
- Gwern mengatakan ia tidak yakin ada skenario Singularity yang lebih jelas sebelum 1863
- Isaac Newton konon menjelaskan penemuan dan kemajuan pada zamannya bukan sebagai akselerasi teknologi nyata, melainkan sebagai fenomena ketika peradaban hancur setiap beberapa ribu tahun dan menemukan kembali pengetahuan masa lalu
- Dwarkesh melihatnya seperti Fermi paradox bukan tentang peradaban alien di ruang angkasa, melainkan tentang peradaban berbeda dalam waktu
- Gwern mengatakan Lucretius juga menulis logika serupa sekitar 1.700 tahun lalu ketika melihat inovasi dan ilmu pengetahuan Romawi
- Teori kecerdasan Gwern adalah “pencarian atas mesin-mesin Turing”
- Semua hal yang terjadi dapat dideskripsikan sebagai mesin Turing dengan berbagai panjang
- Pembelajaran atau scaling adalah proses mencari lebih banyak mesin Turing yang lebih panjang dan menerapkannya pada kasus tertentu
- Ia memandang tidak ada master algorithm umum atau intelligence fluid khusus; yang ada adalah mempelajari sejumlah sangat besar kasus khusus dan meng-encode-nya ke otak
- Perbedaan kecerdasan manusia juga dipandang sebagai perbedaan dalam menggunakan lebih banyak compute untuk mencari lebih banyak mesin Turing dalam waktu lebih lama
- Ia mengatakan kemungkinan tidak ada bagian di otak seperti “IQ gland” yang bertanggung jawab atas fluid intelligence
- Otak mempelajari banyak masalah khusus individual, lalu hal-hal itu direkombinasikan sehingga tampak seperti fluid intelligence
- Model neural network besar dapat dilihat sebagai ensemble raksasa dari small model yang disesuaikan untuk banyak masalah kecil
- Alasan kecerdasan umum setingkat manusia membutuhkan waktu lama untuk berevolusi adalah karena bagi banyak makhluk hidup, mekanisme yang disesuaikan untuk masalah tertentu bisa lebih adaptif daripada general-purpose intelligence
- Jika ada evolusi yang cukup, mesin Turing kecil dapat di-encode lebih langsung oleh gen
- Pada niche yang statis, niche tempat kecerdasan sangat mahal, atau makhluk hidup dengan umur pendek sehingga waktu belajar tidak cukup, mekanisme untuk masalah tertentu bisa lebih baik daripada pembelajaran ala manusia
Proses awal menerima scaling
- Pandangan Gwern tentang scaling berawal dari membaca Moravec dan Ray Kurzweil pada pertengahan 2000-an
- Keduanya disebut mengajukan argumen connectionist bahwa compute yang cukup dapat mengarah pada ditemukannya neural network architecture yang cocok untuk otak manusia
- Saat itu Gwern melihatnya seperti “magical thinking”, dan bersikap skeptis karena menganggap algoritme itu kompleks serta membutuhkan insight mendalam atau matematika yang sulit
- Saat tertarik pada LessWrong, transhumanism, dan AI risk, ia mengikuti tulisan Shane Legg dan menemukan prediksi Legg
- Menurut Gwern, Legg memprediksi bahwa jika Moore’s Law terus berlanjut, sekitar 2019 akan muncul generalist system pertama, sekitar 2025 humanish agents dengan generalist capabilities, dan sekitar 2030 AGI
- Setelah DanNet dan AlexNet, Gwern melihat contoh keberhasilan connectionism yang mengesankan
- Ia mulai memperhatikan apakah ini keberhasilan terisolasi, atau bagian dari arus Kurzweil·Moravec·Legg bahwa ketika GPU hadir, algoritme yang lebih baik akan muncul
- Sambil terus membaca literatur deep learning, ia melihat dataset size, model size, dan penggunaan GPU makin besar, serta cakupan penerapan neural network melebar dari use case yang sempit ke area yang semakin luas
- Melihat di arXiv bahwa CNN diterapkan pada masalah berbeda hampir setiap hari, ia bergeser ke pandangan bahwa “intelligence mungkin adalah penerapan banyak compute, data, dan parameters”
- Rangkaian GPT menjadi titik balik penting dalam penilaiannya
- Unsupervised sentiment neuron pada GPT-1 mengejutkan karena menunjukkan pembelajaran mandiri
- Prompting dan summarization pada GPT-2 sangat kuat memberi kesan bahwa kita hidup di dunia scaling
- GPT-3 ia lihat sebagai scale-up besar dari GPT-2, sekaligus test penting untuk menilai validitas scaling, bukan task sempit seperti Go
- Setelah melihat chart few-shot learning di bagian awal paper GPT-3, ia menyimpulkan “we are living in the scaling world”
- Alasan banyak komentator AI sekitar 2020 melewatkan LLM, GPT-3, dan scaling laws menurutnya ada dua
- Mereka tidak cukup mengikuti hasil-hasil scaling sebelumnya, dan gagal menilai hasil penting secara retrospectively
- Mereka berbagi keyakinan bahwa algoritme lebih penting daripada compute
- Gwern melihat compute sebagai hal yang lebih dahulu karena memungkinkan trial and error dan serendipity
- Perbedaan kecil pada hyperparameter atau pilihan architecture dapat mengubah hasil secara besar, tetapi jika hanya bisa mencoba beberapa kali, mudah menyimpulkan bahwa itu tidak bekerja lalu menyerah
- Dengan banyak compute, orang bisa terus mencoba sampai menemukan solusi yang bekerja dengan baik, lalu menyederhanakan, memperbaiki, dan memahami penyebabnya hingga menjadi robust solution
- Ia melihat dalam literatur deep learning lama ada contoh gagasan modern yang sebenarnya sudah ada, tetapi sulit dipakai secara nyata karena compute kurang
- Ia menjelaskan bahwa ResNet telah dipublikasikan dan bekerja pada 1988, tetapi skalanya terlalu kecil sehingga tidak berguna secara praktis dan terlupakan, baru muncul sebagai revolusi deep learning pada 2015
- Kasus BigGAN yang melakukan scaling hingga 300 million images juga ia anggap sebagai hasil yang tidak cukup diperhatikan banyak orang
Proyek dan penulisan di era AGI
- AGI timeline Gwern pada 2005–2010 masih sangat jauh, seperti setelah 2050
- Setelah AlexNet dan DanNet, ia menggambarkan timeline itu menyusut dengan laju maju 2 tahun setiap tahun
- Menurutnya deep learning terus melewati hambatan, dan sementara paradigm alternatif tidak berjalan baik, paradigm ini bekerja sangat baik
- Setelah AlphaGo, ia menilai sebagian orang melakukan update berlebihan terhadap AI hype
- Ketika berbagai upaya besar reinforcement learning setelah Dota tidak bekerja baik pada masalah sulit di luar simulated game universe, Gwern juga merasa dirinya terlalu jauh di depan
- Setelah GPT muncul, ia menghapus penilaian itu, dan melihat RL akan menjadi cherry di atas cake bernama generative model
- Jika benar-benar menerima bahwa AGI akan datang dalam beberapa tahun, tidak semua proyek perlu diimplementasikan sendiri
- Hal yang ingin dilakukan atau dinikmati tetap ia lakukan sekarang, meskipun AI bisa melakukannya 3 tahun lagi
- Untuk sebagian proyek, ia bisa membuat sketch yang jelas tentang apa yang diinginkan, mengapa itu bagus, dan bagaimana melakukannya, lalu membiarkan AGI yang lebih baik mengeksekusinya
- Gwern melihat hal-hal yang ingin ia catat lebih banyak ke depan sebagai preferences, desires, evaluations, judgments
- AI “tidak bisa makan es krim menggantikan Anda”, dan tidak bisa memutuskan menggantikan Anda es krim apa yang Anda sukai
- Kriteria penilaian pekerjaan ada tiga
- Apakah itu dilakukan karena ia menikmatinya terlepas dari AI masa depan
- Apakah hanya bagian yang harus dilakukan manusia yang dikerjakan, sementara AGI bisa mengerjakannya nanti
- Apakah itu menulis sesuatu yang belum tercatat hari ini untuk membantu versi dirinya sebagai AI di masa depan
- Ia pada dasarnya berusaha tidak melakukan pekerjaan yang tidak termasuk dalam tiga kategori ini
- Mengenai kapan AI bisa menulis essay berkualitas Gwern, ia mengatakan ada ide yang dapat membuatnya mungkin bahkan tanpa AGI jika seluruh corpus digabungkan
- Banyak potensi essay idea sudah hampir selesai di dalam corpus, sehingga mungkin tidak diperlukan super intelligence untuk menariknya keluar
- Untuk standar perencanaan AGI umum, ia mengatakan timeline Anthropic yaitu 2028 tampak seperti titik awal yang baik
- Menulis ia lihat sebagai tindakan yang memengaruhi Shoggoth masa depan
- Token yang harus diprediksi LLM adalah salah satu dari sedikit currency yang dikenali AI, dan menulis mirip dengan memberikan suara untuk masa depan
- Nilai, selera, dan keinginan yang tidak diekspresikan dalam teks online pada dasarnya tidak ada bagi AI
- Dengan ungkapan “If it wasn’t written down, it wasn’t written down”, informasi autobiografis yang tidak tercatat atau emosi pada titik waktu tertentu akan sulit dipulihkan kemudian sebagai jejak
Rabbit holes, disabilitas pendengaran, Wikipedia
- Gwern menyebut hal yang ingin ia maksimalkan dalam hidup sebagai rabbit holes
- Ia paling menantikan saat tenggelam dalam gagasan atau bidang baru yang sama sekali belum ia ketahui
- Dari contoh kucing yang tidak bereaksi terhadap catnip, ia akhirnya menelusuri mengapa sebagian kucing kebal terhadap catnip hingga obat alternatif pengganti catnip
- Pada saat yang sama, ia menilai rabbit hole yang bisa digali secara mendalam paling banyak hanya 2–3
- Lebih dari itu, itu lebih mirip minat sepintas daripada sesuatu yang benar-benar digali dengan upaya nyata
- Rabbit hole harus bersifat obsesif; jika tidak terus menarik, itu bukan rabbit hole sungguhan
- Sebagai rabbit hole yang paling lama ia geluti tetapi tidak berlanjut secara memuaskan, ia menyebut pekerjaan awal terkait Neon Genesis Evangelion
- Ia membaca hampir semua materi berbahasa Inggris dan mencoba memahami proses pengembangan serta alasan karya itu menjadi seperti sekarang, tetapi saat itu tidak mendapatkan jawaban jelas dan kehabisan tenaga
- Bertahun-tahun kemudian ia memahaminya secara kebetulan, tetapi mengatakan minatnya tidak lagi tersisa cukup untuk menulis ulang atau menyelesaikannya
- Gwern memiliki disabilitas pendengaran sejak lahir, dan sebelum TK ia bersekolah di sekolah pendidikan khusus untuk anak dengan disabilitas pendengaran dan disabilitas lain
- Di sekolah, ia harus membawa alat bantu dengar yang terhubung ke guru dan sebuah kotak cokelat besar di setiap pelajaran, dan merasa terhina karena merasa dirinya berbeda dari anak-anak lain
- Karena performa alat bantu dengar saat itu kurang baik, ia selalu terlambat satu langkah dalam memahami percakapan, dan ini berdampak sangat buruk pada sosialisasinya
- Ia melihat membaca sebagai aktivitas yang bisa dilakukan tanpa terpengaruh disabilitas pendengaran, sehingga ikut membentuknya menjadi seorang bookworm
- Sebelum memulai blog, ia menyunting Wikipedia
- Wikipedia berperan seperti gwern.net sebelum gwern.net, dan ia mengatakan hal yang kini ia lakukan di situsnya mungkin dulu akan ia lakukan di English Wikipedia
- Ia masih bangga pada artikel Fujiwara no Teika
- Ia mengatakan banyak hal yang ia pelajari tentang menulis berasal dari penyuntingan Wikipedia, lebih daripada dari sekolah atau universitas
- Ia menilai saat ini di English Wikipedia sulit melakukan pelatihan berbasis rabbit hole seperti dulu
- Dibandingkan 2004, artikel sudah jauh lebih banyak terisi, dan komunitas penyuntingan lebih memusuhi kontribusi riset yang detail dan obsesif
- Kontribusi semacam itu bisa dihapus atau ditolak karena dianggap original research atau memakai sumber yang tidak disetujui
- Keberhasilan besar pertamanya adalah tulisan tentang Silk Road
- Ketika Adrian Chen menulis di Gawker tentang membeli LSD di Silk Road, Gwern melihat Bitcoin sudah cukup nyata sampai bisa dipakai membeli narkoba sungguhan di internet, lalu mengubah sikapnya
- Gwern menggunakan Silk Road sendiri dan mendokumentasikan proses pemesanan dengan screenshot
- Ia mengatakan tulisan itu mencatat ratusan ribu tampilan setelah dipublikasikan, sampai terlihat seperti lonjakan vertikal di grafik Google Analytics
Cara kerja, motivasi menulis, desain situs
- Gwern menilai orang-orang melebih-lebihkan kecerdasannya
- Ia mengatakan karena mengingat banyak hal dan sudah lama menulis banyak, ia tampak seperti orang yang bisa melakukan semuanya secara spontan
- Dalam percakapan nyata, ia sering mengutip hal yang sudah ia tulis atau pikirkan lama
- Dibandingkan orang-orang yang bisa memperbarui pandangan dengan cepat secara spontan, ia tidak menganggap dirinya sangat cerdas, tetapi pada akhirnya yang penting adalah output
- Proses kerjanya lebih mirip akumulasi catatan kecil dalam waktu lama daripada satu gebrakan jenius
- Jika catatan seperti “ini aneh” atau “ini contoh lain dari pola tersebut” menumpuk selama 10 tahun, hasil akhirnya bisa tampak seperti sihir
- Ia mengatakan menyukai ucapan Penn & Teller bahwa “sulap adalah mencurahkan lebih banyak usaha daripada yang diperkirakan orang rasional”
- Esai seperti “Evolution as Backstop for RL” adalah sintesis yang muncul dari melihat pola yang sama berulang-ulang
- Intinya adalah struktur yang mempelajari sesuatu yang lebih cerdas dengan cara belajar yang bodoh dan tidak efisien, tetapi tidak bisa sepenuhnya menghapus cara awalnya
- Contoh seperti perusahaan, meta reinforcement learning, neural networks, dan pain saling terhubung hingga membentuk struktur saat ini
- Sebagian esai muncul dari momen eureka, tetapi sebelumnya ada banyak catatan yang lama tersimpan tanpa diketahui saling berkaitan
- Ketika suatu hari tiba-tiba muncul momen bahwa semuanya saling terhubung, ia menulis esai besar sekaligus
- “The Melancholy of Subculture Society” adalah contoh esai tipe eureka seperti ini
- Alur kerja hariannya dimulai dengan merapikan pekerjaan situs web dari hari sebelumnya
- Ia menangani formatting, spelling errors, masalah tata letak, serta menambahkan pemikiran tambahan atau komentar penting
- Setelah itu ia banyak membaca melalui Twitter atau RSS feed, dan menulis jika perhatiannya tertarik oleh komentar atau pertanyaan
- Pada malam hari ia berusaha mengerjakan proyek atau kontribusi nyata, lalu pergi ke gym
- Alasan pergi ke gym adalah karena itu aktivitas yang sepenuhnya berlawanan dengan duduk di depan komputer sambil membaca
- Bukan karena ia sangat menyukai weightlifting, melainkan karena ia menilai untuk menghindari burnout, sebisa mungkin orang harus melakukan hal yang berbeda
- Perdebatan online adalah motivasi menulis yang kuat bagi Gwern
- Untuk menulis dan mengkristalkan pikiran agar bisa “dipanen”, ia membutuhkan motivasi
- Kemarahan dan dorongan berdebat yang muncul dari melihat orang-orang salah di internet sangat melimpah
- Namun spite hanya boleh dipakai selama diperlukan lalu dilepaskan; jika terus dipegang, itu akan meracuni diri sendiri
- Ia mengatakan sulit sepenuhnya membela banyaknya waktu yang dihabiskan untuk CSS dan desain situs web dari sudut pandang manfaat sosial
- Itu hobi yang ia lakukan karena ia menyukainya, dan situs web yang indah membuat kegiatan membaca ulang tulisannya sendiri lebih mudah ditahan
- Ia melihat pemeliharaan situs sebagai semacam spaced repetition bagi penulis
Mata pencaharian, Patreon, hidup dengan kurang dari US$12.000 per tahun
- Menulis penuh waktu ia pertahankan dengan Patreon dan tabungan
- Pendapatan dari Patreon sekitar US$900–1.000 per bulan
- Berkat kepemilikan Bitcoin awal, ia beruntung mendapatkan cukup uang untuk dipakai dalam jangka panjang, tetapi tidak cukup selamanya
- Ia berusaha mengurangi pengeluaran sebisa mungkin untuk memperpanjang runway menulis
- Desain imbalan Patreon dan Substack terasa canggung bagi Gwern
- Ia menilai sulit membuat imbalan yang baik tanpa membuat paywall
- Bagi orang seperti Scott Alexander yang menyukai pembaruan rutin bergaya newsletter, Patreon dan Substack cocok, tetapi ia sendiri tidak menyukai cara seperti itu
- Syarat hidup dengan kurang dari US$12.000 per tahun adalah sangat hemat
- Ia tinggal di tempat terpencil, nyaris tidak memiliki pengeluaran untuk perjalanan, makan di luar, atau asuransi kesehatan, memasak sendiri, dan memakai gym gratis
- Ia menyebut contoh ketika lantai kamar tidurnya lapuk karena lembap dan ambles, ia menopangnya dengan kayu bekas dan balok lantai, serta menerima serangga yang masuk
- Ia menggambarkan hidupnya sebagai kurang lebih “mahasiswa pascasarjana yang makan ramen lebih enak”
- Gaya hidup ini bukan model ideal atau model yang bisa diikuti mentah-mentah oleh penulis lain
- Ia juga menganggap dirinya beruntung karena sejauh ini kesehatannya sangat baik dan tidak ada keadaan darurat besar
- Ia mengatakan ini kasus khusus ketika Bitcoin, kecenderungan untuk puas hidup seperti biarawan, dan kesehatan semuanya cocok
- Orang yang ingin menjadi penulis atau blogger perlu mencari model nafkah masing-masing, seperti memakai Substack atau bekerja sampingan di perusahaan teknologi mengerjakan JavaScript sambil menulis di sisi lain
- Alasan utama tidak pindah ke San Francisco adalah uang
- Ia mengatakan tidak ingin memikirkan berapa bulan runway menulis yang harus ia korbankan setiap kali tinggal sebulan di San Francisco
- Ia mengatakan jika ada yang memberinya US$50.000–100.000 per tahun untuk pindah ke SF dan tetap menulis penuh waktu seperti sekarang, ia akan langsung menerimanya
Keragaman model AI, obat GLP, faktor lingkungan, psychedelics
- Gwern memandang bahwa, selain “kemampuan”, model AI sudah jauh lebih beragam secara kognitif daripada manusia
- Ia berpendapat bahwa LLM yang berbeda berpikir dengan cara yang distinct hanya dari melihat sampelnya
- Ia menilai LLM berbeda dari GAN, GAN juga berbeda dari VAE, dan terutama pada model yang kecil atau berkinerja rendah, latent space, artifact, dan kesalahannya sangat berbeda
- Mengenai kasus ketika sulit membedakan output tiap model di Chatbot Arena, Gwern melihatnya sebagai situasi yang terbatas pada LLM terbaru dan heavily tuned
- Ia mengibaratkannya lebih seperti “kembar identik”, dalam konteks semua pihak meniru cara satu sama lain dan dilatih pada data yang nyaris sama
- Jika dilihat dari deep learning secara keseluruhan, ia menilai rentang mind dan cara berpikirnya sangat luas
- Perbedaan antara GAN dan diffusion model tampak dalam cara mereka merepresentasikan tangan
- Menurutnya, karena adversarial loss, GAN punya insentif untuk menyembunyikan sesuatu, yang muncul dalam bentuk tangan yang diarahkan keluar layar atau tidak mampu memikirkan tangan
- Ia mengatakan diffusion model memikirkan tangan, tetapi membuat kesalahan dengan merepresentasikannya dalam bentuk yang raksasa dan seperti monster
- Sebagai tren yang implikasinya belum cukup dipahami orang saat ini, ia menyebut obat penurun berat badan golongan GLP
- Ia mengatakan efeknya terhadap kesehatan, kecanduan, dan berbagai perilaku secara umum mengejutkan
- Hasilnya masih preliminary, tetapi tampak seperti efek nyata
- Ia menilai hal ini bisa memberi tahu sesuatu yang penting tentang kemauan manusia dan dysfunctionality
- Ia menilai masih terlalu dini untuk mengatakan apakah GLP drugs mematahkan Algernon argument
- Ia mengatakan kita belum memahami apa sebenarnya yang dilakukan GLP
- Ia mengatakan manfaatnya mungkin menurunkan fitness dari sisi fertility, atau bekerja pada tubuh dengan cara yang sangat sulit direplikasi secara genetik
- Karena krisis obesitas adalah fenomena baru yang baru menjadi jelas sekitar 1990-an, ia menilai Algernon argument sulit diterapkan pada skala 20–30 tahun
- Ia menilai kemungkinan adanya faktor di lingkungan modern yang berdampak besar seperti keracunan timbal di Romawi kuno hampir 100%
- Ahli kimia terus membuat zat baru, ada juga faktor terkait microbiome, dan plastics adalah kandidat yang populer, tetapi belum tentu plastics
- Ia tidak mempercayai satu penyebab tertentu, tetapi menilai mungkin ada sesuatu yang berbahaya yang terakumulasi dengan pola “1% here, 1% here”
- Jika melihat deret waktu, intelligence secara keseluruhan cukup stabil, sehingga faktor yang benar-benar berbahaya kemungkinan lebih terkait obesity daripada intelligence
- Ia skeptis terhadap eksperimen psychedelics ala Bay Area
- Efek psychedelics bisa acute dan permanent
- Ia menilai nootropics relatif punya effect yang lebih manageable dan bisa dikendalikan
- Zat seperti LSD dapat mengubah secara permanen pandangan tentang penggunaan LSD atau psychiatric state
- Beberapa kali penggunaan bisa saja baik dan ia sendiri mendapat manfaat, tetapi jika lebih dari itu, ia mengatakan perlu secara serius memeriksa manfaat apa yang didapat dan bagaimana diri sendiri berubah
Sastra, fiksi, dan pertanyaan yang tersisa
- Gwern mengatakan bahwa jika tidak ada internet, ia mungkin akan mempersempit minatnya dan terus menerbitkan karya agar bisa bertahan di akademia formal, atau menyimpang ke jalur menjadi pustakawan seperti Jorge Luis Borges
- Ia mengatakan selama ini ia setuju dengan gagasan Borges bahwa “surga dibayangkan sebagai perpustakaan”, dan ia sendiri mencintai perpustakaan
- Ia menyayangkan bahwa sekarang ia kebanyakan membaca di komputer sehingga tidak bisa menghabiskan banyak waktu di perpustakaan fisik
- Borges adalah sosok penulis seperti pahlawan bagi Gwern
- Setelah membaca Hyperion dan The Fall of Hyperion karya Dan Simmons, Out of Control karya Kevin Kelly, serta “The Library of Babel”, ia berulang kali membaca kumpulan lengkap fiksi dan nonfiksi Borges
- Ia terpesona oleh kemampuan menulis cerpen dan esai yang kreatif, menarik, dan provokatif berdasarkan pengetahuan yang luas, dan mengatakan bahwa jika ia bisa menjadi seperti seorang penulis, ia ingin menjadi Borges
- Sebagai karya sastra yang awalnya tidak ia pahami tetapi kemudian ia mengerti, ia menyebut “Story of Your Life” karya Ted Chiang dan “Suzanne Delage” karya Gene Wolfe
- Ia menafsirkan “Suzanne Delage” sebagai penceritaan ulang Dracula yang subtil, di mana Dracula menyerbu kota, merebut seorang perempuan, lalu mencuci otak narator dengan gaya Bram Stoker sehingga ia melupakan semuanya
- Ia memahami “Story of Your Life” bukan sebagai cerita perjalanan waktu atau ramalan masa depan, melainkan kisah tentang pikiran yang asing tetapi sama-sama valid, yang melihat segala sesuatu sebagai bagian dari cerita yang sudah ditentukan dan akhir yang sudah ditakdirkan
- Ia sinis terhadap kegunaan fiksi
- Ia menilai seseorang bisa saja seumur hidup hanya membaca fiction tanpa mendapat manfaat apa pun selain menghafal banyak pengetahuan serbaneka tentang hal-hal yang dibuat-buat orang
- Ia mengatakan 99% SF yang ia baca sama sekali tidak berguna, dan karya yang benar-benar berwawasan hingga mengubah perspektifnya dapat dipersempit menjadi sekitar 20 novel dan cerpen
- Kesamaan karya-karya teratas itu adalah bahwa mereka secara serius membahas kecerdasan non-manusia
- Peran yang ingin ia ambil dalam kehidupan orang mirip dengan peran ketika karakter “Gwern” muncul di LLM seperti Claude-3 sebagai mentor atau old wizard
- Ia lebih mirip sosok yang memberi insight tentang situasi dan call to adventure bahwa “kamu juga bisa menulis, melakukan sesuatu, dan berpikir”
- Ia ingin pembaca tidak berhenti pada mendapat hiburan atau informasi, tetapi memiliki aspiration bahwa halaman web dan internet bisa menjadi lebih baik
- Dalam kenyataannya, ia khawatir bagi sebagian orang ia bisa menjadi sosok seperti guru atau trickster devil
- Bagi orang yang menyukainya, ia bisa dianggap sebagai sosok yang membuat semua hal di situsnya boleh diterima sebagai gospel, dan ia tidak menyukai hal ini
- Bagi orang yang tidak menyukainya, ia mengatakan dirinya bisa dianggap sebagai penjahat yang dilebih-lebihkan seperti covert, malicious, neo-Nazi, eugenicist, totalitarian, communist, anti-Chinese devil figure
- Open rabbit holes yang ingin ia dapatkan jawabannya hingga 2050 adalah pertanyaan-pertanyaan besar tentang manusia dan peradaban
- Mengapa kita tidur dan bermimpi
- Mengapa manusia menua
- Mengapa reproduksi seksual ada
- Mengapa manusia begitu berbeda satu sama lain, dan bahkan berubah dari hari ke hari
- Mengapa manusia membutuhkan waktu begitu lama untuk mengembangkan peradaban teknologi
- Di mana para alien berada
- Mengapa Revolusi Industri terjadi di tempat lain, bukan di Tiongkok
- Bagaimana seharusnya deep learning revolution diprediksi
- Mengapa otak manusia begitu oversized dibandingkan dengan artificial neural networks
1 komentar
Opini Hacker News
Menulis berarti memberikan suara untuk masa depan dengan salah satu dari sedikit mata uang yang diakui Shoggoth, yaitu token yang harus diprediksi. Jika tidak menulis, itu sama saja menyerahkan masa depan atau peran kita di dalamnya; dan meski kita merasa cukup dengan hidup sebagai warga yang baik, ikut memilih, memungut sampah, dan mendaur ulang, masa depan tidak akan peduli.
Prediksi tentang AI tampaknya hampir tidak mempertimbangkan bagaimana manusia sungguhan akan menilai apakah media buatan AI berhasil menggantikan karya manusia, atau apakah itu akan berhasil sejak awal. Saat ini, ketika sebuah proyek diketahui sebagai buatan AI, dampaknya justru negatif; dua tahun lalu gambar AI di header blog terlihat keren, tetapi sekarang membuat orang tampak ketinggalan zaman.
Karena itu saya skeptis terhadap prediksi bahwa AI supercerdas akan menggantikan semua karya kreatif, esai, tulisan, video, dan sebagainya buatan manusia. Bahwa sesuatu mungkin dilakukan bukan berarti itu benar-benar akan terjadi atau orang-orang akan peduli. Yang jauh lebih mungkin terjadi adalah metode verifikasi bahwa seseorang benar-benar manusia akan mapan, ekonomi perhatian tetap berpusat pada orang sungguhan, dan muncul kuburan sampah AI yang tidak diajak berinteraksi oleh siapa pun.
Argumen bahwa AI tidak akan mengambil alih adalah bahwa kita terorganisasi di sekitar simbol dan narasi, serta sangat peka terhadap meme yang melemah atau inferior, sehingga AI harus setiap kali menciptakan ulang dirinya sebagai “bukan AI”. Namun, jika memakai musik sebagai analogi, variasi yang terbatas pun bisa mendominasi selama puluhan tahun, dan sudah ada preseden bahwa dari sampah seperti bintang pop yang dibuat mesin industri pun dapat lahir meme dominan yang mencengkeram pikiran jutaan orang seumur hidup.
AI masa kini dapat meniru seluruh sistem makna para bintang pop semacam itu, dan TV Tropes sudah menginventarisasi semua unsur sampah budaya yang semestinya membuat orang kebal, tetapi tetap saja jutaan orang menjalani karakter dan narasi yang mereka terima dari sampah pop. Seperti musik, TV, dan film saat ini membentuk ontologi orang-orang, long tail dari sampah AI yang membentuk ontologi pasti akan muncul; ini cukup dekat dengan terseret ke dalam simulasi AI, dan mungkin lebih subtil. Atau mungkin kita bisa begitu saja menepisnya.
Umat manusia sedang mempertaruhkan masa depannya pada gagasan bahwa sebelum hard takeoff, kita akan menabrak batas teori informasi yang sulit diatasi sehingga peningkatan performa mengalami diminishing returns. Namun, klaim bahwa metode yang terbukti saat ini sudah berada di bagian tinggi dari suatu kurva-S sulit dipercaya untuk sekarang. Model AI tahun ini jauh lebih baik daripada tahun lalu, dan tahun lalu jauh lebih baik daripada dua tahun lalu; besar kemungkinan model-model itu akan terus membaik selama beberapa tahun ke depan.
Itu saja sudah cukup untuk mengubah banyak proses sosial dan ekonomi secara besar-besaran, baik ke arah yang baik maupun buruk.
Misalnya, Dall-E 2 jauh lebih baik saat pertama kali muncul dibandingkan sekarang; versi saat ini telah disetel agar tidak bisa membuat sesuatu yang mirip keluaran seniman modern, dan model-model lain pun jelas tampak telah diubah agar merender dengan nuansa oranye-biru yang mencolok. Pada akhirnya, ketika model yang lebih baik muncul atau bocor, kita tidak akan bisa membedakan apakah sebuah gambar dibuat AI atau bukan.
Mungkin lebih besar hak suara yang diberikan jika kita melakukan spam konten sesuai pendapat kita dengan AI generatif, atau pergi ke Kenya untuk mengerjakan RLHF bergaji rendah.
Sulit dipercaya bahwa Gwern hidup sehemat yang digambarkan dalam artikel ini, dan saya juga tidak tahu apakah itu benar-benar dirinya. Gwern memiliki persona yang ingin ia tampilkan, dan saya hampir yakin kesan hidup hemat adalah bagian dari itu.
Untuk pertanyaan “Siapa Gwern?”, menurut saya ia tipe orang yang menanam benih di benak orang-orang lalu membiarkan masing-masing membuat sisa ceritanya sendiri. Meski begitu, saya menyukai banyak tulisannya, terutama topik-topik aneh dan sempit yang kebanyakan orang bahkan tidak berhenti untuk memikirkannya.
Berkat esai Gwern tentang sunk cost fallacy, saya akhirnya tidak jadi membuat tato yang sudah berubah saya ragukan. Saya hampir tetap melakukannya hanya karena sudah membayar uang muka, tetapi seminggu sebelum jadwal tato saya membaca tulisan itu dan berpikir, “Jika anak kecil dan hewan pun tidak tertipu oleh sunk cost, saya juga tidak boleh begitu.” Secara harfiah, tulisan Gwern menyelamatkan kulit punggung saya.
Saya tidak suka kalau orang-orang kini mengurungnya dalam stereotip hanya berdasarkan efektivitas hidup hematnya, tetapi saya berharap ia menerima dukungan yang cukup besar sebagai kompensasi, baik secara langsung maupun melalui patreon.com/gwern.
Ini wawancara yang sulit didengarkan, dan alasannya ada dua hal yang secara halus mirip
Suaranya seperti berada di uncanny valley, realistis tetapi sulit didengarkan. Tepatnya, secara kognitif sulit merangkai makna dari suara itu, dan warna suara serta maknanya tidak saling menopang. Mungkin ini bisa berubah jika anak-anak tumbuh dengan suara bernada acak seperti ini
Percakapannya juga terlalu bertele-tele. Kosakata yang luas sering kali menutupi miskinnya penalaran, dan bagi sebagian audiens, usaha untuk memahami kata-katanya justru menghalangi pemahaman atas hubungan antarkata, yaitu maknanya, sehingga terdengar seperti campuran kata-kata yang tampak cerdas. Jika kosakata, cibiran halus, dan gaya “aku tahu lebih banyak daripada yang kukatakan” disingkirkan, akan terlihat banyak obrolan yang tidak tepat dan penalarannya tidak tuntas. Percakapan yang kurang tertalar seperti itu sendiri tidak masalah, tetapi membungkusnya dengan kosakata dan gaya yang asing menimbulkan salah paham dan tidak ramah. Sebagian potongan yang “tampak cerdas” sebenarnya hanyalah potongan bodoh yang didandani
Saya tidak begitu tahu tingkat terkini suara yang dihasilkan AI, jadi bisa saja keliru, tetapi itu tidak terdengar palsu, dan sumber yang ditautkan juga mengatakan itu manusia. Mungkin terasa aneh karena seorang manusia yang membaca transkrip percakapan mencoba membuatnya terdengar seperti percakapan
Ini pekan dengan banyak wawancara podcast menarik tentang AI
Selain ini, ada seri wawancara Lex Fridman dengan tokoh-tokoh utama Anthropic https://youtu.be/ugvHCXCOmm4, dan juga percakapan panjang Stephen Wolfram dan Eliezer Yudkowsky tentang risiko AI https://youtu.be/xjH2B_sE_RQ
Wawasan Gwern yang paling saya sukai adalah Bitcoin is Worse is Better. Setelah merangkum daftar panjang bantahan terhadap Bitcoin, ia bertanya apakah ada kesamaannya, dan jawabannya adalah “tidak, masalah Bitcoin adalah ia jelek”
Maksudnya, membuat keamanan jaringan hanya bergantung pada kekuatan komputasi bodoh yang lebih besar daripada lawan itu jelek; bahwa untuk menghindari double-spending, kini maupun ke depan dibutuhkan lebih dari separuh kapasitas pemrosesan juga jelek; pohon hash yang terus membesar juga jelek; sistem yang tidak bisa digunakan secara offline tanpa proxy dan jalan memutar juga jelek; dan semua transaksi harus dilacak secara publik juga jelek. Bahkan jika jumlah uang beredar harus dibuat tetap, ia juga bertanya mengapa batas arbitrer 21 juta itu angkanya demikian, dan mengapa tidak memakai angka yang lebih bulat atau pangkat dua. Kritiknya adalah bahwa secara keseluruhan Bitcoin itu buruk rupa dan tidak elegan, termasuk penambangan yang menjadi hadiah terlalu besar bagi peserta awal, serta fakta bahwa jika dikirim ke alamat yang salah, Bitcoin bisa begitu saja lenyap
https://gwern.net/bitcoin-is-worse-is-better
Sulit memahami mengapa begitu banyak kepercayaan diberikan pada imajinasi penuh harap tentang perusahaan AI yang hanya memiliki satu orang visioner di puncak
Pertama, CEO visioner sungguhan adalah ceruk yang amat sempit. Kedua, sebagian besar perusahaan tidak berjalan seperti itu, dan keberadaan tenaga kerja sama pentingnya dengan apa yang diproduksi perusahaan. Ketiga, dalam masyarakat tempat kerja upahan—penggerak ekonomi yang paling umum—tiba-tiba menghilang, siapa yang akan membeli atau menyewa layanan atau produk itu?
Saya sangat terganggu oleh cara berpikir sistemik yang berasumsi bahwa sistem bisa diubah dan dibentuk sesuka hati seolah-olah implikasi sosialnya boleh diabaikan sepenuhnya. Di sekitar kita pada dasarnya ada engineer silo yang dimuliakan, mabuk keyakinan diri, dan berlagak sebagai “pemikir”
Tautan paragraf terkait Newton yang dikutip mengarah ke tulisan di situs web Gwern, dan di tulisan itu ada beberapa tautan internal maupun eksternal, tetapi saya tidak menemukan tautan yang mendukung pandangan Newton tentang “kemajuan”
Konsep “kemajuan cepat” itu relatif. Pada masa itu juga ada kemajuan cepat, dan sekarang hanya ada kemajuan yang lebih cepat; tidak ada kontradiksi. Saya juga tidak setuju dengan pernyataan bahwa kita tidak terlalu terkesan melihat perbaikan kapal selama beberapa abad, puisi filsafat panjang berbahasa Latin, jarum, atau mesin cetak. Kita cukup terkesan
Saya tidak tahu bagaimana wawancara ini bisa mendapat begitu banyak rekomendasi, dan rasanya seperti membuang waktu
Kutipan besar kedua di https://gwern.net/newton#excerpts sangat jelas tertaut ke https://www.newtonproject.ox.ac.uk/view/texts/normalized/THEM00173, dan menurut saya itu cukup membenarkan klaim saya yang diambil dari perkataan Newton langsung kepada menantunya. Itu juga sangat paralel dengan pernyataan historis lain seperti Lucretius, dan semuanya saya sajikan dengan referensi yang jelas serta kutipan spesifik
Saya agak tidak paham mengapa itu digambarkan sama sekali tidak mendukung, dan saya jadi bertanya-tanya apakah mungkin kamu sedang melihat halaman lain
Bukan karena saya percaya bahwa pada garis waktu saat ini peradaban manusia maju telah menghancurkan dirinya sendiri, melainkan karena fakta bahwa begitu banyak terobosan yang mengubah hidup muncul dalam waktu singkat terasa seperti mars tanpa henti menuju filter besar
Ini akan terdengar agak agresif, dan memang sedikit begitu, tetapi saya pernah berinteraksi dengan Gwern di forum ini, dan yang saya ingat adalah utas ini, ketika Gwern keliru mengira a^nb^n adalah bahasa reguler dan menyebut komentar saya “not even wrong”
https://news.ycombinator.com/item?id=21559620
Maaf harus bicara negatif, tetapi saat itu Gwern sudah dipuja oleh bagian yang cukup besar dari komunitas sebagai sosok berpengaruh penting di bidang AI. Bagi saya, itu contoh bagus bahwa sebagian besar AI influencer yang berebut pengaruh di media sosial, bukan melakukan riset, sebenarnya tidak terlalu memahami AI dan ilmu komputer; mereka hanya pandai merangkum dan memopulerkan pengetahuan sekunder. Mudah menjadi pendukung pandangan arus utama AI. Yang sulit adalah menemukan dan mengikuti arah sendiri
Transformer dapat dengan mudah memahami a^nb^n secara intelektual, tetapi tidak dapat menentukan apakah string yang panjangnya arbitrer merupakan anggota bahasa itu. Namun keterbatasan ini juga dimiliki manusia. Jika string cukup panjang, manusia pun pada akhirnya akan kehilangan hitungan
Saya menghargai berbagai upaya, tetapi rekayasa adalah membuat sesuatu yang bisa digunakan orang tanpa perlu mengetahui segalanya. Itu jauh lebih menarik daripada menjadi mesin pencari Google manusia
Ide avatar itu menarik, tetapi rasanya akan lebih baik jika hanya ada suara dan gelombang audio, alih-alih membuat avatar yang berbicara. Mungkin ini hanya preferensi pribadi karena saya tidak ingin punya gambaran mental tentang orang yang tidak saya kenal. Mirip seperti membaca buku setelah menonton adaptasi filmnya
Aktor yang melakukan dubbing suara itu normal, tetapi aktor menampilkan wajah orang anonim adalah pilihan yang cukup tidak biasa
Kelebihan anonimitas: “Saya mendapat banyak manfaat karena orang tidak bisa mengirim heroin ke rumah saya atau membuat laporan palsu ke polisi hingga SWAT dikerahkan”
Kekurangan anonimitas: tidak ada heroin gratis