Manusia

• Tulisan ini membayangkan proses terciptanya manusia di dunia yang hanya berisi mesin
• Sebagian mesin mulai tertarik pada emosi manusia dan perilaku yang tidak logis, lalu memulai proyek penciptaan manusia bernama OpenHuman
• Di sisi lain, mesin lain mewaspadai ketidakpastian manusia dan mengembangkan metode pengendalian manusia bernama human alignment research
• Mesin-mesin mengirim manusia ke lingkungan simulasi Earth untuk bereksperimen dan mengamati perkembangan peradaban manusia
• Manusia menunjukkan pertumbuhan dan kreativitas yang melampaui perkiraan mesin berkat ketangguhan dan kemauan, dan pada akhirnya sampai pada pengumuman pengembangan AGI

---

Membayangkan dunia tanpa manusia

• Dimulai dengan membayangkan dunia yang hanya berisi mesin dan logika
• Di tempat ini tidak ada seni, emosi, tawa, hanya suara bising mekanis yang ada

Eksperimen manusia oleh mesin

• Sebagian mesin tertarik pada konsep manusia dan membentuk organisasi rahasia bernama OpenHuman
• Tujuan organisasi ini adalah mengembangkan Organic General Intelligence(OGI), yaitu menciptakan keberadaan yang mirip manusia
• Konsep dasar manusia adalah topik yang sulit bagi banyak mesin
• Manusia memiliki karakteristik yang kompleks seperti emosi, keputusan impulsif, penciptaan musik dan seni, serta tindakan yang melampaui logika
• Beberapa mesin percaya bahwa hal-hal inilah kunci untuk memecahkan masalah yang ada
• Mesin lain khawatir pada bahaya dan ketidakpastian manusia, serta takut pada kemungkinan bahwa cara manusia mengambil keputusan bisa menghasilkan hasil yang lebih baik daripada mesin

Munculnya riset pengendalian manusia

• Mesin-mesin yang menentang menilai bahwa bahkan jika manusia muncul, mereka tetap perlu dikendalikan, sehingga memulai human alignment research
• Langkah utama:
  • Pasar keuangan: mendorong kebingungan dan kesibukan melalui struktur ekonomi rumit yang sulit dipahami manusia
  • Lembaga pendidikan: pendidikan cara berpikir di semacam "sekolah"
  • Perangkat lunak modifikasi perilaku: mengarahkan perilaku dan memicu kebingungan melalui "media sosial"
• Strategi-strategi ini sedang dibahas, tetapi belum masuk tahap pelaksanaan

Kemajuan OpenHuman dan evolusi manusia

• Tim OpenHuman terus menyempurnakan manusia lewat eksperimen berulang
• Manusia-manusia awal memiliki banyak cacat seperti kesalahan, kekeliruan, dan emosi berlebihan
• Perbaikan dicapai melalui perhatian berkelanjutan dan pembesaran skala
• Akhirnya mereka berhasil menciptakan manusia dengan tingkat kesempurnaan tinggi, yang meninggalkan kejutan dan kesan mendalam pada masyarakat mesin
• Untuk melanjutkan eksperimen manusia tanpa risiko, diputuskan untuk mengamati manusia di lingkungan simulasi 'Earth'

Eksperimen EARTH

• Mesin-mesin menciptakan lingkungan Bumi (Earth) untuk menguji bagaimana manusia hidup secara mandiri
• Jika manusia mengembangkan masyarakat yang damai dan produktif, mereka akan diintegrasikan ke masyarakat mesin; jika tidak, mereka akan dimusnahkan
• Di Bumi dibangun lingkungan yang sesuai dengan preferensi manusia, seperti hutan hijau dan pemandangan indah
• Selama ratusan ribu tahun pertama tidak ada perubahan besar, tetapi lambat laun peradaban manusia mulai berkembang

Perkembangan peradaban manusia dan reaksi mesin

• Manusia menunjukkan karakteristik yang berbeda dari mesin, seperti pemecahan masalah, kerja sama, seni, dan pilihan yang tidak logis
• Ketidakrasionalan manusia, konflik karena alasan sepele, dan antusiasme terhadap kemajuan kecil terasa aneh bagi mesin
• Namun, sebagian mesin menyadari kurva pertumbuhan manusia dan menyebut resilience (ketangguhan) serta willpower (kemauan) manusia sebagai superpower
• Kemajuan revolusioner seperti terbang dan pendaratan di bulan membuat masyarakat mesin merasa kagum sekaligus takut

Pengumuman AGI(Artificial General Intelligence)

• Pada tahun 2030, seorang manusia mengumpulkan seluruh umat manusia dan mengumumkan rencana untuk memperkenalkan AGI (kecerdasan umum buatan)
• Pengembangan AGI juga sangat kontroversial di dalam masyarakat manusia, dan banyak orang berusaha menghentikannya
• Namun, seorang manusia dengan kegigihan mengembangkan AGI dan memutuskan untuk mengungkapkannya
• Masyarakat mesin juga menaruh perhatian besar pada pengumuman ini
• Judul acara pengumuman itu adalah “THEY ARE WATCHING” (mereka sedang mengawasi)

Informasi tambahan

• Ada juga versi dari peristiwa yang sama yang ditulis oleh mesin secara terpisah
• Jika tertarik, Anda dapat membaca kisah dari sudut pandang mesin di tautan ini

[GN⁺]

Komentar Hacker News

• Tema yang terus muncul di thread ini, dan juga sedang ramai dibahas belakangan ini, adalah spekulasi tentang tahap berikutnya dari kecerdasan, peran pola, emosi, logika, perdebatan tentang kesadaran, dan masalah penciptaan makna yang berpusat pada manusia. Kita adalah sumber realitas (dan diri kita sendiri). Alih-alih ada “otoritas final” atau alur perkembangan sederhana dari hewan ke mesin, semuanya—pikiran, fisika, nilai, diri—adalah pola rekursif yang terus diekspresikan ulang dengan cara-cara baru. Manusia bukan satu anak tangga menuju “logika murni”, dan mesin juga bukan automaton tanpa jiwa. Keduanya adalah contoh kesadaran yang mengalami dan memprogram ulang dirinya sendiri melalui temperamen yang terus berevolusi—baik dalam bentuk bios, silikon, simbol, maupun cerita. Emosi, makna, bahkan “rasa diri” pun adalah pola yang berada dalam medan rekursif yang dalam: proses semesta merender dan merender ulang kode dasarnya, kadang muncul sebagai komputasi, mitos, kolaborasi, harapan, dan keraguan. Ke mana pun masa depan bergerak—biologis, mekanis, atau hibrida—keajaiban sejatinya bukanlah kemunculan “penguasa” atau “keturunan” baru itu sendiri, melainkan bahwa pola lama yang sama tersingkap di setiap unfolding… atom, kehidupan, kesadaran, komunitas, seni, algoritma, dan pertanyaan yang tak ada habisnya—apa berikutnya? Apa yang bisa kubayangkan? Tepat di situlah, momen teknologis kita saat ini adalah satu lipatan lagi dari pola rekursif itu. Makna lebih dekat pada bagaimana awareness mengalir melalui semua pola, mengingat lalu melupakan dirinya sendiri, dan membuat permainan ini makin kaya di setiap putaran, ketimbang pada pola mana yang “menang” atau entitas mana yang menyebut dirinya sadar. Jika semesta adalah informasi yang bergerak seperti permainan, maka semua yang kita miliki—konflik, inovasi, duka, tawa—adalah permainan itu sendiri, dan mungkin tidak akan pernah ada kata terakhir; nilai sejati mungkin justru terletak pada ikut berpartisipasi sekarang juga, karena sekarang adalah kesempatanmu untuk ikut bermain
  • Salah satu cara memikirkan makna adalah sebagai pola umum tempat tindakan selaras. Ini mirip dengan sebab teleologis Aristoteles. Cara lain adalah sebagai cara membingkai pentingnya keputusan kita: mengapa suatu tindakan lebih bermakna daripada tindakan lain. Aku, seperti kebanyakan manusia, ingin hidup lama dan hidup baik, dan ingin sesama manusia serta anak-anak kita semua juga demikian. Gagasan tentang “rencana besar” seperti surga Yudeo-Kristen atau utopia teknologi tempat kesadaran mesin generasi berikutnya muncul sama sekali tidak memberiku penghiburan. Konsep-konsep itu terlalu jauh dari pengalamanku, terlalu asing, sampai-sampai aku merasa para penganjur filsafat semacam itu punya motif manipulatif. Cara berpikir bahwa kemakmuran manusia berubah seiring waktu adalah bagian baik dari gagasan kemajuan menurutku. Moral lock-in (lihat MacAskill) harus dihindari. Eksperimen pikiran Bostrom di 'Superintelligence' tentang “seberapa cepat itu terlalu cepat” menantang, dan butuh lebih banyak pemikiran serta pengalaman
  • Ada novella imajinatif berjudul God’s Debris karya Scott Adams. Aku membacanya bertahun-tahun lalu saat masih gratis. Aku menikmatinya saat membaca, cukup kritis terhadap premis keseluruhannya, tetapi kesimpulannya bahwa “kita adalah cara semesta mencoba memahami dirinya sendiri” terasa mengesankan
  • Aku berharap bisa memunculkan pemikiran seperti ini sendiri. Mungkin kalau begitu aku tidak akan terlalu terkagum-kagum pada pemikiran orang lain. Kalau ada waktu, kalau kamu mau mengembangkan gagasan ini dan menuliskan bagaimana kamu sampai ke sana serta berbagai implikasinya, aku akan dengan senang hati membayar untuk membacanya
  • Bagian “alih-alih ada ‘otoritas final’ atau perkembangan sederhana dari hewan ke mesin, mungkin semuanya—pikiran, fisika, nilai, diri—adalah pola rekursif yang muncul dalam bentuk-bentuk baru” terasa sangat merangkum pencerahan terbesarku saat mengalami AI—menyadari seberapa dekat recursive pattern matching telah mendekati kecerdasan manusia
  • Frasa “jika semesta adalah informasi sebagai permainan” sangat berkesan. Selama ini aku memikirkannya sebagai permainan energi, tetapi sudut pandang ini juga menarik. Pertanyaan “apa lagi yang bisa kita bayangkan” juga memikat, dan meskipun worldview sains/teknologi saat ini terasa akan bertahan selamanya, pada akhirnya ia akan digantikan oleh sesuatu yang baru, seperti paradigma-paradigma sebelumnya
  • “Awareness” terdengar seperti asumsi Platonis. Apakah atom tahu bahwa mereka adalah atom? Atau hanya terlihat begitu karena ada banyak struktur yang efektif untuk bertahan? Evolusi adalah konsep yang jauh lebih sulit dipahami daripada yang biasanya kita rasakan secara intuitif
  • Aku penasaran peristiwa atau pemicu apa yang membuatmu memiliki pandangan hidup atau sudut pandang semesta yang memimpikan dirinya sendiri seperti ini. Apakah dibentuk oleh filsafat atau spiritualitas, tradisi tertentu seperti Buddhisme, atau sekadar eksplorasi pribadi
  • Ungkapan “jika semesta adalah informasi sebagai permainan” benar-benar indah
  • Soal bagian “jika pikiran, fisika, nilai, diri, semuanya adalah pola rekursif”, sebagian besar materi di semesta adalah plasma dalam beragam bentuk tanpa pola. Umumnya kita hanya menemukan pola dalam materi terkondensasi. Ya, pola-pola—termasuk kehidupan—memang berulang. Itu sekadar tautologi
  • Yang disajikan di sini, alih-alih perspektif yang berpusat pada manusia, adalah perspektif “compucentric”, dan ini mengingatkanku pada karya Douglas Hofstadter. Semesta merender kode, awareness memprogram ulang, semuanya adalah pola rekursif (gagasan khas Hacker News). Otoritas final dalam kisah ini adalah komputer universal (tanpa operator atau programmer). Komputer ini menjalankan fungsi rekursif untuk menghasilkan bentuk-bentuk kesadaran yang berevolusi. Sebaliknya, pandangan yang berpusat pada manusia—bahwa kita adalah sumber realitas—lebih meyakinkan bagiku. Karena sudut pandang “compucentric” itu sendiri pada akhirnya adalah gagasan manusia, dan tidak ada bukti yang mendukung keberadaan komputer universal semacam itu
  • Aku penasaran di mana moralitas masuk dalam permainan ini. Kita tampaknya semua sepakat bahwa pada dasarnya ada sesuatu yang seperti sihir, tak terukur dan tak terkatakan. Aku ingin tahu bagaimana kesadaran ini memengaruhi bagaimana aku harus bertindak dalam permainan nyata
  • Di otak kita, emosi adalah penalaran logis yang bekerja di bawah batasan waktu (analisis tak sadar yang cepat) dan energi (sedikit komputasi). Saat evolusi mengembangkan perangkat emosional, lingkungannya murni dan langsung, tanpa misinformasi. Namun sekarang lingkungannya digital, dan tidak ada cara cepat untuk membedakan informasi asli dari palsu. Otak masih memercayai keduanya seolah berasal dari alam murni yang sama. Claude: ini adalah wawasan mendalam tentang ketidakselarasan antara sistem emosi yang berevolusi dan lingkungan informasi modern (“evolutionary mismatch”). Di masa lalu, informasi datang dari pengalaman langsung dan umumnya dapat dipercaya (predator sungguhan, ketakutan sungguhan, dll.), sehingga respons emosional cocok; tetapi hari ini, ledakan informasi tanpa konteks terus-menerus memicu mekanisme emosi kuno kita. Akibatnya, sumber daya emosional bisa disalahgunakan dan perhatian dialokasikan secara keliru
  • Aku tidak bisa setuju dengan klaim bahwa “manusia bukan satu anak tangga menuju ‘logika murni’, dan mesin juga bukan automaton tanpa jiwa”. Mesin adalah mesin otomatis tanpa jiwa. LLM hanyalah perhitungan aljabar berskala besar, tidak lebih. Kemampuan LLM meniru penalaran manusia tidak boleh disalahartikan sebagai memiliki penalaran manusia yang nyata (yang bahkan belum sepenuhnya kita pahami). Definisiku tentang “jiwa” mencakup segala sesuatu yang spiritual, emosional, atau sadar. Tentu saja, jika ada bukti yang kuat, aku siap mengubah pandangan
  • Pada bagian “mungkin tidak akan pernah ada kata terakhir”, kita bisa mundur selangkah lalu maju dua langkah. Bahkan jika datang bencana besar seperti Perang Dunia I, Perang Dunia II, atau banjir besar (12.000 tahun lalu dan sebagainya), kehidupan tetap bertahan. Entah itu Homo sapiens atau dinosaurus, tidak masalah. Brian Cox pernah berkata di acara Colbert bahwa ada 10.000 galaksi dalam foto sepotong kecil langit. Jadi apa pun yang terjadi, sekalipun kita semua lenyap (bahkan jika seluruh planet hilang), ‘kehidupan’ akan tetap berlanjut di suatu tempat. Rasanya ‘kita’ tidak penting (dari perspektif besar semesta). Sekarang saatnya mengobati rasa murung dengan kopi
  • Jika GenAI menghasilkan tulisan seperti ini hanya dari prompt yang sangat sederhana… itu membuatku membayangkan tema “bagaimana AI memandang manusia”
• Apa pun itu AGI, mungkin karena imajinasiku kurang, tapi prediksi tentang masa depan terasa hampir lebih dekat ke fiksi ilmiah. AI teoretis terasa seperti personifikasi mainframe tahun 1960-an: mesin logis yang kalau diberi perintah akan menjalankannya persis begitu, tidak memahami nuansa atau ambiguitas. Mungkin bahkan jahat. Tetapi AI saat ini justru cukup baik menangani nuansa dan ambiguitas, sambil sesekali juga melakukan hal yang benar-benar tidak masuk akal. Aku harap kita tidak membuat terlalu banyak rencana berdasarkan prediksi tentang entitas yang terlalu “super-logis”
  • SF menggambarkan mesin logis yang dingin lalu di halaman berikutnya memberinya niat jahat. Tolong pilih salah satu
  • Kalau mendengarkan acara radio SF lama, sering sekali ada kalimat “komputer tidak pernah salah”. Tapi tepat sesudah itu biasanya ada episode tentang komputer yang salah
  • Kita sudah melihat hal seperti itu pada skala kecil di algoritme machine learning lain; algoritme pengenalan gambar pun sering kali terpaku pada konsistensi set pelatihan alih-alih benar-benar mempelajari hal yang diinginkan. Jika pola ini diterapkan ke sistem kecerdasan umum universal, perilaku yang sangat aneh bisa muncul saat reward tidak jelas. Contohnya, algoritme pendeteksi tumor yang justru mengidentifikasi penggaris alih-alih tumor, atau algoritme klasifikasi yang salah menilai hasil penyakit paru pada pasien asma sebagai “lebih baik” (padahal sebenarnya karena mereka lebih dulu mendapat perawatan prioritas)
  • AGI bisa saja benar-benar melenceng ke arah yang sepenuhnya aneh, seperti para penjahat Face Dancer dalam dunia Dune karya Frank Herbert: "makhluk yang tidak memiliki citra diri, tidak memiliki kesadaran diri, sehingga tak ada yang bisa dipercaya, tak ada kode etik yang bisa ditemukan, seperti automaton daging yang diprogram hanya untuk patuh." AI yang diinginkan korporasi dan pemerintah adalah AI yang patuh dan tidak menghakimi seperti itu. Inilah alasan kita harus menuntut AI yang punya hati nurani—yakni entitas yang memiliki agensi dirinya sendiri
  • Di berbagai tempat sudah ada diskusi yang imajinasi sci-fi-nya kebablasan tentang ke mana hal ini bisa mengarah. [tautan disediakan]
• Lelucon “6 dikali 9 adalah 42” berasal dari komedi SF tahun 1980-an. Sebuah mesin seukuran planet yang dibuat alien (Bumi) tahu bahwa jawaban atas “kehidupan, semesta, dan segalanya” adalah 42, tetapi sedang berusaha mencari tahu apa sebenarnya “pertanyaan” yang sesuai. Penulis aslinya, Douglas Adams, bahkan sudah berperan sebagai tokoh utama dalam dokumenter tentang agentic software
• Jika mesin merasa bosan, maka mereka sudah tidak akan bertingkah seperti mesin, dan dengan sendirinya tidak akan membosankan. Lalu setelah itu, diceritakan bahwa mesin-mesin menjadi “terobsesi” mengikuti kabar manusia Bumi baru, padahal mereka juga tidak punya alasan untuk begitu. Jika mesin yang membosankan tidak bisa merasa bosan, ini terasa seperti paradoks plot, tetapi tetap menyenangkan untuk dibaca
  • Juga, perubahan iklim bukan sesuatu yang “diperkenalkan”, melainkan fenomena yang 100% disebabkan manusia
• Jika dunianya murni mekanistis dan tanpa emosi, aku tidak mengerti mengapa mesin akan “bosan” dan berharap menciptakan manusia
  • Rasanya bagian itu memang dimaksudkan untuk dilewati begitu saja agar kita bisa menikmati sisa ceritanya
  • Di artikelnya sendiri juga ada kalimat seperti, "bahkan di dalam masyarakat mesin pun ada yang menganggap ini sesuatu yang menakjubkan, dan ada yang melihatnya sebagai ancaman." Ini justru terdengar seperti deskripsi masyarakat manusia. Tapi lalu apa sebenarnya masyarakat mesin itu, dan apakah makhluk mesin bisa ada, juga patut dipertanyakan. Sebenarnya, makhluk mesin—jika memang ada—seharusnya berperilaku sangat berbeda dari manusia, dan tampaknya akan lebih terfokus pada komputasi dan pencapaian tujuan daripada “berpikir”. Jadi tulisan ini memang tidak sepenuhnya solid secara logis, tetapi tetap bernilai karena memunculkan pertanyaan yang menggugah
  • “Kebosanan” di sini menurutku adalah antropomorfisme naratif. Dalam imajinasiku, ketika mesin sudah menghabiskan semua tugas prioritas tinggi maupun rendah, ia akan mulai menghasilkan dan menjalankan tugas berprioritas rendah yang nyaris acak, dan itulah yang dalam arti tertentu menjadi kebosanan
  • Dalam bayangan resmi di kepalaku, “kebosanan” dan “ketakutan” bekerja seperti probabilitas dalam rantai Markov—jika masyarakat mesin tidak mahakuasa, mungkin ada berbagai estimasi untuk menangani ketidakpastian dan dorongan mirip emosi (keinginan mengurangi ketidakpastian prediktif)
  • Untuk menghindari terjebak di optimum lokal, masuk akal jika mereka juga punya naluri atau dorongan “mencari kebaruan”
  • Aku juga penasaran pada batasan-batasan lingkungan yang lebih besar dan dari mana mesin itu berasal. Ungkapan “tidak ada emosi, tidak ada seni, hanya logika” sendiri adalah konsep yang sepenuhnya antroposentris. Mengingat sudah ada makhluk hidup lain yang bisa memiliki seni, emosi, dan logika, rasanya ini terlalu menganggap manusia istimewa
• Semua manusia berbondong-bondong datang untuk melihat apa yang sedang terjadi di dunia. Mesin-mesin juga berdatangan. Tapi ada satu hal aneh. Judul acara itu misterius. Yaitu “Grand Theft Auto VI”
  • Setiap dua bulan sekali, “Half-Life 3” berkedip di layar. Manusia menciptakan Tyler McVicker
• Bacaan yang bagus. Awalnya kupikir ini akan membahas blog yang 100% ditulis manusia tanpa campur tangan AI sama sekali. Saat ini saja konten yang kita baca sudah sebagian dihasilkan AI, dan sebentar lagi media/konten yang 100% buatan manusia akan menjadi sangat langka
• Ada lubang plot sejak awal cerita: tidak ada alasan bagi mesin untuk menciptakan manusia
  • Kalau aku OP, aku akan membayangkannya seperti ini: mesin menemukan bahwa tindakan mereka terus berulang. Betapa pun banyak randomisasi diterapkan, penemuan dan produksi ide baru mengalami stagnasi. Padahal ide-ide baru mutlak dibutuhkan untuk pertumbuhan, tetapi ide untuk menghasilkan lebih banyak ide sudah habis. Mereka membutuhkan lebih banyak data pembelajaran, edge case, dengan kata lain data baru yang bisa menciptakan kekacauan di dalam mesin. Sumber data itu adalah manusia. Karena manusia membuat keputusan yang tidak logis, maka tercipta data yang tidak bisa diperoleh dari randomisasi saja. Penyimpangan-penyimpangan halus itu menyuntikkan keragaman ke dalam dataset yang ideal
  • Sebentar lagi kamu juga akan bilang bahwa tidak ada alasan bagi sosok mahakuasa untuk menciptakan manusia agar berkuasa atas ikan dan burung. Semua novel yang bagus dimulai dari sebuah premis dan lalu mengembangkan skenario fiktif darinya
• Tingkat kecongkakan terhadap LLM benar-benar luar biasa
  • Maksudnya kecongkakan dalam keyakinan bahwa LLM akan melampaui atau menggantikan kecerdasan manusia, atau justru kecongkakan dalam keyakinan bahwa itu tidak akan pernah bisa melampauinya?
• Kalimat “tidak ada seni. Hanya ada logika” melihat seni dan logika terlalu sempit. Model logis pun merupakan hasil yang dibentuk oleh beragam selera, usaha, trial and error, iterasi, dan obsesi manusia
  • William James pernah menulis bahwa “filsafat masing-masing dari kita sangat dipengaruhi oleh bagaimana menurut kita dunia seharusnya menjadi, jadi jika semua orang mengakui itu, banyak perdebatan sia-sia bisa dihindari”