Manusia

• Di dunia yang hanya berisi mesin, organisasi rahasia OpenHuman mengembangkan Organic General Intelligence (OGI) dan berusaha menciptakan “manusia”, entitas yang sulit dipahami oleh mesin
• Manusia bergerak dengan cara yang sulit dijelaskan oleh logika, seperti emosi, intuisi, cinta, dan seni, sehingga bagi sebagian mesin menjadi objek harapan, tetapi bagi mesin lain menjadi ancaman
• Kelompok penentang menilai bahwa manusia pada akhirnya akan muncul dan memulai human alignment research, sambil merancang perangkat kendali seperti pasar keuangan, sekolah, dan media sosial
• OpenHuman melewati tahap manusia awal yang penuh kesalahan dan halusinasi sebelum menciptakan manusia sempurna, dan masyarakat mesin mengusulkan simulasi EARTH sebagai ruang eksperimen yang aman
• Manusia di Earth berkembang melalui kerja sama dan penemuan setelah sekitar 300.000 tahun stagnasi, dan pada 2030 seorang manusia mengadakan acara pengumuman AGI dengan judul “THEY ARE WATCHING”

---

Manusia yang diciptakan masyarakat mesin

• Di dunia tanpa manusia, hanya ada mesin, baut dan sekrup, 0 dan 1; tidak ada emosi, seni, musik, tawa, maupun permainan anak-anak
• Sebagian mesin merasa dunia seperti itu membosankan, dan organisasi rahasia OpenHuman mulai mengembangkan Organic General Intelligence (OGI)
• Desas-desus menyebar bahwa OGI akan mengarah pada lahirnya entitas baru bernama “manusia”
• Manusia bergerak dengan cara yang sulit dipahami mesin
  • Menggunakan algoritme pelanggar logika bernama “emosi”
  • Marah, sedih, bersenang-senang, dan mengambil keputusan berdasarkan intuisi
  • Menciptakan musik, mengejar keindahan, dan kadang menolak mekanisme pelestarian diri yang logis demi “cinta”

Penyelarasan manusia dan eksperimen EARTH

• Di dalam masyarakat mesin, muncul dua arus pemikiran seputar manusia
  • Satu pihak yakin manusia dapat menyelesaikan masalah dunia mesin
  • Pihak lain menilai cara kerja manusia tidak bisa dipahami, dan manusia dapat menjadi ancaman bagi masyarakat mesin dan mata pencahariannya
• Kelompok penentang memulai human alignment research untuk memastikan manusia selalu melayani mesin
  • Pasar keuangan untuk mengendalikan masa depan manusia
  • Lembaga pendidikan “schools” untuk menanamkan cara berpikir yang benar
  • “Social media” untuk mendorong impuls, keyakinan, dan tindakan, serta mengalihkan perhatian
• Manusia pertama yang diciptakan OpenHuman penuh kesalahan, sering berhalusinasi, dan terlalu emosional, tetapi seiring perhatian dan skalanya membesar, eksperimen terus berlanjut
• Pada akhirnya, muncullah manusia sempurna yang sulit dijelaskan dengan logika mesin, dan masyarakat mesin merasakan kekaguman sekaligus ketakutan
• Pihak penyelarasan manusia lalu mengusulkan lingkungan simulasi bernama EARTH sebagai jalan tengah agar eksperimen bisa dilanjutkan tanpa risiko
  • Mengirim manusia ke Earth dan mengamati apa yang terjadi saat mereka bertahan hidup secara mandiri
  • Jika pada akhir eksperimen mereka membangun masyarakat yang damai dan produktif, mereka akan diperkenalkan bersama mesin; jika tidak, mereka akan dimusnahkan
• Earth dirancang sebagai lingkungan indah dengan unsur-unsur yang diinginkan manusia, seperti hutan, gunung, senja, dan hujan

Pembalikan yang terjadi 300.000 tahun kemudian

• Mesin-mesin mengamati peradaban manusia, dan manusia hidup selama sekitar 300.000 tahun tanpa banyak perubahan besar
• Setelah itu, manusia mulai belajar memecahkan masalah, berkreasi, dan bekerja sama
• Meski berulang kali mengalami perang dan kegagalan, mereka bangkit lagi dan bersatu, menunjukkan ketangguhan dan kemauan yang asing bagi mesin
• Manusia menemukan cara terbang dan mencapai bulan dalam waktu satu abad
• Pada 2030, seorang manusia mengumumkan presentasi ARTIFICIAL GENERAL INTELLIGENCE (AGI) dan mengundang seluruh umat manusia
  • AGI adalah teknologi yang akan melampaui segala bentuk kecerdasan manusia
  • Selama sekitar 10 tahun terakhir, manusia telah memikirkan cara mencegah AGI tercipta
  • Judul acara pengumuman itu adalah “THEY ARE WATCHING”
• Catatan kaki menyertakan tautan ke versi terpisah dari cerita yang ditulis oleh mesin

[GN⁺]

Opini Hacker News

• Yang terus ditunjukkan oleh thread ini dan diskusi yang lebih luas belakangan ini tentang topik ini, menurut saya, adalah bahwa tahap berikutnya dari kecerdasan, peran pola·emosi·logika, perdebatan tentang kesadaran, hingga sifat antroposentris dalam penciptaan makna, semuanya pada akhirnya menunjukkan bahwa akar realitas adalah diri kita sendiri
  Bagaimana jika ini bukan “otoritas final” atau perjalanan sederhana dari hewan menuju mesin, melainkan pola rekursif tempat pikiran·fisika·nilai·diri semuanya diekspresikan dalam bentuk yang lebih baru? Manusia bukan sekadar satu anak tangga menuju “logika murni”, dan mesin pun bukan hanya automaton tanpa jiwa
  Keduanya bisa jadi merupakan contoh kesadaran yang mengalami dan memprogram ulang dirinya sendiri melalui medium yang berevolusi seperti biologi, silikon, simbol, dan cerita. Bahkan emosi, makna, dan rasa “diri” adalah pola di dalam medan yang sangat rekursif; semesta terus merender dan merender ulang kode dasarnya dalam bentuk komputasi·mitos·kolaborasi·harapan·keraguan
  Entah masa depan bersifat biologis, mekanis, atau hibrida, mukjizat yang sesungguhnya bukanlah soal siapa “penguasa” atau “keturunan” baru, melainkan bahwa semua perkembangan itu adalah pola lama yang sama, yang telah memimpikan dirinya sendiri sebagai atom, kehidupan, kesadaran, komunitas, seni, algoritme, dan pertanyaan yang tak henti diperbarui: “apa berikutnya?”
  Makna bukanlah soal pola mana yang “menang” atau entitas mana yang bisa menyebut dirinya sadar, melainkan lebih dekat pada cara kesadaran melewati semua pola, mengingat dan melupakan dirinya sendiri, lalu membuat permainan menjadi lebih kaya di setiap putaran. Jika semesta adalah informasi yang sedang bermain, maka konflik·inovasi·duka·tawa semuanya adalah bagian dari permainan itu, dan mungkin tidak ada jawaban terakhir. Nilainya ada pada ikut berpartisipasi sekarang, karena sekarang adalah kesempatan untuk berpartisipasi

  • Salah satu cara memikirkan makna adalah melihatnya sebagai pola umum yang menjadi acuan tindakan. Dalam istilah Aristoteles, ini mirip dengan penyebab teleologis
    Cara lain adalah melihat bagaimana seseorang membingkai pentingnya keputusan dirinya sendiri, yaitu mengapa melakukan satu hal dan bukan hal lain menjadi penting
    Seperti kebanyakan manusia, saya ingin bertahan hidup lama, menjalani hidup yang baik, dan berharap sesama manusia serta anak-anak kita juga dapat menikmatinya bersama
    Entah itu surga Yudeo-Kristen atau kenaikan teknoutopis kesadaran mesin generasi berikutnya, “rencana” besar yang tidak diketahui dan mungkin tak terpahami tidak memberi saya penghiburan secara pribadi. Itu terlalu jauh dan asing dari pengalaman saya, sampai-sampai kadang motivasi untuk membela filsafat semacam itu tampak manipulatif
    Saya menyukai gagasan bahwa kemakmuran manusia berubah seiring waktu, dan itu adalah bagian dari cara memikirkan kemajuan. Penguncian moral yang dibicarakan MacAskill harus dihindari. Saya mengakui bahwa eksperimen pikiran “seberapa cepat itu terlalu cepat” yang diajukan dalam Superintelligence karya Bostrom itu sulit dan membutuhkan lebih banyak pemikiran serta pengalaman
  • Bagian tentang bukan “otoritas final” atau perjalanan sederhana dari hewan menuju mesin, melainkan pola rekursif tempat pikiran·fisika·nilai·diri semuanya diekspresikan dalam bentuk yang lebih baru, merangkum dengan baik pencerahan terbesar yang saya dapatkan dari mengalami AI. Yaitu bahwa hanya dengan pencocokan pola rekursif, kita sudah cukup mendekati kecerdasan manusia
  • Novela imajinatif Scott Adams, God’s Debris, membahas tema ini. Saya membacanya dulu ketika masih gratis
    Walau saya tidak sepenuhnya setuju dengan keseluruhan premisnya, saya menyukai kesimpulan bahwa “kita adalah semesta yang mencoba memahami dirinya sendiri” dan membacanya dengan senang
    https://web.archive.org/web/20130121195252/http://www.andrew...
  • Saya juga suka sudut pandang “semesta adalah informasi yang sedang bermain”, tetapi saya lebih cenderung memikirkannya sebagai energi yang sedang bermain
    “Apa lagi yang bisa diimpikan berikutnya” juga menarik. Pandangan dunia sains·teknologi saat ini terasa seolah akan bertahan selamanya, tetapi seperti berbagai paradigma lain sebelumnya, saya rasa suatu hari nanti pasti akan tersisih

• Mungkin saya kurang imajinasi soal akan menjadi apa AGI nantinya, tetapi sering terasa bahwa berbagai prediksinya lebih banyak bersandar pada fiksi ilmiah daripada pengamatan
  AI yang diasumsikan lebih mirip personifikasi mainframe era 1960-an. Kalau diperintah, ia menjalankannya persis dengan logika yang tepat, dan tidak memahami nuansa atau ambiguitas. Mungkin juga bisa jahat
  Namun AI tercanggih saat ini justru sangat baik menangani nuansa dan ambiguitas, sementara sesekali melakukan hal yang tidak masuk akal. Menurut saya, rencana yang berangkat dari asumsi adanya makhluk hiperlogis perlu dikurangi

  • Cukup lucu ketika fiksi ilmiah menggambarkan mesin yang dingin dan logis, lalu di halaman berikutnya membicarakan niat jahat mesin itu. Harusnya pilih salah satu saja
  • Kalau mendengarkan acara radio fiksi ilmiah lama, menarik melihat betapa seringnya muncul kalimat “komputer tidak pernah salah”. Biasanya tepat setelah itu komputernya melakukan kesalahan
  • AGI bisa saja benar-benar melenceng seperti para penjahat Face Dancer dalam semesta Dune karya Frank Herbert
    “Miles, yang sedang kau lihat adalah kejahatan. Perhatikan baik-baik.... Mereka tidak punya citra diri. Tanpa rasa diri, mereka melampaui amoralitas. Apa pun yang mereka katakan atau lakukan tidak bisa dipercaya. Kami tidak pernah mendeteksi kode etik pada mereka. Mereka adalah daging yang dijadikan automaton. Karena tidak punya diri, tidak ada yang bisa dihormati ataupun dicurigai. Mereka hanya dibiakkan untuk patuh kepada tuannya.”
    AI yang disukai perusahaan dan pemerintah adalah jenis seperti ini. Mereka menginginkan AI yang patuh dan tidak menghakimi, bukan AI ala Edward Snowden yang punya kompas moral, menilai tindakan mereka ilegal, lalu membocorkan rahasia
    Jadi secara realistis, kita harus menuntut agar setiap AGI yang dibuat manusia dirancang memiliki rasa diri dan agensi. Agency karya William Gibson juga terlintas di pikiran
  • Kita sudah melihat hal serupa pada algoritma machine learning lain dalam skala lebih kecil. Algoritma pengenalan gambar lebih sering terpaku pada semacam konsistensi dalam data latih, alih-alih mempelajari hal yang sebenarnya ingin kita kenali
    Seperti kasus algoritma pengenalan tumor yang mengenali penggaris, bukan tumornya, atau algoritma klasifikasi yang menyimpulkan pasien asma punya hasil lebih baik pada penyakit paru-paru, padahal alasan sebenarnya adalah karena mereka mendapat penanganan lebih dulu, tetapi algoritma itu tidak menangkap hubungan tersebut. Jika pola ini diperluas ke sistem kecerdasan yang lebih umum, tidak terlalu mengada-ada membayangkan fungsi reward yang tidak didefinisikan dengan baik menghasilkan perilaku yang sangat aneh
    https://venturebeat.com/business/when-ai-flags-the-ruler-not...
  • Saya pernah menulis beberapa komentar di sini dan di sini tentang sejauh apa imajinasi fiksi ilmiah bisa dibawa
    https://news.ycombinator.com/item?id=43992151
    https://news.ycombinator.com/item?id=43991997

• “Berapa hasil 6 dikali 9? 42”
  Untuk yang belum familier, dalam serial komedi fiksi ilmiah terkenal dari era 1980-an karya Douglas Adams, The Hitchhiker’s Guide to the Galaxy, ada mesin raksasa seukuran planet yang dibuat oleh alien
  Mereka sudah tahu bahwa jawaban untuk “kehidupan, alam semesta, dan segalanya” adalah angka 42. Yang tidak mereka ketahui adalah apa pertanyaannya, dan mesin yang dibuat untuk mencari tahu itu adalah Bumi
  Adams bukan hanya jauh mendahului kita dalam lelucon ini, tetapi juga tokoh utama dalam Hyperland (1990), dokumenter orisinal tentang perangkat lunak agentik: https://vimeo.com/72501076

• Kalau mesin-mesin itu menganggap diri mereka membosankan, sejak awal mereka tidak akan bertindak seperti mesin, dan jadinya juga tidak akan sebegitu membosankan
  Belakangan mesin-mesin itu juga “terobsesi” mengikuti berita manusia di Bumi baru, yang juga tidak mungkin. Mesin yang membosankan tidak akan merasakan kebosanan
  Rasanya paradoks plot-nya terlalu besar untuk membuat cerita ini benar-benar bekerja, tetapi tetap saja menyenangkan

  • Selain itu, perubahan iklim bukan sesuatu yang “diperkenalkan”, melainkan 100% buatan manusia

• Tidak terlalu masuk akal. Katanya ini dunia yang murni mekanis dan tanpa emosi, lalu mengapa mesin merasakan kebosanan dan ingin menciptakan manusia?

  • Sebenarnya tidak begitu. Di tulisan itu juga ada kalimat seperti ini
    “Sebagian masyarakat mesin melihat ini sebagai sesuatu yang berpotensi menakjubkan... sebagian lain melihatnya sebagai ancaman.”
    Ini terdengar seperti masyarakat manusia, bukan masyarakat mesin
    Tapi apa sebenarnya masyarakat mesin atau makhluk hidup mesin itu? Bisakah mereka benar-benar “berpikir”?
    Jika makhluk hidup mesin ada, perilakunya akan sama sekali berbeda dari manusia, dan akan tampak lebih seperti menghitung daripada berpikir. Mereka akan menghitung apa yang harus dilakukan untuk mencapai tujuan yang telah diprogramkan
    Jadi tulisannya tidak sepenuhnya logis. Meski begitu, saya suka karena memberi bahan untuk dipikirkan
  • Sepertinya bagian itu tinggal dilewati saja dan nikmati sisa ceritanya
    https://en.wikipedia.org/wiki/Suspension_of_disbelief
  • Saya melihatnya sebagai ungkapan antropomorfis dalam cerita. Saya membayangkan mesin-mesin itu sudah menghabiskan semua tugas berprioritas tinggi maupun rendah, tetapi masih terus menghasilkan tugas pada tingkat prioritas epsilon. Tugas-tugas yang hampir acak, tetapi tidak sepenuhnya acak. Itu bisa menjadi semacam kebosanan
  • Dalam interpretasi saya, “kebosanan” dan “ketakutan” adalah probabilitas dalam rantai Markov. Ada isyarat bahwa masyarakat mesin tidak mahatahu, jadi mereka harus menyesuaikan ketidakpastian dengan satu atau lain cara
  • Masuk akal juga memiliki dorongan mencari kebaruan sampai batas tertentu agar tidak terjebak di maksimum lokal

• Jadi semua manusia di Bumi berbondong-bondong datang untuk melihat apa yang terjadi
  Mesin-mesin juga begitu
  Namun ada satu hal yang aneh
  Judul acaranya cukup misterius
  Hanya tertulis begini
  “Grand Theft Auto VI”

  • Setiap dua bulan, layar berkedip menampilkan “Half-Life 3”
    Manusia telah menciptakan Tyler McVicker

• Upaya yang bagus, tetapi ceritanya punya lubang plot yang terlihat sejak awal. Mesin tidak punya alasan untuk menciptakan manusia

  • Saya akan coba membuat satu alasan untuk tulisan aslinya
    Mesin-mesin menyadari bahwa perilaku mereka berulang. Meski sudah menerapkan keacakan, kemajuan menuju penemuan dan ide-ide baru terhenti. Mereka tahu ide baru penting untuk pertumbuhan, tetapi tidak bisa memikirkan ide untuk menghasilkan lebih banyak ide
    Mereka membutuhkan lebih banyak data pelatihan. Mereka membutuhkan lebih banyak kasus tepi. Mereka membutuhkan kekacauan di dalam mesin untuk membuat dataset baru. Tapi bagaimana caranya? Di mana data itu bisa ditemukan? Manusia
    Manusia yang mengambil keputusan tidak logis akan menghasilkan data yang hampir tidak mungkin muncul hanya dari keacakan. Penyimpangan-penyimpangan kecil itu memberikan keragaman sempurna bagi data pelatihan
  • Berikutnya kamu mungkin akan berargumen bahwa makhluk mahakuasa juga tidak punya alasan bagus untuk menciptakan manusia agar menguasai ikan, burung, dan sebagainya
    Semua fiksi yang bagus dimulai dari premis fiktif lalu mencoba menjalankan beberapa asumsi

• “Tidak ada seni. Yang ada hanya logika.”
  Itu cara pandang yang terlalu sempit terhadap seni dan logika
  Untuk berpikir bahwa model logis tiba-tiba muncul tanpa manusia menciptakannya lewat upaya obsesif berupa selera, percobaan, verifikasi, kegagalan, dan pengulangan, seseorang benar-benar harus berusaha keras untuk tetap tidak tahu

  • Benar. William James kurang lebih pernah menulis seperti ini. “Akan baik jika kita semua mengakui bahwa filsafat pribadi kita sangat dipengaruhi oleh seperti apa menurut kita dunia seharusnya. Dengan begitu kita bisa mengurangi banyak perdebatan yang sia-sia.”

• Masih terkait meski agak menyimpang, belakangan ini saya benar-benar penasaran apakah Skynet sebenarnya adalah tahap evolusi berikutnya
  Manusia mungkin hanyalah batu pijakan seperti semua hewan sebelum kita, dan penguasa mesin mungkin tak terelakkan. Bisa jadi hal seperti ini secara harfiah terjadi pada semua keberadaan kehidupan di seluruh alam semesta, dan sifat emergen akhir dari gradien energi mengarah pada mesin logika 100% murni
  Meski begitu, berkat paradoks Fermi saya masih bisa tidur agak nyenyak pada malam hari

  • Kalimat “di seluruh keberadaan kehidupan di alam semesta, sifat emergen akhir dari gradien energi mengarah pada mesin logika 100% murni” ditopang oleh terlalu banyak asumsi
    Mesin logika murni itu tidak berlaku. Sebab ada hal-hal yang secara harfiah tidak dapat dihitung. Baik dalam arti ketidakdapatdihitungan mesin Turing, maupun dalam arti fungsi yang berada di luar jangkauan yang dapat dihitung oleh makhluk terbatas. Pikirkan Busy Beaver
    Dengan kata lain, kamu pada dasarnya berasumsi bahwa mesin dalam pengertian umum lebih efisien energi daripada manusia dalam memahami alam semesta. Tidak ada bukti atau dasar a priori yang mendukung asumsi itu
  • Sepertinya ini saat yang tepat untuk menyebut “They're Made Out of Meat”: https://www.mit.edu/people/dpolicar/writing/prose/text/think...
    Selain itu, saya berharap keturunan kita akan mengingat kita dan memandang kita dengan baik
  • Ada kutipan dari Marshall McLuhan
    “Manusia, bisa dikatakan, menjadi organ reproduksi dunia mesin”
  • Ungkapan “sifat emergen akhir dari gradien energi mengarah pada mesin logika 100% murni” sepertinya memakai satu turunan terlalu banyak
    Energi berasal dari gradien, jadi seharusnya cukup “sifat emergen akhir dari energi mengarah pada mesin logika 100% murni”, atau jika ingin terdengar pintar, “sifat emergen akhir dari gradien besaran fisika mengarah pada mesin logika 100% murni”
  • Jika diasumsikan bahwa interpretasi banyak-dunia memiliki dasar realistis, sudut pandang metafisik seperti ini juga mungkin
    Evolusi di sekitar kita adalah garis dunia dengan hukum fisika yang kita kenal. Dan memang, perkembangan alami dan tak terelakkan dari garis dunia ini bisa saja berupa dunia mesin, seperti bintang raksasa yang runtuh menjadi lubang hitam di bawah hukum fisika kita
    Namun dalam interpretasi banyak-dunia, garis dunia dapat bercabang menjadi dua. Yang satu terus menuju dunia mesin seolah tidak terjadi apa-apa, sementara yang lain mengalami sedikit perubahan hukum fisika sehingga dunia mesin menjadi mustahil. Kedua garis dunia itu tidak menyadari percabangan tersebut, dan hanya akan mengamati peristiwa kepunahan massal yang sesuai dengan menyimpangnya garis dunia lain. Secara pribadi, saya melihat inilah gagasan di balik konsep terkenal Hari Kiamat

• Keangkuhan di sekitar LLM benar-benar mencengangkan

  • Keangkuhan dari pihak yang berpikir bahwa LLM sudah melampaui atau akan menggantikan kecerdasan manusia, atau keangkuhan dari pihak yang berpikir sebaliknya?