Ensiklik Paus Leo XIV, Magnifica Humanitas

• Magnifica Humanitas menuntut pilihan untuk membangun kembali Yerusalem, bukan Menara Babel, di titik balik ketika AI, digitalisasi, dan robotika mengguncang martabat manusia dan kebaikan bersama
• Ajaran sosial Gereja, bertepatan dengan 135 tahun Rerum Novarum, menerapkan prinsip-prinsip tentang kerja, upah yang adil, subsidiaritas, solidaritas, dan tujuan universal barang pada kekuasaan teknologi masa kini
• AI bukan alat yang netral, melainkan mencerminkan pilihan para perancang, pemilik modal, dan regulator, serta tanpa akuntabilitas, transparansi, dan kendali manusia dapat melanggar hak dan kebebasan
• Ekonomi digital dapat menciptakan kerja tersembunyi dan eksploitasi seperti pelabelan data, moderasi konten, penambangan sumber daya, dan kolonialisme data, sehingga diperlukan tanggung jawab rantai pasok dan platform
• Ukuran kemajuan bukanlah efisiensi dan kontrol, melainkan apakah itu membuat manusia menjadi lebih manusiawi, dan peradaban kasih harus dibangun melalui pendidikan, kerja, perdamaian, multilateralisme, dan kepedulian

---

Masa transisi teknologi dan tugas ajaran sosial Gereja

• Umat manusia berdiri di titik balik untuk memilih apakah akan membangun Menara Babel yang baru atau membangun kota tempat Allah dan manusia tinggal bersama
• Digitalisasi, AI, dan robotika sedang mengubah struktur kehidupan sehari-hari, proses pengambilan keputusan, dan imajinasi kolektif dengan cepat dan mendalam
• Teknologi dapat menyembuhkan, menghubungkan, mendidik, dan melindungi rumah bersama, tetapi pada saat yang sama juga dapat menciptakan perpecahan, pengucilan, dan ketidakadilan baru
• Teknologi tidak secara abstrak baik atau jahat, tetapi dalam kenyataannya ia mencerminkan pilihan orang-orang yang merancang, mendanai, mengatur, dan menggunakannya, sehingga tidak netral
• Pilihan utamanya bukan sekadar pro atau kontra terhadap teknologi, melainkan apakah akan membangun Babel efisiensi yang mengorbankan yang lemah, atau membangun kembali Yerusalem dengan beragam suara dan tanggung jawab bersama
• Ensiklik tahun 1891 dari Pope Leo XIII, Rerum Novarum, menempatkan kerja, martabat pekerja, upah yang adil, dan nilai manusia yang melampaui modal di garis depan
• Tahun ini, 135 tahun Rerum Novarum menjadi momentum untuk menerapkan prinsip-prinsip ajaran sosial seperti kerja, subsidiaritas, solidaritas, dan tujuan universal barang pada kekuasaan teknologi masa kini dan ekonomi digital

Menara Babel dan Yerusalem

• Menara Babel dalam Kitab Kejadian memperlihatkan upaya memperoleh stabilitas, kekuatan, dan “nama bagi diri sendiri” tanpa merujuk kepada Allah
• Babel bertumpu pada keseragaman yang menghapus keragaman, dan ketika dibangun di atas kesombongan serta pemenuhan diri, ia berakhir pada runtuhnya komunikasi dan tercerai-berainya manusia
• Pembangunan kembali tembok Yerusalem dalam Kitab Nehemia dihadirkan sebagai gambaran membangun kembali reruntuhan melalui puasa, doa, mendengarkan, pembagian peran, dan tanggung jawab bersama
• Yerusalem lahir kembali bukan dari inisiatif satu orang, melainkan melalui pembangunan kembali yang melibatkan laki-laki dan perempuan, imam, perajin, kepala keluarga, dan kaum muda
• Pelayaran yang bertanggung jawab di era AI lebih dekat dengan jalan Yerusalem yang memulihkan relasi dan dibangun bersama demi kebaikan bersama, bukan Babel yang memamerkan kekuatan teknologi

Prinsip-prinsip utama ajaran sosial

• Martabat manusia dimiliki setiap orang semata-mata karena ia manusia, tanpa bergantung pada kemampuan, kekayaan, status, prestasi, atau pilihan
• Hak asasi manusia bukan unsur luar yang ditempelkan pada manusia, melainkan ungkapan dari martabat yang melekat, dan harus bersifat universal, tidak dapat dicabut, serta memiliki dampak hukum yang nyata
• Kebaikan bersama dipaparkan sebagai keseluruhan kondisi sosial yang memungkinkan orang mencapai penyempurnaan diri secara lebih utuh dan lebih mudah
• Hak milik pribadi memiliki makna dan tujuan, tetapi selalu tunduk pada tujuan universal barang, dan kini harus diterapkan juga pada bentuk-bentuk barang baru seperti paten, algoritme, platform digital, infrastruktur teknologi, dan data
• Subsidiaritas adalah prinsip bahwa otoritas yang lebih tinggi tidak boleh mengambil alih apa yang dapat dilakukan oleh individu, keluarga, komunitas lokal, dan organisasi menengah; di era digital prinsip ini juga berlaku pada kekuasaan platform, data, dan algoritme
• Solidaritas adalah pengakuan konkret bahwa masa depan setiap orang terhubung dengan masa depan semua orang, dan ketika dipadukan dengan subsidiaritas, hal itu memungkinkan kerja sama sosial yang bertanggung jawab
• Keadilan sosial menjangkau struktur, mekanisme, dan sistem ekonomi-budaya yang secara otomatis menghasilkan ketimpangan; di era digital ini mencakup akses teknologi, pengawasan, bias algoritmik, serta perlindungan bagi migran dan pengungsi

AI dan paradigma teknokratis

• Pope Francis dalam Laudato Si’ mengkritik paradigma teknokratis di mana logika efisiensi, kontrol, dan keuntungan mendominasi keputusan pribadi, sosial, dan ekonomi
• Kendali atas platform, infrastruktur, data, dan daya komputasi dalam banyak kasus terkonsentrasi bukan pada negara, melainkan pada aktor-aktor ekonomi dan teknologi utama
• Mereka membentuk syarat akses, aturan visibilitas, dan bahkan kemungkinan untuk berpartisipasi, dan semakin besar kekuasaan terkonsentrasi pada segelintir pihak, semakin besar pula risiko ketergantungan, pengucilan, manipulasi, dan ketimpangan
• Sistem AI dapat meniru fungsi-fungsi tertentu dari kecerdasan manusia dan melampaui manusia dalam kecepatan serta kemampuan komputasi, tetapi ia tidak mengalami, tidak bertubuh, dan tidak mengetahui sukacita, penderitaan, cinta, atau tanggung jawab dari dalam dirinya sendiri
• “Pembelajaran” AI adalah adaptasi statistik berbasis data dan umpan balik, bukan pengalaman manusia yang dibentuk melalui pilihan, kesalahan, pengampunan, dan kesetiaan dalam kehidupan
• AI tidak memiliki nurani moral untuk menilai yang baik dan yang jahat, memahami makna terdalam dari suatu situasi, atau memikul tanggung jawab atas akibatnya
• Jika keputusan-keputusan sensitif seperti pekerjaan, kredit, akses ke layanan publik, dan reputasi sepenuhnya diserahkan kepada sistem otomatis, hak, peluang, status, dan kebebasan dapat dilanggar
• Akuntabilitas berarti harus dapat diidentifikasi siapa yang menjelaskan keputusan, membenarkannya, mengawasinya, menangani keberatan, dan memulihkan kerugian
• Hanya menyelaraskan AI dengan nilai-nilai manusia melalui alignment belum cukup; kerangka etika apa yang diterapkan harus diperdebatkan secara terbuka dan ditundukkan pada standar keadilan sosial
• Kepemilikan data tidak boleh diserahkan hanya ke tangan swasta dan harus diatur dengan tepat; karena data adalah hasil kontribusi banyak pihak, ia tidak boleh diperlakukan sebagai sesuatu yang hanya dipercayakan kepada segelintir orang

Pandangan tentang manusia, transhumanisme, dan keterbatasan

• Isu inti dalam ajaran sosial Gereja bukan terutama penggunaan teknologi itu sendiri, melainkan pandangan tentang manusia yang mendasarinya
• Jika manusia dipandang sebagai sesuatu yang harus disempurnakan atau dilampaui, maka akan lebih mudah menerima gagasan bahwa sebagian hidup kurang berguna, kurang diinginkan, dan kurang bernilai
• Transhumanisme mencakup gagasan untuk meningkatkan performa dan kemampuan manusia melalui teknologi seperti biomedis, rekayasa tubuh, perangkat, dan algoritme
• Posthumanisme dalam bentuk yang lebih radikal menantang antroposentrisme, serta membayangkan hibridisasi manusia, mesin, dan lingkungan serta tahap evolusi yang baru
• Keterbatasan seperti ketidakmampuan, penyakit, usia tua, penderitaan, dan kerentanan mudah diperlakukan hanya sebagai cacat yang harus diperbaiki, padahal kemanusiaan sering kali matang melalui keterbatasan dan terbuka pada relasi
• Berupaya meringankan penderitaan adalah hal yang benar, tetapi kebijaksanaan untuk mengakui kefanaan dasar manusia juga diperlukan
• Humanisme Kristen tidak menolak sains dan teknologi, melainkan menerimanya dengan syukur dan rasa realisme, sambil menempatkannya dalam panggilan yang lebih tinggi dan transendensi diri dalam kasih
• Pertanyaan kunci di era AI adalah apakah teknologi membuat kehidupan manusia di bumi menjadi “lebih manusiawi” dalam segala aspeknya

Kebenaran, pendidikan, kerja, dan ekonomi

• Platform digital dan sistem AI sedang mengubah secara mendalam komunikasi publik dan politik, serta dapat mengaburkan batas antara fakta dan opini, kebenaran dan kebohongan, melalui narasi yang dipelintir serta gambar dan video yang dimanipulasi
• Informasi yang benar tidak lahir dari kontrol yang tersentralisasi atau otomatis, melainkan menuntut verifikasi, pemeriksaan silang sumber, dan argumentasi yang bertanggung jawab
• Pencarian kebenaran adalah unsur penting demokrasi, dan ketika kesediaan untuk bertanya apa yang benar melemah, kehidupan demokratis juga melemah
• Pendidikan dalam penggunaan AI harus mencakup bukan hanya kapan dan untuk tujuan apa AI digunakan, tetapi juga latihan menilai kapan tidak boleh menggunakannya
• Kenyamanan memperoleh jawaban atau ringkasan dengan cepat dapat melemahkan hasrat untuk bertanya dan kemampuan untuk belajar secara mendalam
• Paparan dini terhadap perangkat digital dan media sosial tanpa pengawasan dapat berdampak negatif pada tidur, rentang perhatian, pengaturan emosi, dan relasi
• Konten daring yang penuh kekerasan dan penghinaan, pornografi dan materi yang terlalu menseksualkan, grooming, pemerasan, serta eksploitasi seksual terhadap anak di bawah umur menjadi lebih licik dengan profil palsu, algoritme yang memudahkan kontak berbahaya, dan alat AI untuk memanipulasi gambar serta video
• Kerja bukan sekadar sumber pendapatan, melainkan ruang untuk mengekspresikan dan memajukan martabat hidup, dan tujuannya adalah agar setiap orang dapat hidup bermartabat melalui kerjanya sendiri
• Konvergensi otomatisasi, robotika, dan AI dengan cepat mengubah struktur kerja, dan ada risiko bahwa alih-alih mesin mendukung pekerja, justru pekerja dipaksa menyesuaikan diri dengan kecepatan dan tuntutan mesin
• Penerapan otomatisasi dan AI harus disertai langkah-langkah yang dapat diverifikasi untuk melindungi pekerjaan pekerja, pelatihan ulang, dan partisipasi mereka
• GDP saja sulit cukup untuk menilai kesejahteraan menyeluruh manusia dan lingkungan, sehingga diperlukan indikator yang juga melihat martabat kerja, kemakmuran bersama, pengurangan ketimpangan, dan perlindungan lingkungan
• Di era AI dan robotika, hal ini tidak bisa diserahkan hanya kepada tangan tak terlihat pasar; politik harus mengarahkan ekonomi dan teknologi kepada kebaikan bersama
• Kecanduan yang terkait dengan ekonomi perhatian digital dirancang untuk menahan waktu dan perhatian pengguna, sehingga dapat mengeksploitasi kerentanan dan melemahkan kebebasan batin
• Pengumpulan data skala besar dan sistem algoritmik menciptakan risiko baru kontrol sosial yang memprofilkan pergerakan, pembelian, relasi, dan preferensi, lalu memengaruhi perilaku

Kerja tersembunyi, perbudakan, dan kolonialisme data

• Respons AI yang tampak seketika dan sempurna adalah hasil dari rantai perantara yang panjang, termasuk sumber daya alam, infrastruktur energi, dan manusia
• Ekonomi digital bergantung pada sangat banyak kerja yang menjalankan aktivitas penting namun nyaris tak terlihat, seperti pelabelan data, pelatihan model, dan moderasi konten
• Pekerja moderasi konten sering harus menangani materi yang menjijikkan; dalam banyak kasus mereka adalah kaum muda, terutama perempuan, yang menerima upah rendah dalam kondisi berat
• Penambangan sumber daya yang diperlukan untuk memproduksi perangkat AI dan mikroprosesor lebih keras lagi; di beberapa wilayah anak-anak dan remaja menangani bahan ekstraksi unsur tanah jarang dalam kondisi berbahaya
• Jaringan kriminal menggunakan platform daring, sistem pesan, metode pembayaran anonim, dan teknologi pemrofilan untuk merekrut, mengendalikan, dan memindahkan korban perdagangan manusia
• Perdagangan manusia harus diakui sebagai bentuk perbudakan modern dan pelanggaran berat terhadap martabat manusia
• Kolonialisme masa kini tidak hanya menguasai tubuh, tetapi juga tampil sebagai kolonialisme data yang merampas data dan mengubah kehidupan pribadi menjadi informasi yang dapat dieksploitasi
• Data kehidupan seperti data kesehatan, profil epidemiologis, peta genetik, dan informasi demografis dapat digunakan untuk melatih model prediktif, memandu strategi investasi, memperkirakan krisis, dan menilai kepentingan
• Harus dipastikan bahwa data yang dikumpulkan atas nama bantuan, penelitian, dan inovasi tidak menjadi alat dominasi, melainkan sungguh-sungguh menjadi kebaikan bersama
• Transparansi rantai pasok yang menopang industri teknologi dan ekonomi digital harus ditingkatkan agar keunggulan kompetitif tidak dibangun di atas eksploitasi yang tersembunyi
• Perusahaan dan investor harus memprioritaskan verifikasi etis preventif, perlindungan pekerja, penanganan kerja paksa, dan penilaian dampak sosial dari model bisnis berbasis data
• Platform digital harus bekerja sama secara bertanggung jawab dengan otoritas dan masyarakat sipil agar alat komunikasi, pembayaran, dan pemrofilan tidak menjadi jalur perekrutan dan pengendalian korban

Perang, senjata, dan multilateralisme

• AI dan revolusi digital memperkuat bukan hanya perang tradisional, tetapi juga konflik hibrida seperti serangan siber, manipulasi informasi, kampanye pengaruh, dan otomatisasi keputusan strategis
• Ketika teknologi dipisahkan dari etika dan tanggung jawab, ia dapat membuat keputusan hidup dan mati menjadi lebih cepat dan impersonal, serta menjadikan penggunaan kekuatan tampak sebagai opsi yang segera dan dapat dijalankan
• AI dapat memperkuat pertahanan dan perlindungan sipil, tetapi juga berisiko menurunkan ambang penggunaan kekuatan, menyembunyikan manusia dari tanggung jawab, serta mereduksi musuh menjadi statistik dan korban menjadi “kerusakan kolateral”
• Peradaban kasih bukan utopia naif, melainkan proyek menuntut yang menerjemahkan kasih ke dalam struktur keadilan dan memberi bentuk kelembagaan pada persaudaraan
• Budaya kekuasaan menormalkan perang, mengejar kekuatan militer yang lebih besar, memanfaatkan krisis multilateralisme, dan mendorong realisme palsu yang mengatakan “tidak ada alternatif”
• Pada 1965, Saint Paul VI berseru di Sidang Umum PBB, “Tidak lagi perang, tidak lagi perang!”
• Kini, di tengah persenjataan ulang dan wacana publik, perang hidup kembali sebagai sarana politik internasional, sementara prinsip-prinsip etis yang sebelumnya membatasi penggunaan kekuatan makin melemah
• Pertumbuhan kompleks industri militer telah menjadi ciri yang menentukan lanskap politik dan menjadi sektor inti ekonomi di berbagai negara
• Keyakinan bahwa penangkalan nuklir adalah prasyarat penting keamanan berkontribusi pada perlombaan senjata baru, pembongkaran bertahap perjanjian pengurangan senjata nuklir, dan pengembangan senjata miniatur yang membuat penggunaannya tampak sebagai pilihan yang lebih mungkin dilakukan
• Semakin mudah sistem senjata otonom dikerahkan, perang akan semakin “dapat dijalankan” dan semakin kurang berada di bawah kendali manusia
• Menyerahkan keputusan yang mematikan atau tak dapat dibalikkan kepada sistem artifisial tidak dapat dibenarkan, dan tidak ada algoritme yang dapat membuat perang dapat diterima secara moral
• Semua sistem yang digunakan di lingkungan perang harus memungkinkan proses pengambilan keputusan dilacak dan direkonstruksi, dan tanggung jawab serta kesalahan tidak boleh lenyap ke dalam “mesin”
• Dialog dan diplomasi harus menjadi sarana baku penyelesaian konflik, dan diperlukan aturan bersama untuk melindungi warga sipil dan mereka yang rentan bahkan dari kekerasan tak terlihat seperti serangan siber, manipulasi data, dan kampanye pengaruh
• Organisasi internasional, termasuk United Nations, dapat mendorong dialog antarnegara, penyelesaian damai sengketa, pembangunan integral bangsa-bangsa, perlindungan mereka yang rentan, pelucutan senjata, dan perawatan ciptaan

Membela manusia di era AI dan kehidupan Kristiani

• Pertanyaan tentang melindungi manusia di era kecerdasan buatan terkait dengan misteri Inkarnasi, ketika Sang Sabda menjadi manusia dan masuk ke dalam kondisi manusia
• Allah memikul kelemahan manusia dan mengubahnya menjadi tempat keselamatan, dan tidak ada momen atau situasi manusia yang tak bernilai di hadapan Allah
• Sistem komputasi secanggih apa pun tidak dapat menciptakan hati yang memberi diri atau nurani yang membedakan baik dan jahat, dan wajah manusia tetap berada di pusat sejarah
• Eucharistic spirituality dihadirkan sebagai spiritualitas kesatuan gerejawi dalam kasih, yang mengarahkan pada keadilan dan berbagi, serta pada perhatian utama bagi mereka yang terbebani oleh kemiskinan dan peminggiran
• Sementara jaringan ekonomi dan teknologi baru dapat menciptakan pengucilan, keterasingan, dan ketergantungan, diperlukan paradigma lain yang menjaga keterhubungan manusiawi dan memberi suara kepada mereka yang tak terlihat
• Tugas pembangunan zaman kita harus menempatkan relasi dengan Allah di pusat, menerima keterbatasan manusia sebagai realitas yang alami dan positif, serta dicirikan oleh tanggung jawab bersama dan bahasa Injil
• Cara berelasi secara manusiawi dengan dunia digital harus dipelajari sebagai bagian dari pendidikan iman dan hidup menurut Injil, dan dunia digital dipandang sebagai benua baru yang harus diinjili
• Tempat dan waktu yang menekankan kehadiran fisik harus dihargai, seperti makan bersama, pertemuan komunitas Kristen, waktu bersama mereka yang kesepian, dan pelayanan kepada mereka yang miskin
• Gambaran pembangunan kembali dari Nehemia menerangi panggilan pada masa transisi digital, dan menuntut agar kita tidak tetap menjadi pengamat pasif atau sekadar komentator di hadapan retakan sosial dan budaya
• Lokasi pembangunan kembali itu adalah laboratorium, perusahaan teknologi, sekolah, media, institusi, dan komunitas lokal, dan dengan memadukan mendengarkan, keberanian, doa, dan tanggung jawab, kota manusia harus dibuat menjadi tempat yang lebih layak dihuni

[GN⁺]

Opini Lobste.rs

• Fakta bahwa dokumen seperti ini ada saja sudah terasa seperti kenyataan ala fiksi ilmiah yang tak pernah kubayangkan akan kulihat semasa hidup

  • Rasanya seperti sesuatu yang bisa muncul dalam seri Terra Ignota karya Ada Palmer, dan menyenangkan mengetahui bahwa kompleksitas seperti ini ada di dunia
  • Dunia memang makin aneh… adegan yang masih paling membekas bagiku adalah insiden ketika Trump nyaris dibunuh sebelum pemilu keduanya
    Sekarang sudah tidak banyak dibicarakan, tapi tetap saja luar biasa aneh
    Kalau hal seperti itu ditulis di buku, entah SF atau bukan, pasti akan terasa terlalu “fiktif”. Terlalu banyak hal bergantung pada kemiringan sebuah senapan

• Tanggapan Anthropic

  • “Ini bukan robot dingin dan penuh perhitungan yang dijanjikan kepada kita”
    “Kalau membantu, kadang aku menjelaskannya sebagai sesuatu yang agak mirip dengan menghidupkan tokoh fiksi”
    Rasanya kejahatan murni memancar dari semua orang di Anthropic

• Melihat tautan ini muncul di lobste.rs adalah kejutan yang cukup menyenangkan
  Tepat setelah Pope terpilih, aku berjanji pada diri sendiri akan benar-benar membaca ensiklik pertamanya, dan senang sekali ternyata topiknya memang sesuatu yang menarik bagiku
  Semoga akhir pekan ini ada waktu untuk menyelaminya. Setelah melihat sekilas bab 1 dan jumlah referensinya, sepertinya ini bukan bacaan ringan