- Black pill adalah gabungan nihilisme, depresi, dan kemarahan yang meyakini dunia telah dimanipulasi sehingga tak ada yang bisa diubah, dan itu membuat teknolog menyerahkan bahkan hak memilihnya sendiri serta kekuatan untuk mengubah komputer
- Kualitas perangkat lunak lebih ditentukan oleh prioritas manajemen dan daya tawar insinyur daripada kekurangan teknis, dan para pengembang telah menanggapinya dengan pembangkangan demi kebaikan seperti meminta maaf alih-alih izin, bekerja diam-diam, mengalihkan perhatian, dan cacat yang disengaja
- Iklan, notifikasi, A/B testing, algoritme rekomendasi, DRM, agen AI, dark pattern, dan infinite scroll dapat menjadi coercionware yang mengendalikan perilaku alih-alih melayani pengguna
- Sikap seperti memakai AI meski membencinya, berhenti membagikan perangkat lunak terbuka, atau meninggalkan etika dengan alasan “kalau bukan saya, orang lain akan melakukannya” menyerahkan agensi kolektif kepada kekuasaan yang terpusat
- Orang yang membuat komputer masih punya pilihan, dan harus memadukan kebijaksanaan yang datang seiring usia dengan optimisme masa muda untuk secara langsung membuat perangkat lunak yang melayani pengguna, bukan mengendalikannya
Keputusasaan yang saling menguatkan dari black pill
- Pil merah di 《Matrix》 adalah pilihan untuk menerima kebenaran yang tidak nyaman, sedangkan black pill berarti bersikap bahwa permainan sudah diatur sehingga yang tersisa hanya menyerah dan membusuk
- Di komunitas incel tempat istilah ini muncul, terjadi penyaringan alami
- Mereka yang memanfaatkan dorongan, mentoring, dan pemecahan masalah menjadi dewasa, membangun relasi, lalu meninggalkan komunitas
- Orang-orang muda yang baru masuk hanya bertemu anggota yang putus asa dan antisosial
- Seiring waktu, nihilisme, depresi, dan kemarahan makin kuat, dan dalam kasus terburuk berujung pada bunuh diri atau penembakan di sekolah
- Pengalaman tumbuh dalam keluarga Kristen konservatif, lalu harus mempelajari ulang hal-hal yang diperlukan untuk berkencan dan membuang cara pandang lama, juga memperbesar kemungkinan terjatuh ke dalam keputusasaan semacam ini
- Gagasan para pickup artist memang memiliki racun yang nihilistik dan manipulatif, tetapi ada satu nasihat di dalamnya yang menjadi jalan keluar
- Alih-alih terpaku pada hasil percintaan tertentu, fokuslah menjadi orang yang menarik bagi semua orang, termasuk calon pasangan dan teman
- Peduli sungguh-sungguh pada orang lain, mendengarkan dengan penuh perhatian, membuat mereka tertawa, dan memberi pengalaman yang membekas
- Jika menjadi orang yang ingin dihabiskan waktunya bersama, situasi yang memungkinkan romansa juga akan bertambah dengan sendirinya
- Meski terpapar gagasan buruk, jika gagasan baik juga hadir bersama, orang muda dapat menemukan hal yang berguna di dalamnya
Mereka yang pulih pergi, kemarahan yang tertinggal
- Cerita pendek Cory Doctorow tahun 2019, 《Radicalized》, berpusat pada forum online berisi orang-orang yang dirugikan oleh perusahaan asuransi kesehatan
- Di forum pemulihan kecanduan, anggota yang telah lama berhenti minum tetap tinggal dan memberi bukti bahwa hidup bisa dipulihkan, beserta nasihat yang tenang
- Sebaliknya, dalam forum pasien kanker di karya tersebut, orang-orang yang telah melampaui kemarahan dan kesedihan pergi, dan hanya mereka yang melekat pada kemarahan yang tersisa
- Bahkan kepada orang yang marah secara menakutkan, mereka mengatakan bahwa itu adalah respons yang benar dan satu-satunya, dan keadaan tak akan pernah membaik
- Sama seperti komunitas incel, perginya orang yang telah pulih menciptakan struktur yang memperkuat keputusasaan
- Lima tahun setelah karya itu terbit, CEO UnitedHealthcare di dunia nyata tewas ditembak, dan pada selongsong pelurunya tertulis kata-kata “deny, defend, depose”
Mengapa perangkat lunak tidak bekerja dengan baik
- Peserta konferensi teknologi berbagi asumsi bahwa perangkat lunak harus bekerja dengan baik dan cepat, serta mengutamakan pengalaman pengguna
- Cara membuat perangkat lunak yang kokoh sudah ditemukan sejak lama dan performa hardware juga meningkat beberapa orde besaran, tetapi kekokohan dan performa perangkat lunak secara keseluruhan justru dianggap menurun
- Penyebab utama gagalnya peningkatan kualitas di lapangan bukan kurangnya pengetahuan atau upaya programmer, melainkan manajemen yang mengutamakan prioritas bisnis lain
- Saat ditanya di acara siapa yang pernah ditolak manajemen ketika mencoba memperbaiki perangkat lunak perusahaan, lebih dari separuh peserta mengangkat tangan
Pembangkangan demi kebaikan dan harganya
- Dalam organisasi tempat penerima manfaat sekaligus memegang kuasa, pengembang kadang memilih pembangkangan demi kebaikan, yakni mengerjakan sesuatu untuk perusahaan sambil menentang kehendak manajemen
- Ada empat cara yang representatif
- Meminta maaf alih-alih izin: terlebih dulu melakukan pekerjaan yang diperlukan, lalu jika timbul masalah meminta maaf setelahnya
- Pekerjaan rahasia: menjalankan tugas penting yang akan dihentikan manajemen jika mereka mengetahuinya, tanpa mengungkapkannya
- Mengalihkan perhatian: mengerjakan tugas penting dan kurang penting bersamaan, tetapi mempromosikan tugas sepele secara besar-besaran agar perhatian manajemen tertuju ke sana
- Bebek (
duck): dengan sengaja menambahkan masalah yang jelas agar manajemen bisa menemukan dan menghapusnya, lalu merasa berjasa
- Dalam anekdot animasi ratu di Battle Chess, sang artis yang menduga produser akan meminta revisi menambahkan seekor bebek peliharaan pada sang ratu
- Bebek itu dibuat terpisah agar tidak bertumpang tindih dengan animasi sebenarnya
- Produser menyetujui sisanya apa adanya dan hanya meminta bebeknya dihapus
- Teknik-teknik ini adalah cara menghadapi situasi sebagai pengganti keluar, berkonflik, atau menerima begitu saja, dan semuanya mengandung risiko
- Jika tipu dayanya ketahuan, seseorang bisa dimarahi atau dipecat tanpa pesangon
- Jika keluar, ia harus menanggung stres dan ketidakpastian pasar kerja
- Jika melawan secara terbuka, ia bisa mengalami pembalasan diam-diam atau kehilangan pengaruh politik di dalam organisasi
- Jika menerima, ia harus membuat perangkat lunak berkualitas rendah
Pasar tenaga kerja dan kualitas perangkat lunak
- Saat permintaan pengembang lebih besar daripada pasokan, manajer lebih takut pengembang keluar daripada mengancam memecat, sehingga daya tawar insinyur menjadi kuat
- Ketika komputer pertama kali muncul, programmer sangat langka sehingga menikmati daya tawar yang amat kuat
- Ketika pasar bebas mengejar kekurangan tenaga kerja, pengembang perangkat lunak pun mengalami konflik yang sama seperti pekerja industri lain
- Kualitas perangkat lunak dipertahankan bukan oleh keniscayaan teknis, melainkan oleh gabungan kemauan insinyur dan posisi pasar tenaga kerja yang kebetulan kuat
Komputer adalah agen siapa
- Transistor adalah sakelar otomatis yang mengendalikan arus jauh lebih besar dengan tegangan basis kecil, prinsip mikroskopis komputer di mana sinyal lemah mengendalikan kekuatan besar
- Secara makroskopis pun komputer memungkinkan kekuatan besar dijalankan hanya dengan sedikit ekspresi kehendak, tetapi yang penting adalah siapa yang menentukan sinyal kendali itu
- Browser disebut
user agentkarena bertindak atas nama pengguna- Browser harus melayani kepentingan pengguna, bukan situs web yang dikunjunginya
- Fakta bahwa pengguna bisa memakai pemblokir iklan meski situs tidak menginginkannya adalah salah satu contohnya
- DRM adalah perangkat lunak yang memusuhi pengguna akhir karena membuat hardware milik pengguna bekerja demi kepentingan pihak ketiga
- Memang bisa dibantah bahwa itu memberi manfaat tidak langsung bagi konsumen karena merupakan syarat pemegang hak cipta untuk mengizinkan akses ke konten
- Namun kepentingan pengguna akhir yang langsung memakai komputer harus dibedakan dari manfaat konsumen yang tidak langsung
- Komputer harus selalu melayani orang yang berinteraksi langsung dengannya
Tiga Hukum Robot Asimov dan kekuasaan manusia
- Tiga Hukum Robot Asimov memiliki urutan prioritas berikut
- Robot tidak boleh melukai manusia atau membiarkan manusia terluka karena tidak bertindak
- Robot harus menaati perintah manusia selama tidak bertentangan dengan hukum pertama
- Robot harus melindungi keberadaannya sendiri selama tidak bertentangan dengan dua hukum sebelumnya
- Di bawah hukum-hukum ini, robot tidak ikut dalam struktur kekuasaan hierarkis manusia kecuali bila diperlukan untuk mencegah bahaya
- Contoh robot yang menerima perintah polisi untuk mengeksekusi surat penangkapan atas kejahatan non-kekerasan, tetapi harus pulang jika orang yang ditangkap menyuruhnya pergi, menunjukkan sifat ini
- Meme “semua robot dan komputer harus tutup mulut, manusia itu suci dan mesin hanyalah benda” juga menampilkan ideal yang sama—bahwa mesin harus melayani manusia—dalam bentuk yang dilebih-lebihkan
- Garis bahwa mesin harus melayani manusia juga tidak boleh dilanggar pada tingkat mental
Coercionware yang memanipulasi pengguna
- Coercionware adalah perangkat lunak yang tidak melayani pengguna, melainkan berusaha memanipulasi manusia seperti robot tanpa jiwa
- Amazon Mechanical Turk adalah model bisnis yang secara langsung memperlakukan manusia seperti robot dan membayar mereka di bawah upah minimum
- Perangkat lunak pengawasan kerja berusaha mengendalikan secara rinci hingga gerakan mata dan aktivitas buang air karyawan
- Iklan yang intrusif, jika efektif, mengendalikan pikiran orang; jika tidak efektif pun, tetap memutus alur pikir, merebut perhatian, dan melemahkan agensi
- Push notification yang tidak diaktifkan secara sengaja oleh pengguna mengendalikan perilaku secara terprogram dan berusaha mempersingkat waktu hingga orang bereaksi terhadap tuntutan
A/B testing dan dark pattern
- A/B testing memilih pengalaman yang memaksimalkan klik dan penjualan dengan mengutamakan hasil terukur ketimbang empati
- Bahkan jika tombol merah yang membuat pengguna cemas dipilih karena meningkatkan klik, tanggung jawab bisa dihindari karena tak ada catatan bahwa efek itu dirancang dengan sengaja
- Dark pattern adalah desain yang secara terbuka memaksa pengguna, dan masalahnya adalah para programmer membiarkan permusuhan semacam ini menjadi hal yang biasa
- Contoh UI awak kabin pesawat yang hanya menyediakan tombol hijau “yes” dan tombol merah “later” untuk pertanyaan “Do you want to play the Boarding Music?” menunjukkan desain yang sengaja menghilangkan opsi menolak
Rekomendasi YouTube dan agen AI
- Di YouTube, baik pembuat konten maupun penonton sama-sama berada di bawah kendali algoritme rekomendasi
- Pembuat konten terdorong mengejar selera algoritme yang terus berubah sambil mengorbankan keaslian kontennya
- Thumbnail modern juga berevolusi ke bentuk serupa agar sesuai dengan algoritme
- Bagi penonton, muncul fenomena seperti jalur rekomendasi dari konten tertentu menuju konten sayap kanan ekstrem
- Agen AI berjanji melayani pengguna, tetapi pada kenyataannya melayani perusahaan AI yang mengendalikan model dan perangkat lunak tertutup di sekelilingnya
- Jika tidak mengendalikan source code, Anda juga tidak bisa mengendalikan perangkat lunak
Doomscrolling dan kerentanan otak
- Doomscrolling bukan sekadar kebiasaan buruk memakai Facebook terlalu lama pada suatu hari, melainkan struktur yang pada dasarnya koersif yang memaksimalkan keterlibatan lewat algoritme konten dan infinite scroll
- Pengguna terbiasa tetap terpaku pada layar sambil terus mengonsumsi konten yang tidak mereka pilih sendiri
- Scroll bisa dianalogikan sebagai program counter, dan konten yang terus muncul sebagai instruksi, seperti kerentanan eksekusi kode arbitrer yang berjalan di otak
- Aliran konten yang dipilih perusahaan demi kepentingannya sendiri juga membuka jalur bagi pihak ketiga yang jahat untuk memanipulasi pikiran orang
- Penilaian Januari 2017 dari Office of the Director of National Intelligence AS yang merangkum kerja FBI, CIA, dan NSA menyimpulkan bahwa Vladimir Putin memerintahkan operasi pengaruh yang menargetkan pemilihan presiden AS 2016
- Tujuannya adalah merusak kepercayaan pada proses demokrasi Amerika, menjatuhkan Hillary Clinton, dan merugikan peluang terpilih serta potensi masa jabatannya sebagai presiden
- Penilaian itu juga menyatakan dengan keyakinan tinggi bahwa pemerintah Rusia menunjukkan preferensi yang jelas kepada presiden terpilih Donald Trump
- Sarana utamanya adalah kampanye media sosial oleh organisasi troll yang didukung negara
- Desain media sosial yang manipulatif menciptakan kerentanan untuk meretas mental manusia, dan kerentanan itu terus dieksploitasi tanpa diperbaiki
Black pill sehari-hari yang membuat orang menyerahkan pilihan
- Seiring masyarakat makin terintegrasi dengan perangkat lunak, bahkan kemampuan untuk keluar dari layanan koersif pun berkurang
- Pengalaman terputus kontak dengan teman-teman yang hanya mengatur pertemuan lewat Discord adalah salah satu contohnya
- Kelelahan juga menumpuk ketika terus menghubungi anggota parlemen, menandatangani petisi, dan menanggapi keadaan darurat baru, tetapi tetap terus tertinggal
- Black pill membuat orang menyerah pada penindasan itu dengan melepaskan kemungkinan komputer, seolah kepatuhan membawa ketenangan
- Lelucon programmer bahwa “komputer adalah sebuah kesalahan” menyangkal agensi orang yang benar-benar menggerakkan komputer
- Sikap membenci AI dan merasa murung, tetapi tetap memakainya karena dianggap tak terhindarkan, juga mengikuti pola yang sama
- Seorang manajer memakai AI karena takut timnya akan terkena jika ia tidak lebih dulu menghilangkan pekerjaan tim lain, dan ia bekerja lebih dari 50 jam per minggu
- Perlu dibedakan antara orang yang memang suka memakai AI dan orang yang tidak suka tetapi menerimanya seperti takdir
Anubis dan kekalahan defensif
- Perangkat lunak anti-web scraping Anubis dipakai di Linux kernel mailing list, Codeberg, FFmpeg, Wine, dan lain-lain
- Masalah yang lebih mendasar daripada maskot karakter animasi bawaan adalah cara ini sengaja menaikkan biaya mengunjungi web
- Kunjungan ke situs web yang semestinya murah secara komputasi dan anonim menjadi lebih mahal lebih dari satu digit lipat
- Ini merusak link preview dan formulir serta menghabiskan baterai
- Ini menghapus pilihan pengunjung untuk mematikan JavaScript
- Ini juga mengecualikan bot yang mengakses web untuk alasan yang sah
- Pendekatan ini membuat orang menyerahkan web terbuka tanpa perlawanan dengan sikap bahwa tujuannya bukan menang, hanya memperlambat kerugian
Sinisme dan meninggalkan perangkat lunak terbuka
- Reaksi di Hacker News yang menulis “Site is trash” juga merupakan contoh black pill yang berlebihan dan sinis, tetapi muncul dari kesedihan nyata karena nilai yang dulu diperoleh dari situs itu makin berkurang
- Ada juga orang yang berhenti membagikan perangkat lunak bebas dan open source karena perusahaan AI akan mengumpulkan kodenya untuk membuat LLM berikutnya
- Tujuan perangkat lunak bebas bukan agar kodenya tidak dikumpulkan, melainkan agar upaya kolektif bisa dihimpun sehingga pengguna dapat mengendalikan perangkat lunak
- Yang penting adalah apakah tersedia sarana persaingan yang membatasi perilaku koersif perangkat lunak proprietari karena orang bisa memakai perangkat lunak bebas berkualitas tinggi
- Jika tidak ikut serta dalam perangkat lunak bersama, kita justru menyerahkan lebih banyak agensi kolektif kepada kekuasaan terpusat yang abusif
- Jika mengabaikan etika dengan alasan “kalau bukan saya, orang lain akan melakukannya”, kita menghapus garis yang tidak boleh dilanggar dan kehilangan kemauan untuk mempertahankan keyakinan
Teknologi memerlukan titik berangkat moral
- Deconversion—melepaskan kerangka baik-buruk yang diberikan oleh keluarga Kristen Protestan setelah dewasa—bisa memakan waktu bertahun-tahun atau seumur hidup
- Ketika meninggalkan iman lama, seseorang harus membangun sistem moral baru, dan benar-salah tidak bisa diturunkan dari keadaan tanpa premis apa pun
- Bahkan penilaian yang melampaui “aku berpikir, maka aku ada” pun hanya mungkin dengan memperkenalkan premis dasar yang penting
- Peran teknolog adalah mempercepat lintasan yang sedang ditempuh umat manusia saat ini
- Teknologi yang sama bisa menjadi kekuatan baik atau jahat tergantung siapa yang memakainya
- Tenaga nuklir modern bekerja dengan cara mengendalikan ledakan bom atom
- Kerja para teknolog memperbesar secara membabi buta kekuatan dari jalan yang sudah ditempuh manusia
- Jika umat manusia baik, teknologi pun menjadi kekuatan baik; jika umat manusia jahat, teknologi pun menjadi kekuatan jahat, sehingga teknolog perlu memiliki keyakinan bahwa umat manusia pada umumnya baik
Keyakinan yang dipilih Stanislav Petrov
- Pada 1983, Stanislav Petrov bertugas memantau sistem peringatan dini serangan dan harus segera meminta atasan melakukan pembalasan jika serangan terdeteksi
- Pada 26 September, sistem melaporkan bahwa Amerika Serikat meluncurkan lima misil
- Petrov mencurigai itu alarm palsu, melanggar peraturan militer Soviet, dan menunggu konfirmasi tambahan; konfirmasi itu memang tidak datang karena ini adalah alarm palsu dari sistem deteksi komputer
- Jika ia mengikuti prosedur, kemungkinan besar atasannya akan menyerang Amerika Serikat dan perang nuklir total akan pecah
- Dalam wawancara setelahnya, ia mengatakan saat itu tidak yakin itu alarm palsu dan menilai peluangnya 50 banding 50
- Dalam situasi yang tak bisa diputuskan hanya berdasarkan bukti, ia memilih keyakinan bahwa umat manusia itu baik dan mengambil risiko yang sangat besar
Keajaiban komputer yang dijaga oleh masa muda
- Album debut penuh Joudaki 《I Love My Computer》 dan video musik 《Hazard》 menangkap rasa yang masih percaya pada keajaiban komputer
- Sambil membangkitkan nostalgia generasi milenial saat pertama kali menemukan komputer, karya itu juga aktif memakai web modern termasuk YouTube dan Discord, layaknya karya dari satu generasi setelahnya
- Mengkritik dark pattern YouTube dan Discord bukanlah hal yang salah, tetapi dalam prosesnya kita juga bisa kehilangan sebagian kegembiraan dan keyakinan terhadap komputer
Cara menjaga kebijaksanaan dan optimisme sekaligus
- Orang muda kekurangan kebijaksanaan yang datang dari penderitaan, sehingga mudah tertipu, ikut viral marketing perusahaan tanpa kritik, mempercayai hal yang peluangnya kecil, atau mengambil risiko yang bisa menimbulkan kerusakan permanen
- Alasan mereka tetap mencoba hal yang sudah tampak jelas akan gagal adalah karena mereka belum terluka oleh dunia dan berubah menjadi sinis
- Orang yang lebih tua mempelajari cara menghadapi keadaan agar tidak mengulang luka yang sama dan lebih mampu beradaptasi dengan realitas, tetapi orang muda memiliki daya pendorong untuk mengubah realitas yang lebih kuat
- Masyarakat membutuhkan baik kebijaksanaan yang datang dari usia maupun gairah buta masa muda untuk mencoba lagi hal-hal yang sudah berkali-kali gagal
- Dalam 《Hunter × Hunter》, adegan ketika protagonis berusia 12 tahun mengalami pengkhianatan yang tak sanggup ia tanggung lalu seketika menjadi dewasa demi memperoleh kekuatan untuk mengalahkan musuh merangkum proses bagaimana keputusasaan dan ketidakpedulian menua-kan seseorang secara bertahap
- Tugas generasi yang lebih tua adalah melindungi anak muda dari orang-orang yang mengeksploitasi kepolosan mereka, tanpa menularkan akumulasi rasa sakit dan sinisme mereka sendiri
Membuatnya sendiri adalah cara melawan black pill
- Orang-orang yang menjauh dari teman karena tidak memakai Discord memutuskan untuk tidak berhenti pada keluhan, melainkan langsung membuat alternatif yang lebih baik
- Untuk mengubah dunia dan bersaing dengan layanan yang ada, tidak harus punya 1 juta dolar; komputer, rasa ingin tahu, dan waktu saja sudah cukup untuk memulai
- Pengembang sendirilah subjek yang menentukan apa yang komputer lakukan, dan tak perlu menerima penggunaannya untuk paksaan seolah itu takdir
- Mari bersama-sama melawan perangkat lunak yang mengendalikan pengguna, percaya pada kemungkinan umat manusia dan komputer, dan menjadikan keyakinan itu nyata lewat kehendak
1 komentar
Komentar di Lobste.rs
Bagian yang sangat terasa bagi saya adalah bahwa kualitas perangkat lunak ternyata hanya bisa dipertahankan berkat gabungan antara kemauan para engineer dan daya tawar pasar tenaga kerja yang kebetulan kuat
Saya sudah lama mengikuti prinsip lebih baik meminta maaf daripada meminta izin, dan sangat merekomendasikannya
Lakukan hal yang menurut hati dan akal Anda benar, tetapi biasanya lebih baik meminta izin terlebih dahulu, lalu tetap melakukannya jika memang perlu
Terlepas dari suka atau tidak sukanya seseorang pada AI, seorang profesional menggunakan alat yang diperlukan. Jika atasan menginginkan cara tertentu, tugas kita adalah meninjaunya secara objektif, memberikan rekomendasi, dan apa pun keputusan yang diambil, menghasilkan produk yang baik
Saya pernah jatuh ke dalam pesimisme ekstrem saat melihat kondisi komputer dan teknologi saat ini, dan selama ini memikirkan bagaimana memperkenalkannya kepada anak saya yang belum sekolah
Lewat presentasi ini, saya ingin mendapatkan motivasi untuk tidak sekadar takut pada sifat eksploitatif teknologi dan berupaya mengendalikan dampaknya, tetapi juga merebut kembali kendali agar teknologi bekerja untuk kita
Saya penasaran proyek mirip Discord yang tidak disebutkan namanya dalam presentasi itu apa
Jangan biarkan nihilisme dan meme menggerogoti cara berpikir
Kalau belum mendengarkannya, saya sangat merekomendasikan album itu. Secara pribadi, itu salah satu album favorit saya
Presentasinya bagus, tetapi ironis juga bahwa itu dipublikasikan di YouTube
Secara realistis, saya ragu ada platform video lain yang bisa menjangkau bahkan setengah dari jumlah penonton YouTube