‘Responsibility sink’ dalam organisasi yang menyerap tuntutan pertanggungjawaban

• The Unaccountability Machine karya Dan Davies berpendapat bahwa organisasi menciptakan responsibility sink yang menyerap atau mengaburkan akibat dari keputusan sehingga tidak ada seorang pun yang bertanggung jawab secara langsung
• Struktur seperti ini bekerja ketika mata rantai diputus sehingga umpan balik dari orang-orang yang terdampak keputusan tidak bisa kembali ke cara sistem dijalankan
• Pengurangan staf kebersihan hotel, penolakan tindakan oleh perusahaan asuransi, pembatalan penerbangan, penetapan tidak memenuhi syarat untuk tunjangan pemerintah, dan tuntutan investor agar AI dimasukkan ke aplikasi adalah contoh putusnya hubungan antara pengambil keputusan dan pihak yang dirugikan
• Seperti dalam kasus Dominion Systems vs Fox News, ketika tanpa keputusan yang eksplisit ada pemahaman implisit bahwa metrik audiens adalah prioritas utama lalu mendorong keputusan-keputusan lanjutan, asal-usul keputusan menjadi kabur sehingga sulit menuntut pertanggungjawaban
• Mendelegasikan keputusan ke algoritme memang memudahkan terciptanya responsibility sink, tetapi organisasi besar seperti perusahaan dan pemerintah sudah lama terbiasa dengan struktur semacam itu, sehingga AI lebih dekat menjadi sarana pencucian tanggung jawab yang memperluasnya

---

Cara kerja responsibility sink

• Responsibility sink adalah struktur organisasi yang menyerap atau menutupi akibat dari keputusan sehingga tidak ada seorang pun yang bisa dimintai tanggung jawab secara langsung
• Jika atasan di perusahaan hotel mengurangi tenaga kebersihan, angka di pembukuan mungkin terlihat membaik, tetapi pelanggan yang tidak bisa check-in karena kamar belum siap tidak punya cara untuk memprotes pengambil keputusan itu atau mengembalikan pengaruhnya ke keputusan tersebut
  • Staf front desk mungkin bisa memberikan voucher, tetapi yang dibutuhkan pelanggan adalah kamar
  • Jalur umpan balik antara pengambil keputusan dan orang yang terdampak menghilang
• Menurut kriteria Davies, agar responsibility sink berfungsi, koneksi harus diputus sehingga umpan balik dari orang yang terdampak tidak bisa tercermin dalam operasi sistem
• Struktur yang sama berulang dalam banyak situasi
  • ketika asuransi kesehatan menolak tindakan
  • ketika maskapai membatalkan penerbangan
  • ketika lembaga pemerintah menyatakan seseorang tidak memenuhi syarat untuk mendapatkan tunjangan
  • ketika investor mendorong perusahaan-perusahaan portofolionya untuk memaksakan apa yang disebut AI ke dalam aplikasi

Wewenang dan penjelasan yang memungkinkan pertanggungjawaban

• Pertanggungjawaban berkaitan erat dengan sejauh mana seseorang punya kemampuan untuk mengubah suatu keputusan
  • Davies memandang bahwa tingkat kemampuan mengubah keputusan sama dengan tingkat tanggung jawab atas keputusan itu
  • Definisi accountability dari Sidney Dekker mengaitkan pertanggungjawaban dengan “penjelasan yang bisa disampaikan”
• Untuk belajar membuat keputusan yang lebih baik setelahnya, kita perlu memahami bagaimana sesuatu terjadi, kondisi apa yang ada, mengapa saat itu keputusan tersebut tampak masuk akal, dan siapa yang terlibat
• Jika dua kerangka ini digabungkan, agar bisa dimintai pertanggungjawaban dibutuhkan wewenang untuk mengubah dan juga narasi tentang bagaimana wewenang itu digunakan
• Menyerahkan keputusan kepada algoritme memang memudahkan pembentukan responsibility sink
  • Tetapi perusahaan, pemerintah, dan organisasi di antaranya sudah sangat mahir menciptakan responsibility sink
  • Pencucian tanggung jawab yang ditawarkan AI bukan sesuatu yang sepenuhnya baru, melainkan bentuk yang diperluas dan diperkuat
• Cara-cara yang gagal membuat perusahaan bertanggung jawab juga kecil kemungkinannya lebih berhasil jika diterapkan pada algoritme, sehingga dibutuhkan pendekatan lain

[GN⁺]

Komentar Hacker News

• Saya pernah mengalami hal serupa di bandara/maskapai Jerman dan berpikir sama
  Karena bandaranya sepenuhnya otomatis, check-in dilakukan secara self-service dan saya hanya berinteraksi dengan komputer. Namun ketika memasukkan boarding pass, yang keluar hanya selembar kertas yang mengatakan kursi lorong saya berubah menjadi kursi tengah. Saya berusaha mencari orang sampai akhir untuk mengajukan keberatan, tetapi komputer hanya merespons sesuai cara UI-nya dirancang, dan programmernya tampaknya juga tidak mempertimbangkan situasi saya. Staf darat pun tidak bisa berbuat apa-apa karena itu bukan lingkup tugas mereka, dan survei yang datang belakangan adalah untuk segmen penerbangan lain, sehingga sulit juga menyampaikan keluhan dengan benar

  • Saya merasa Jerman cukup berantakan dalam hal seperti ini. Setelah naik kereta 6 jam dan tiba di stasiun pada malam hari, aplikasi Deutsche Bahn menunjukkan ada kereta sambungan terakhir 45 menit kemudian, jadi saya menunggu di tengah dingin. Namun 5 menit sebelum keberangkatan, papan informasi di peron tidak menampilkan kereta itu, dan akhirnya saya menunggu sia-sia
    Lokasi bus pengganti juga tidak diinformasikan baik di aplikasi maupun di stasiun. Sopir bus membentak seorang lansia yang bertanya apakah ia bisa mengejar kereta sambungan, mengatakan itu bukan urusannya. Busnya gelap, jendelanya buram karena embun, tidak ada pengumuman maupun penanda halte, dan selama satu jam pemanasnya juga tidak menyala. Minggu itu kartu SIM saya terhapus dan paket kiriman juga hilang, tetapi bahkan mencatat banyaknya sikap “bukan urusan saya” yang saya temui di hotline dukungan pelanggan kini sudah menjadi bukan urusan saya juga
  • Setahun lalu saya mengalami hal serupa di Jerman. Stasiun kereta hampir sepenuhnya menjadi self-service, tetapi mesin tiket menelan €50 saya lalu langsung reboot, tanpa mengeluarkan struk
    Satu-satunya orang yang bisa saya temukan adalah petugas keamanan, dan ia hanya menyuruh saya menelepon nomor yang tertempel di mesin. Orang yang menerima telepon tidak bisa berbahasa Inggris, dan €50 saya ada di suatu tempat, tetapi biaya untuk mendapatkannya kembali tampaknya akan lebih besar dari itu
  • Banyak perusahaan membangun tembok di sekeliling diri mereka dengan cara seperti ini. Mereka menyembunyikan nomor pusat layanan pelanggan, menghilangkan dari FAQ pertanyaan yang sering muncul tetapi memakan waktu lama, dan menaruh chatbot alih-alih manusia
    Dulu, Amazon menandai sebuah paket sebagai sudah terkirim padahal tidak ada di mana pun, tetapi tidak ada cara untuk mendapat bantuan, dan FAQ hanya menyuruh memeriksa semak-semak. Autocomplete pencarian menampilkan beberapa frasa seperti “paket tidak ada padahal tertulis sudah terkirim”, yang membuatnya makin menjengkelkan. Sekarang sudah sedikit membaik, tetapi masih mirip
  • Sekarang semua orang harus membiasakan diri menggunakan pengadilan gugatan kecil. Sekarang sering kali ini bisa dilakukan online dalam beberapa menit
    Pertama-tama cobalah menyelesaikan masalah dengan itikad baik dan simpan catatannya agar bisa dipakai sebagai bukti jika sampai sidang. Setelah itu ajukan klaim; biasanya mereka segera mundur, dan Anda bisa memaksa layanan pelanggan sungguhan dalam satu-satunya bahasa yang dipahami perusahaan
  • Ini adalah cara untuk mengotomatisasi sepenuhnya situasi seperti dalam film Brazil. [https://en.m.wikipedia.org/wiki/Brazil_(1985_film)]
    Dalam birokrasi film itu setidaknya masih ada manusia yang bisa merasa bersalah, tetapi di sini manusia tidak perlu terlibat langsung, sehingga bisa menjadi distopia dalam skala yang jauh lebih besar

• Saya sudah lama berpikir bahwa salah satu fungsi utama perusahaan adalah mengaburkan tanggung jawab. Ada alasan mengapa namanya tanggung jawab terbatas, dan karena perusahaan bisa dibentuk sesuka hati, mudah untuk mendorong tanggung jawab ke sudut gelap
  Karena itu ada alasan kuat untuk tidak memandang perusahaan sebagai manusia. Manusia adalah keberadaan yang bertahan lama dan memikul tanggung jawab, serta tidak bisa dibuat atau dihapus sesuka hati

  • Lebih mendasarnya lagi, uang menghapus kewajiban sosial. Tidak ada harapan akan timbal balik atau rasa hormat; Anda membayar, produk dikirim, selesai
    Perusahaan juga beroperasi seperti ini dalam ekonomi internal maupun hubungan dengan mitra. Pusat biaya membayar uang dan mendelegasikan tanggung jawab
  • Saya setuju dengan perasaan itu, tetapi organisasi negara pada dasarnya abadi dan tetap sangat pandai menyebarkan tanggung jawab ke berbagai kambing hitam
  • Ambrose Bierce sudah tepat mengenai intinya pada 1911: “Corporation, n. An ingenious device for obtaining individual profit without individual responsibility.”
    Sudah lama saya merasa aneh mengapa hal ini tidak lebih sering dibicarakan. Sepertinya semua orang sudah terlalu terbiasa. Menurut saya, konsep mendenda perusahaan itu sendiri harus dihapus, dan diubah menjadi menghukum secara pidana orang yang melakukan tindakan ilegal
  • Tepatnya, LLC seharusnya berarti pembatasan tanggung jawab finansial, bukan pembatasan tanggung jawab pidana. Namun dalam prosesnya, tampaknya poin itu terlupakan
  • Tanggung jawab harus berhenti di suatu tempat, dan pada akhirnya manusia harus bertanggung jawab

• Weapons of Math Destruction karya Cathy O'Neil (2016, Penguin Random House) adalah teks pendamping yang bagus untuk melihat konsep ini dari sisi pihak yang membuat atau mengawasi sistem
  Cathy berargumen bahwa dalam konteks tertentu, penggunaan algoritma berbahaya dan memungkinkan sistem yang tidak bertanggung jawab dalam skala baru, sehingga harus dikendalikan
  https://www.penguinrandomhouse.com/books/241363/weapons-of-m...

  • Saya teringat kebijaksanaan lama: “Komputer tidak pernah bisa dimintai pertanggungjawaban, sehingga komputer tidak boleh membuat keputusan manajemen.” Presentasi IBM, 1979
  • Di UE, cara seperti ini ilegal. Perusahaan yang membuat keputusan dengan algoritma, tepatnya dengan AI, harus menyediakan cara agar keputusan itu dapat dinaikkan untuk ditinjau manusia, dan harus bisa menjelaskan kepada pengguna mengapa keputusan tersebut dibuat
  • Algoritma jauh lebih mudah dibuat bertanggung jawab dibanding organisasi manusia. Algoritma bisa diprogram ulang, tetapi membuat organisasi berubah jauh lebih sulit
  • Algoritma digunakan oleh manusia. Algoritma memungkinkan “sistem yang berbahaya dan tidak bertanggung jawab” hanya ketika orang-orang yang seharusnya diberi tanggung jawab memilih untuk tidak meminta pertanggungjawaban orang-orang di baliknya dengan alasan bahwa mereka memakai algoritma
    Ini akan bekerja sama saja jika algoritma itu diganti dengan lubang ritual, atau dengan situasi di mana status sebagai polisi secara praktis memberi kekebalan dari tanggung jawab perdata dan penuntutan pidana. Yang pada akhirnya memungkinkan sistem berbahaya dan tanpa tanggung jawab adalah pilihan manusia untuk tidak meminta pertanggungjawaban manusia lain, atas dasar apa pun

• Contoh ini adalah contoh yang buruk karena tidak faktual. Dalam kasus Fox News dan Dominion, Rupert Murdoch mengakui di bawah sumpah bahwa “Fox kadang-kadang mendukung gagasan palsu bahwa pemilu dicuri”, dan meski tahu klaim itu palsu, ia memilih untuk tidak menginstruksikan stasiun TV tersebut agar mengatakan hal sebaliknya
  Komunikasi para presenter internal Fox juga menunjukkan bahwa mereka tahu apa yang mereka katakan itu palsu. Ini jelas sesuai dengan definisi kebohongan, dan bagian “External Links” di Wikipedia memuat dokumen pengadilan nyata yang merinci siapa tahu apa, kapan, dan apa yang mereka katakan
  [1] https://www.npr.org/2023/02/28/1159819849/fox-news-dominion-...
  [2] https://www.nbcnews.com/politics/elections/dominion-releases...
  [3] https://www.dictionary.com/browse/lie
  [4] https://en.m.wikipedia.org/wiki/Dominion_Voting_Systems_v._F...

  • Inti kutipan itu tampaknya adalah bahwa sejak awal tidak ada keputusan awal untuk berbohong. Itu terjadi tanpa koordinasi, lalu manajemen juga tidak menghentikannya. Dengan kata lain, “nomor 2” terus berlanjut sampai ke atas
  • Mesin pemungutan suara diretas setiap tahun di Voting Village DEFCON. Mesin-mesin itu sangat tidak aman dan tidak boleh dipercaya siapa pun. Terus terang, klaim manipulasi mesin pemungutan suara, bahkan dalam skenario terburuk, masih merupakan kemungkinan yang masuk akal

• Saya curiga salah satu alasan besar mengapa otomasi, khususnya app-ification, menarik bagi manajemen dan level C adalah karena ia bisa memutus rantai akuntabilitas
  Kini banyak perusahaan memiliki struktur yang terbagi menjadi “lapisan manajemen”, tempat manajer produk, developer, dan staf operasional memelihara serta meningkatkan “lapisan perangkat lunak” berupa infrastruktur IT internal; “lapisan perangkat lunak”, yaitu infrastruktur otomasi raksasa yang benar-benar menjalankan pekerjaan sehari-hari; dan “lapisan pekerja”, seperti pengemudi Uber, kurir, atau pekerja gudang Amazon, yang menjalankan pekerjaan fisik dengan upah rendah dan tingkat turnover tinggi. Para pekerja menerima hampir semua instruksi melalui aplikasi dan perangkat, tidak bisa berhubungan dengan manajemen, dan perusahaan sering menyangkal bahwa mereka bahkan karyawan sejak awal. Poin pentingnya adalah lapisan perangkat lunak berfungsi seperti firewall akuntabilitas di antara dua lapisan itu, sehingga keluhan pekerja tidak bisa naik melewati perangkat lunak, sementara perilaku eksploitatif bisa dianggap sebagai kesalahan perangkat lunak yang apes

  • Yang lebih rumit, “lapisan manajemen” juga memakai taktik ini terhadap dirinya sendiri. Misalnya, “harus pakai iPhone”, “perjalanan dinas ini tidak bisa dibebankan ke kartu perusahaan”, “permintaan izin XYZ di cloud otomatis ditolak”, “alat ini hanya berjalan di Google Chrome”
    Alasannya adalah “aturannya begitu” atau “sistemnya begitu”. Tidak ada yang tampaknya tahu siapa yang menetapkan aturan dan membuat sistemnya, dan menggali sendiri hampir seperti tugas Herkules serta biasanya berakhir sebagai buang-buang waktu
  • Jika mengingat masa ketika otomasi belum sebanyak sekarang, manajemen itu sendiri adalah pemrograman. Ia membuat instruksi dan prosedur untuk memperbesar organisasi dan meningkatkan produk akhir
    Yang berubah adalah kini instruksi dan prosedur itu sering dijalankan oleh perangkat lunak dan perangkat keras, bukan manusia. Hasil akhir yang diterima pelanggan tidak banyak berubah seperti yang dibayangkan. Mereka masih mendapatkan kopi atau taksi yang sama, hanya lebih cepat dan lebih murah atau sedikit lebih baik; dan peningkatan bertahap seperti ini sudah mungkin dilakukan bahkan sebelum IT, melalui manajemen produk internal dan perbaikan prosedur organisasi
  • Seperti yang pernah diamati @vgr, manusia terbagi menjadi di atas AI dan di bawah AI, dan AI perlahan naik ke atas dalam stack

• Ini tulisan yang memberi banyak bahan untuk dipikirkan. Masalah ini menunjukkan mengapa lembaga perlindungan konsumen pemerintah dan hukum itu penting
  Jika Anda transit melalui Eropa atau memakai maskapai Eropa, ada hukum Uni Eropa yang memberikan kompensasi sekitar 600 euro ketika penerbangan tertunda lebih dari 3 jam atau dibatalkan. Ini semacam asuransi yang bagus: apa pun omong kosong yang dikatakan perusahaan di bandara, Anda bisa mendapatkan kompensasi, dan proses untuk menerima uangnya juga cukup sederhana. Hukum ini menyediakan jalur yang melewati sistem maskapai dan langsung menuju kompensasi; dan karena maskapai akan membayar terlalu banyak denda jika tidak beroperasi dengan benar, ia juga bisa menjadi insentif nyata. Untuk menghindari situasi ketika perusahaan memasang penghalang chatbot demi menahan pelanggan, perlindungan hukum seperti ini benar-benar diperlukan

  • Proses mendapatkan uangnya tidak selalu sederhana. Maskapai sering berbohong

• Saya cukup sering mengalami hal seperti ini di sistem e-filing pemerintah baru yang otomatis. Karena saya memakai pembaca layar dan sulit menggunakan pena serta kertas tanpa bantuan, awalnya saya cukup menyukai sistem seperti ini, tetapi pandangan saya agak berubah
  Di atas kertas, Anda bisa menulis apa saja, lalu manusia memverifikasi apakah isinya masuk akal. Komputer tidak begitu; jika formulir mengharuskan angka-angkanya saling cocok, maka bahkan dalam kasus khusus yang sebenarnya sedikit melenceng, Anda harus berbohong kepada pemerintah agar angkanya cocok. Saya menelepon kantor pemerintah daerah yang menangani hal itu, dan pada dasarnya mereka secara tidak langsung menyuruh saya berbohong kepada pemerintah. Sistemnya dikelola secara terpusat, sehingga kantor lokal tidak punya wewenang untuk memperbaikinya; bahkan mereka sendiri pun tidak punya wewenang meski ingin memperbaikinya

• Saat menjadi mahasiswa pascasarjana STS, saya pernah mempertimbangkan proyek tentang bagaimana perangkat lunak berfungsi seperti pengatur agensi
  Strukturnya adalah individu menanggung suatu risiko—biasanya risiko transaksi ekonomi—sementara sebagian besar keuntungan diambil oleh pemilik perangkat lunak. Uber dan layanan terkait, dalam banyak hal, adalah perangkat yang membuat individu menanggung risiko penurunan yang probabilitasnya rendah tetapi dampaknya besar, dengan imbalan komisi kecil

  • Analisis seperti ini valid dan produktif dalam pengertian yang sangat umum. Perangkat lunak adalah sarana yang baru-baru ini diperkenalkan ke dalam tradisi lama pengalihan tanggung jawab, penyebaran tanggung jawab, dan perubahan agensi
  • Menerapkannya pada FOSS juga bisa menarik. Daripada keuntungan atau kompensasi, tampaknya lebih berguna memikirkan aliran tanggung jawab, atau sumber dan titik serap tanggung jawab

• Perbandingannya dengan AI jelas: mendelegasikan pengambilan keputusan kepada algoritma adalah cara yang mudah untuk menciptakan titik serap tanggung jawab. Akun LinkedIn saya memiliki flag yang mencegah saya memasang tautan “follow-me” di profil
  Tak seorang pun di tim dukungan tahu alasannya, sejak kapan itu ada, atau kapan akan berubah. Kita sudah hidup di dunia seperti ini

• Organisasi ada untuk menghapus tanggung jawab moral
  Hakim, juri, algojo, regu tembak, dan organisasi dengan tanggung jawab terbatas semuanya masuk ke dalam kotak-kotak rapi yang membuat orang bisa tidur nyenyak pada malam hari. Hakim merasa juri yang memutuskan, juri percaya hakim akan menjatuhkan hukuman yang adil, dan eksekutor percaya dua kelompok sebelumnya telah melakukan tugasnya. Sistem seperti ini bukan mencegah satu orang bertindak, melainkan menciptakan serangkaian proses serah-terima, sehingga pada saat penjaga menutup pintu, keterlibatan terhadap moralitas hasilnya sudah hilang. Dalam regu tembak, fakta bahwa hanya satu dari beberapa senjata yang berisi peluru tajam juga merupakan struktur yang sama. Institusi dan organisasi besar, hal-hal berskala besar, sepenuhnya tidak manusiawi, dan saya pikir hasilnya akan berbeda jika orang yang menjatuhkan vonis juga menjalankan hukuman secara langsung

  • Hak atas persidangan oleh juri pada dasarnya adalah mekanisme agar bias pribadi hakim tidak memengaruhi hasil persidangan
    Jika juri menjalankan eksekusi dan hakim bertanggung jawab atas pemenjaraan, hal itu akan menciptakan insentif terbalik yang sangat besar bagi orang-orang sadis. Ada asumsi yang keliru bahwa jika hakim atau juri menanggung beban ini secara langsung, mereka akan lebih berempati. Pada kenyataannya, orang-orang yang tidak ingin kita tugaskan untuk pekerjaan seperti itulah yang kemungkinan besar akan melakukannya. Kecuali metode menggunakan peluru hampa saat eksekusi, sistem lainnya lebih melindungi orang yang divonis bersalah daripada melindungi orang-orang di dalam sistem
  • Saya setuju dengan deskripsinya, tetapi tidak akan menjatuhkan penilaian moral atasnya atau berpura-pura ada sistem yang lebih baik. Tidak ada sedikit pun kerendahan hati dalam hal seperti itu
    Anda boleh saja mendirikan partai politik yang berpendapat bahwa pemisahan kekuasaan adalah arah yang keliru, atau lebih baik lagi, kunjungi salah satu dari puluhan negara yang memiliki super-diktator
  • “Darah First Men masih mengalir di pembuluh keluarga Stark, dan kami percaya bahwa orang yang menjatuhkan vonis harus mengayunkan pedang. Jika hendak mengambil nyawa seseorang, Anda berkewajiban menatap matanya dan mendengar kata-kata terakhirnya. Jika Anda tidak sanggup menanggung itu, mungkin orang tersebut memang tidak melakukan kejahatan yang pantas dihukum mati.”
  • Daging dibeli dari toko daging, diserahkan kepada juru masak, lalu sampai kepada kita bukan sebagai hewan, melainkan sebagai bagian dari hidangan lezat. Jika makan daging, Anda harus membunuhnya sendiri
  • Logika bahwa “setiap orang bisa tidur nyenyak pada malam hari, entah orang yang mati itu memang sudah semestinya mati atau tidak” tampaknya hanya masuk akal jika ada penilaian mahatahu, yakni sosok seperti Tuhan dalam agama-agama Abrahamik. Jika tidak, kita harus menganggap setiap penembak memikul tanggung jawab nyata