Menyalakan bozo bit mematikan pembelajaran

• bozo bit adalah sikap yang menganggap penilaian dan ucapan orang tertentu tidak lagi layak didengar
• Jika pihak yang mengalami insiden dipisahkan sebagai pihak yang tidak kompeten, kesempatan organisasi untuk belajar dari insiden akan berkurang
• Respons PocketOS terhadap insiden AI termasuk dalam konsep distancing through differencing dari Cook dan Woods
• Pabrik AS yang menganggap kebakaran di pabrik luar negeri sebagai urusan orang lain melewatkan kesamaan sistem yang mereka miliki bersama
• Jika insiden AI ditutup dengan “mereka seharusnya sudah tahu”, hal itu sulit berujung pada peningkatan keselamatan

---

Jika insiden dianggap sebagai urusan orang lain, pembelajaran berhenti

• bozo bit adalah istilah di industri perangkat lunak untuk sikap tidak lagi menghormati penilaian seseorang dan menganggap apa yang ia katakan tidak layak didengar
• Saat mendengar kabar insiden lalu berkata seperti “bagaimana mungkin mereka tidak melakukan X?”, kita akan memandang pihak yang mengalami insiden sebagai orang yang tidak kompeten dan melihat mereka terpisah dari organisasi kita sendiri
• Postingan X dari pendiri PocketOS, Jer Crane, An AI Agent Just Destroyed Our Production Data. It Confessed in Writing, menarik perhatian besar sebagai insiden terkait AI, dan banyak tulisan online memandang pihak PocketOS sebagai tidak kompeten
• Sikap seperti ini mengurangi kesempatan untuk belajar dari insiden, dan termasuk dalam apa yang disebut Cook dan Woods sebagai distancing through differencing

• Menjauhkan diri lewat pembedaan (distancing through differencing)

  • Richard Cook dan David Woods menggunakan istilah ini dalam tulisan tahun 2006 Distancing Through Differencing: An Obstacle to Organizational Learning Following Accidents
  • Tulisan ini dimuat sebagai salah satu bab dalam Resilience Engineering: Concepts and Precepts
  • Jika perhatian difokuskan pada perbedaan antara pihak yang mengalami insiden dan diri sendiri, orang akan merasa tidak ada pelajaran yang bisa diterapkan pada operasi dan praktik kerja mereka sendiri
  • Kesimpulan “insiden itu tidak mungkin terjadi di sini” adalah bentuk khas dari fenomena ini

Insiden yang berulang dan kesamaan yang terlewat

• Cook dan Woods membahas kasus kebakaran kimia di pabrik manufaktur AS
• Sebelumnya pernah ada kebakaran serupa di pabrik luar negeri milik perusahaan yang sama, dan karyawan AS mengetahui fakta itu
• Namun, karyawan AS menganggap karyawan luar negeri kurang terampil, kurang termotivasi, dan kurang berhati-hati, sehingga menilai tidak ada hal yang bisa mereka pelajari untuk diri mereka sendiri
• Bahkan setelah kebakaran terjadi di pabrik AS, para pekerja di shift lain di pabrik yang sama tetap menyalahkan rendahnya keterampilan shift yang mengalami insiden sebagai penyebabnya
• Pembedaan seperti ini membuat orang gagal melihat kesamaan sistem yang mereka miliki bersama dengan pihak yang mengalami insiden
• Cook dan Woods berpendapat bahwa peristiwa yang tampak berbeda di permukaan tidak boleh dibuang begitu saja; pada tingkat analisis tertentu setiap peristiwa memang unik, tetapi pada tingkat lain peristiwa-peristiwa itu memperlihatkan pola yang sama
• Jika insiden PocketOS hanya ditutup dengan kesimpulan sederhana bahwa “mereka menggunakan AI secara tidak bertanggung jawab”, maka tidak ada yang bisa dipelajari
• Railway, yang digunakan PocketOS, adalah vendor yang mengekspos delete API, dan setelah itu mereka mengungkapkan dalam Your AI wants to nuke your database. Guardrails fix that bahwa mereka telah membuat perubahan untuk meningkatkan keselamatan sistem secara keseluruhan
• Ke depan, insiden terkait AI akan terus muncul di industri, dan sikap “mereka seharusnya tahu untuk tidak melakukan X” berarti telah jatuh ke dalam jebakan distancing through differencing
• Ada perbedaan antara seseorang yang sengaja mengambil risiko berlebihan dan seseorang yang tanpa sadar mengambil risiko berlebihan, dan sulit menyalahkan individu hanya karena ia tidak tahu apa yang memang tidak diketahuinya
• Ketika mampu melampaui distancing through differencing, respons organisasi dapat berubah

[GN⁺]

Opini Lobste.rs

• Nilai dari bozo bit adalah bahwa sebagian orang merupakan sumber anti-informasi yang andal
  Orang-orang seperti itu secara kebiasaan berulang kali sampai pada kesimpulan yang salah, salah memahami dokumen yang ditulis dengan sangat gamblang, dan mengajukan rancangan yang tidak menyelesaikan tujuan sambil menciptakan masalah baru
  Menyalakan bozo bit untuk seseorang berarti memutuskan bahwa waktu yang dihabiskan untuk mencoba memperoleh pengetahuan dari komunikasi orang itu adalah pemborosan
  Tulisan ini mencampuradukkan bozo bit dengan fenomena lain, yaitu ketika seseorang sangat yakin bahwa masalah tertentu tidak mungkin terjadi lalu mereka merekayasa alasan secara terbalik dari keyakinan itu
  Istilah yang pernah kudengar untuk itu adalah rasionalisasi pascaperistiwa, dan selama berabad-abad bahkan ribuan tahun sudah banyak dibahas bahwa hal itu harus dihindari
  Kembali ke contoh perusahaan yang memberi hak admin basis data produksi kepada LLM, respons seperti “itu tidak akan terjadi padaku karena X” itu sah bila X kurang lebih berarti “memberi hak admin basis data produksi ke LLM itu terlalu ganjil dan terlalu gila berbahaya sehingga sejak awal tidak akan kulakukan”
  Ini mirip dengan orang yang memakan sesuatu yang berbahaya lalu mengalami bencana. Saat membaca berita bahwa seseorang mati karena parasit otak setelah makan siput telanjang, aku bisa yakin bahwa aku tidak akan mati karena penyebab spesifik itu
  Penulis membayangkan itu karena aku merasa diriku lebih baik atau lebih pintar daripada orang yang meninggal, tetapi proses pikir yang sebenarnya lebih dekat ke “bahkan jika aku kelaparan di pulau tak berpenghuni yang penuh siput telanjang berair, aku 100% yakin tidak akan secara sukarela memakannya, jadi parasit yang dibawa siput telanjang tidak masuk model risikoku”
  Aku juga sulit setuju dengan bagian yang mengatakan bahwa ungkapan “mereka seharusnya tahu” itu incoherent. Orang terus-menerus disalahkan karena hal yang tidak mereka ketahui, dan itu bagian dari hidup sebagai orang dewasa
  Jika anak 3 tahun makan siput telanjang, aku tidak akan menyalahkannya, tetapi jika rekan kerja berusia 30 tahun memakannya, tentu aku akan menyalahkannya. Tindakan yang terlalu jelas bodohnya memang boleh membuat seseorang dipersalahkan

  • Untuk pernyataan bahwa bagaimana mungkin orang disalahkan karena “tidak mengetahui sesuatu”, kita sudah punya istilah ketidaktahuan yang disengaja
    Menurutku tulisan ini memang mengajukan poin bagus yang sebelumnya belum kupikirkan, tetapi bagiku ada juga beberapa cacat yang jelas, dan itu yang pertama
    Yang kedua adalah saat membaca cerita tentang orang Amerika, aku jadi bertanya pada diri sendiri, “tetapi apakah pengambilan jarak mereka lewat pembedaan (distancing through differencing) itu benar-benar sama dengan yang kulakukan saat mengabaikan kecelakaan penghapusan operasional oleh AI?”
    Maksudnya, kalau mereka sama sekali tidak tahu bagaimana risiko muncul di pabrik lain lalu menganggap itu tidak akan menyentuh mereka, maka itu tidak dapat dibenarkan
    Tetapi jika yang mereka dengar adalah seorang manajer membawa robot humanoid baru, eksperimental, dan nondeterministik ke lantai pabrik lalu membiarkannya bebas membantu pekerja terampil agar mereka bisa bekerja lebih cepat, maka pengabaian mereka tidak bisa dilihat dalam cahaya yang sama
    Meski begitu, aku menerima kesimpulannya. Karena kecerobohan bukanlah hal yang biner
    Lain kali saat mendengar kisah yang konyol, sepertinya aku akan berhenti sejenak dan berpikir, “meski aku tidak sembrono sampai sejauh yang mereka lakukan, hal apa dari yang kulakukan yang perlu lebih kuhati-hati dan kuberi pengaman?”
  • Aku tidak akan bertanya kenapa anak 3 tahun makan siput telanjang
    Tetapi jika rekan kerja berusia 30 tahun makan siput telanjang, aku akan menyelidiki secara menyeluruh bagaimana situasi itu bisa terjadi
    Jika aku merasa ingin “menyalahkan” orang itu, pertama-tama aku mungkin akan bertanya kenapa kita merekrut orang yang makan siput telanjang, dan apakah kita masih terus melakukannya sekarang
  • Inti utama yang kudapat dari tulisan ini adalah bahwa penulisnya tidak tahu apa itu bozo bit

• Ada beberapa poin yang masuk akal
  Pada bagian “Aku ingin menjelaskan kenapa reaksi ini kontraproduktif. Juga menunjukkan istilah teknis untuk fenomena yang masih berkerabat dengan menyalakan bozo bit ini. Namanya distancing through differencing”, reaksi ini produktif sekaligus kontraproduktif
  Ini produktif karena di dunia yang sudah dibanjiri begitu banyak insiden sampai tak tertangani, tidak harus mengevaluasi semua masukan adalah optimisasi yang luar biasa besar
  Pada saat yang sama, ini juga kontraproduktif karena alasan-alasan yang diberikan di tulisan itu
  Trik yang sesungguhnya adalah tahu mana yang harus dianggap serius dan diberi perhatian. Kalau nanti aku sudah menguasai trik itu, akan kuberi tahu lagi

• Apa yang perlu kupelajari dari kejadian seseorang memberi AI akses langsung ke lingkungan produksi?

  • Jika insiden LLM ditafsirkan dengan agak murah hati, pelajarannya bisa dilihat sebagai bahwa akses produksi harus memakai kontrol akses, dan operasi destruktif memerlukan persetujuan dua orang
    Aku pernah bekerja di perusahaan yang saat itu sedang tumbuh cepat, dan cukup banyak praktik engineering-nya lebih mirip startup garasi daripada perusahaan multinasional beranggotakan 1000 orang
    Pada waktu itu tiga hal benar. Pertama, deployment layanan dilakukan dengan cd ke direktori Git checkout di laptop lalu menjalankan <tool> deploy <service-name>, dan commit Git yang sedang ter-checkout itulah yang dideploy
    Kedua, karena ada budaya saling memercayai rekan kerja, kontrol akses pada sistem deployment dibuat seminimal mungkin. Ada daftar orang yang diizinkan deploy, dan jika namamu ada di sana maka kamu bisa mendeploy layanan apa pun
    Ketiga, repositori Git utama besar dan Wi-Fi kantor padat sehingga clone butuh waktu lama. Agar pegawai baru bisa mulai lebih cepat, image provisioning laptop menyertakan Git checkout dari repositori utama
    Lalu suatu hari ada intern baru bergabung ke tim basis data, dan saat mengikuti tutorial wiki Database Team 101 dia menjalankan perintah yang direkomendasikan untuk memeriksa apakah hak deployment berfungsi, yaitu <tool> deploy --prod <database>
    Ternyata image provisioning laptop itu sudah usang, dan intern tersebut belum sempat mengikuti sesi onboarding untuk menjalankan git pull origin master
    Kisah “LLM merusak produksi” dan kisah “intern merusak produksi” itu mirip, tetapi yang kedua lebih mudah dipelajari. Karena kesalahan individualnya lebih kecil

• Dari sudut pandang analisis insiden, berhenti belajar setelah menyalakan bozo bit adalah bentuk berhenti pada satu faktor penyumbang tunggal, yaitu “kesalahan manusia!”, padahal yang perlu dilihat adalah seluruh pohon insiden
  Dalam contoh yang diberikan, simpul “memberi akses produksi ke loop LLM” pada pohon insiden memicu heuristik pembaca berupa “abaikan orang bodoh”
  Tetapi simpul saudaranya, yaitu “sistem mengizinkan penghapusan tanpa konfirmasi lewat API”, adalah pelajaran yang berharga, dan bisa terlewat jika berhenti pada simpul yang pertama kali menonjol
  Selain itu, pohon insiden juga seharusnya mencakup simpul anak yang menggali kenapa operasi berbahaya itu dihapus dari GUI tetapi masih tersisa di API, dan kenapa LLM bisa memperoleh akses produksi sejak awal

  • Di satu sisi, kita bisa bertanya apakah dari laporan yang datang dari tempat yang bozo, kemungkinan untuk merekonstruksi pohon insiden yang masuk akal memang lebih rendah
    Di sisi lain, mungkin pertanyaan yang sebenarnya adalah apakah di dalamnya ada simpul yang justru tampak lebih terang dalam kondisi bozo
    Bisa jadi tidak terlalu penting apakah simpul-simpul itu diidentifikasi dengan salah atau dihubungkan dengan salah. Karena pada akhirnya yang kubutuhkan bukanlah pohon insiden untuk kegagalan masa lalu mereka, melainkan memastikan apa yang kulewatkan dari pohon insiden agar bisa mencegah kegagalan masa depanku sendiri

• Tulisan ini secara mencolok melewatkan penjelasan tentang kenapa menyalakan bozo bit terhadap bozo dalam contoh utama yang diajukan itu salah
  Ia beralih ke contoh makalah, dan tidak membahas contoh utama dalam tulisannya sendiri
  Jadi penulisnya terlihat seperti sedang diam-diam membiarkan bozo lain lolos

• Ada yang kupelajari: jangan gunakan alat AI