Yang Dibius AI Bukan Satu Orang, Melainkan Seluruh Organisasi: Ironi Otomatisasi yang Lebih Dulu Dialami Penerbangan dan Medis

Kemampuan menggunakan AI dengan baik dan kemampuan memverifikasi keluarannya berada pada sumbu yang berbeda, dan saat yang satu meningkat, yang lain diam-diam terkikis. Tulisan ini membahas mekanisme bagaimana pengikisan itu menyebar bukan pada level individu, melainkan level organisasi, serta cara pemimpin meresponsnya lewat struktur.

• AI bukan abstraksi yang menyembunyikan kerja tingkat rendah, melainkan agen probabilistik yang mengambil alih tempat itu. Abstraksi lama seperti React dan ORM masih memungkinkan kita turun lewat tangga untuk memeriksa kausalitas bila perlu, tetapi di atas AI bahkan tidak ada tangga untuk turun
• Konsep kuncinya adalah kepemilikan kognitif, yaitu "kondisi ketika seseorang dapat menjelaskan lintasan logis mengapa kode ini harus ditulis seperti ini dari awal sampai akhir". Ini bukan soal kode itu telah melewati tangan siapa, melainkan kausalitasnya ada di kepala siapa
• AI tidak meratakan kemampuan, melainkan meratakan kesan meyakinkan. Yang naik hanya titik terbawah distribusi kualitas kode; bukan berarti kemampuan ikut naik, dan semakin baik modelnya, semakin sulit terlihat bahwa kausalitasnya kosong
• Biaya generasi mendekati 0, tetapi biaya verifikasi tetap sama. Karena tekanan ekonomi membuat orang yang memverifikasi kode yang dihasilkan dalam 1 detik selama 1 jam tampak sebagai orang paling lambat menurut metrik organisasi, penerimaan kritis tidak bisa dipertahankan hanya dengan kemauan
• Tulisan ini mengutip preseden yang lebih dulu dilalui penerbangan, neurosains, dan medis: ironi otomatisasi (Bainbridge, 1983), Air France 447, penyusutan hipokampus pada pengguna yang bergantung pada GPS, dan penurunan sensitivitas CAD mamografi
• Resepnya harus berupa struktur tim, bukan tekad pribadi. Tulisan ini mengusulkan agar inefisiensi kepemilikan diperlakukan dalam akuntansi bukan sebagai "moral", melainkan sebagai "premi asuransi"

Ringkasan detail

AI bukan abstraksi, melainkan agen

• Alat lama bersifat deterministik (input yang sama menghasilkan output yang sama), sehingga jejak kausalitas masih bisa dilacak. AI adalah agen probabilistik, sehingga untuk permintaan yang sama hasilnya bisa berbeda setiap kali, dan meski kodenya bisa dibaca, tidak ada jalan untuk mencapai "mengapa ditulis seperti itu"
• Pada kode yang kita tulis sendiri, kausalitas tertinggal di kepala. Pada kode yang ditulis AI, yang tersisa hanya hasil, sementara kausalitas tidak pernah melewati kepala kita. Ini diibaratkan seperti menandatangani kontrak dalam bahasa yang tidak kita pahami setiap saat

Perataan kesan meyakinkan

• Pengamatan langsung sebagai pewawancara dan reviewer PR: nama variabel rapi, struktur tampak masuk akal, tetapi saat dibedah ternyata penuh fungsi duplikat, pemisahan tanggung jawab yang kabur, dan gumpalan efek samping
• Bukti paling jujur muncul pada saat pertanyaan "Mengapa bagian ini dibuat seperti ini?" tidak bisa dijawab. Itu adalah sinyal langsung dari kode yang tampak baik di permukaan tetapi kehilangan kausalitas

Pembiusan menyebar pada level organisasi

• Dulu kausalitas tersebar dan tersimpan lewat dua lapis kepemilikan: penulis dan reviewer. Namun jika penulisan dilakukan AI dan peninjauan juga dilakukan AI, PR itu menjadi keadaan di mana kausalitasnya tidak ada di kepala siapa pun dalam tim
• "Bot review AI merangkum, lalu manusia men-skim dan memberi LGTM" hanya tampak seperti verifikasi, padahal itu sekadar keluaran lain tanpa kausalitas. Prinsip "kode yang saya buat, saya yang mengoperasikannya" pun runtuh

Selera hanya tumbuh di dalam kerusakan

• Ini adalah bantahan terhadap wacana "implementasi oleh AI, manusia cukup punya taste". Selera tidak tumbuh karena banyak membaca kode bagus, melainkan dari pengalaman ketika kode yang saya tulis sendiri rusak lalu saya menelusuri kausalitasnya di tempat
• Tulisan ini mengutip analogi palu dari Heidegger (hakikat alat baru tampak ketika alat itu rusak) dan kebijaksanaan praktis Aristoteles. AI bukan menghilangkan kerusakan, melainkan menghilangkan "pengalaman mengalami kerusakan", sehingga menempa tempat tumbuhnya selera menjadi tertutup

Di tempat magang yang terputus

• Abstraksi sebelumnya hanya "menyembunyikan" kausalitas, bukan melenyapkannya, sehingga tangganya masih ada. Namun di atas AI, tangga itu tidak terbentang dengan sendirinya. Apakah kemampuan seseorang akan tumbuh atau tidak ditentukan bukan oleh kemauan pribadi, melainkan oleh struktur tempat ia berada
• Orang yang memutuskan apakah tangga itu akan dipasang kembali secara artifisial di dalam tim adalah pemimpin

Resepnya harus berupa struktur tim

• Tetapkan sebagai aturan review bahwa "kode yang kausalitasnya tidak bisa dijelaskan tidak boleh di-merge", ubah makna LGTM menjadi deklarasi penerimaan bahwa "saya bisa menjelaskan kode ini", dan lakukan spot check acak

Mulai terapkan pemeriksaan

• Kembangkan sebagai kemampuan tim cara memegang desain di tangan manusia lalu menyerahkannya ke AI, termasuk menspesifikasikan batasan dan edge case
• Pilih titik pijak yang tidak akan pernah dilepas (core domain), ubah inefisiensi menjadi jalur pembelajaran yang disengaja, dan ukur bukan hanya kecepatan tetapi juga kepemilikan, sambil mewaspadai Hukum Goodhart agar metrik itu dipakai hanya sebagai panel instrumen, bukan KPI

Krisis pemimpin: pada akhirnya yang menyetujui tanpa bisa memverifikasi bisa jadi adalah saya

• Jika dua lapis penopang itu hilang, karat pada pemimpin bukan lagi masalah pribadi, melainkan default organisasi. Yang harus dijaga pemimpin bukan verifikasi total, melainkan daya pembeda untuk menilai apakah kausalitas yang dituliskan tim itu sungguh nyata
• Mungkin kita tidak bisa mengendalikan ada atau tidaknya pembiusan, tetapi kita bisa mengendalikan seberapa cepat pembiusan itu menyebar. Tujuannya adalah "membiarkan organisasi tetap mampu membedakan lebih lama sedikit"