Ironi AI dan Otomatisasi – Part 2
(ufried.com)- Berfokus pada bab kedua, ‘Approaches to solutions’, dari makalah tahun 1983 karya Lisanne Bainbridge berjudul “The ironies of automation”, serta mengeksplorasi wawasan yang dapat diterapkan pada otomatisasi berbasis AI
- Saat manusia mengawasi pekerjaan yang dijalankan oleh agen AI, keterbatasan kognitif dalam pengambilan keputusan cepat dan situasi penuh stres membentuk struktur risiko yang mirip dengan sistem kendali industri
- UI/UX agen berbasis LLM saat ini tidak cocok untuk mendeteksi kesalahan, dan perlu belajar dari prinsip desain kendali industri
- Karena paradoks pelatihan, makin sukses otomatisasi, makin penting pelatihan berkelanjutan dan berbiaya tinggi bagi pengawas manusia
- Di era agen AI, yang dibutuhkan bukan sekadar pengawasan, tetapi juga ‘kapabilitas kepemimpinan’, yang mengarah pada bentuk baru kolaborasi manusia-mesin
Batas AI otomatisasi dan penilaian manusia
- Dalam sistem kendali industri, respons diperlukan dalam hitungan detik, sedangkan otomatisasi pekerjaan white-collar memiliki risiko yang tidak seketika, tetapi tetap membutuhkan penilaian dan intervensi cepat
- Saat AI menghasilkan hasil dengan kecepatan supermanusia, manusia memerlukan dukungan kognitif pada tingkat yang setara untuk memahami dan memverifikasinya
- Budaya perusahaan yang berfokus pada efisiensi dan lingkungan penuh stres menurunkan kemampuan analisis manusia, sehingga deteksi kesalahan menjadi makin sulit
- Kesalahan dalam hasil AI dapat berujung pada konsekuensi serius seperti insiden keamanan, sehingga dibutuhkan desain sistem pemantauan pada tingkat yang mirip dengan kendali industri
Masalah UI terburuk
- Bainbridge menyatakan bahwa “dalam situasi yang menuntut pengenalan cepat terhadap kejadian berprobabilitas rendah, diperlukan dukungan buatan”
- Ini menunjukkan perlunya penguatan sistem peringatan untuk mengurangi masalah kelelahan pemantauan
- Metode pengelolaan armada agen AI saat ini adalah antarmuka yang tidak efisien karena manusia harus meninjau rencana sepanjang ratusan baris
- Kesalahan jarang terjadi, tetapi bisa sangat fatal, sehingga diperlukan perancangan ulang UI/UX yang berpusat pada deteksi kesalahan
- Perlu menerapkan prinsip desain visual dan alarm dari sistem kendali industri
Paradoks pelatihan
- Bainbridge menekankan pentingnya mempertahankan keterampilan manual, dan menunjukkan bahwa manusia harus secara berkala mengoperasikan sistem secara langsung
- Makin tinggi tingkat otomatisasi, makin cepat penurunan kemahiran manusia terjadi
- Pelatihan simulator sulit mereproduksi situasi kesalahan yang tidak terduga, sehingga diperlukan pelatihan yang berfokus pada strategi umum
- Seperti dalam kalimat, “adalah sebuah ironi mengharapkan kecerdasan dari manusia yang dilatih untuk mengikuti instruksi”, pengawas AI juga perlu terus melatih kemampuan menangani situasi pengecualian
- Makin berhasil otomatisasi, makin meningkat biaya pelatihan manusia, dan hal ini tidak bisa diatasi hanya dengan logika penghematan biaya sederhana
Dilema kepemimpinan
- Pengawasan agen AI bukan sekadar pemantauan, melainkan peran kepemimpinan melalui pemberian instruksi, koordinasi, dan umpan balik
- Manusia tidak lagi mengelola eksekusi langsung, melainkan mengelola hasil secara tidak langsung, yang menuntut peralihan ke cara kerja baru
- Sebagian besar praktisi akan mengelola agen tanpa pelatihan kepemimpinan, dan nasihat seperti “gunakan prompt yang lebih baik” tidaklah cukup
- Diperlukan pendidikan kepemimpinan AI, yang memiliki struktur serupa dengan pelatihan kepemimpinan manusia yang sudah ada
- Sampai agen di masa depan menjadi cukup canggih, penguatan kapabilitas kepemimpinan bagi pengawas akan tetap esensial
Kesimpulan: ironi sejati dari otomatisasi
- Seperti kesimpulan Bainbridge, manusia tanpa tekanan waktu adalah pemecah masalah yang unggul, tetapi di bawah tekanan efisiensinya turun drastis
- Otomatisasi tidak menghilangkan kesulitan manusia, melainkan justru menuntut kecanggihan teknis yang lebih tinggi dan investasi lebih besar pada kemampuan manusia
- Wawasan dari 40 tahun lalu masih tetap relevan di era agen AI, dan keseimbangan kolaborasi manusia-mesin perlu didefinisikan ulang
- Kemajuan otomatisasi AI bergantung bukan hanya pada teknologi, tetapi pada perancangan ulang peran manusia
1 komentar
Komentar Hacker News
Saya sangat menyukai ringkasan penulis ini tentang makalah Bainbridge tahun 1983
Saya sempat mencoba menerapkan ‘ironi’ dalam otomasi industri pada agen AI, tetapi tidak bisa merangkumnya sejelas ini
Makalahnya sendiri singkat, tetapi padat sehingga sulit dibaca, dan layak dibaca sambil mengikuti PDF aslinya
Terutama kalimat “sistem otomasi saat ini berdiri di atas keterampilan para pekerja manual di masa lalu” adalah inti utamanya
Artinya, untuk menggunakan AI dengan baik dibutuhkan programmer yang terampil, tetapi untuk memperoleh keterampilan itu seseorang harus benar-benar melakukan pemrograman sendiri, yang menunjukkan ironi pertama
Tulisan ini penuh wawasan dan sangat saya rekomendasikan
Hasil budaya seperti seni dan tulisan pada dasarnya bukan pemecahan masalah, melainkan tindakan ekspresi
Namun AI memakai data seperti ini untuk pelatihan, menggantikan kerja dan kompensasi para kreator, sekaligus mencemari ‘commons’ data pelatihan
Pada akhirnya kita harus membayar biaya kepada para kreator, atau model akan makin menjauh dari realitas budaya kontemporer
Saat ini kita hanya berada pada titik masalah sirkular sambil menunggu akibatnya muncul
Setelah itu pun, mereka harus terus mengalokasikan persentase waktu tertentu untuk ‘proyek manual’ agar keterampilannya tetap terjaga
Namun tetap ada pertanyaan apakah ini benar-benar mempercepat segalanya dan membuat dunia lebih baik
LLM telah mencapai tingkat yang menakjubkan, tetapi tidak menciptakan abstraksi atau paradigma baru dan hanya menghasilkan produk sampingan yang dibuat dengan baik
Akibatnya manusia jadi kurang merasa perlu menciptakan metodologi baru
Mungkin suatu hari LLM penalaran akan menyelesaikan masalah ini
Otomasi AI tidak menghilangkan kesulitan manusia, melainkan memindahkannya ke tempat lain
Bahkan membuatnya kurang terlihat dan meningkatkan risikonya
Pada akhirnya, meskipun manusia turun tangan, penyesuaian lanjutan tetap banyak dibutuhkan
Para pekerja manual di masa lalu sudah pensiun, dan operator pabrik saat ini tidak punya pengalaman pengoperasian manual
Sebagai gantinya, mereka punya keterampilan tentang ‘apa yang harus dilakukan ketika mesin rusak’
Banyak sistem juga tidak memungkinkan operasi manual penuh, tetapi otomasi pabrik tetap berhasil, dan karenanya produk menjadi murah dan melimpah
Tulisan ini membahas dua masalah yang muncul saat memakai agen AI
Pertama, ketika agen berbuat salah, pakar manusia harus segera turun tangan, tetapi karena tidak lagi mengerjakan pekerjaan itu secara langsung, degradasi keahlian terjadi dengan cepat
Kedua, pakar harus menjadi pengelola sistem agen, tetapi karena itu peran yang tidak familier, mereka merasakan alienasi pekerjaan
Pada akhirnya otomasi memang meningkatkan efisiensi, tetapi membuat intervensi manusia lebih sulit, sehingga bukannya sepenuhnya menggantikan manusia, justru menambah kompleksitas
Dulu saya mengotomatisasi laporan Excel ke PowerBI, dan selama beberapa bulan hasilnya salah
Karena sudah otomatis, naluri untuk memverifikasi menghilang, dan pelacakan error menjadi jauh lebih sulit
Karena itu saya menekankan bahwa saat melakukan otomasi, rutinitas verifikasi harus selalu dipertahankan
Generasi layar sentuh bisa menggunakannya tanpa masalah, tetapi ketika sesuatu bermasalah, generasi lama jauh lebih diuntungkan
AI juga sama; jika tidak sempurna, pada akhirnya intervensi pakar tetap diperlukan
Hanya saja peran itu akan muncul sesekali, seperti montir mobil
Bahkan ketika otomasi berjalan, keterampilan manusia tetap dibutuhkan
AI mungkin menghasilkan rencana yang sebagian besar baik, tetapi ketika sesekali mengandung kesalahan fatal, manusialah yang harus menangkapnya
Pada akhirnya otomasi lain menutupinya, lalu di atasnya muncul otomasi lagi
Melihat struktur yang berulang seperti ini, rasanya saya perlu membaca ulang Das Kapital karya Marx
Ini mengingatkan saya pada fakta bahwa “kalkulator cepat dan akurat, tetapi kita tetap harus mempelajari prinsip matematika”
Otomasi pemrograman berada di jalur kritis yang jauh lebih besar daripada kalkulator sederhana, sehingga risiko degradasi keterampilan juga besar
AI tidak pernah benar-benar menyerah pada masalah, sehingga kebutuhan akan pakar akan selalu ada
Yang penting adalah kemampuan mengetahui angka apa yang harus dihitung
Developer muda bahkan tidak bisa menulis rutinitas dasar sendiri, dan hampir tidak ada orang yang bisa menangani driver C
Ini tulisan yang menarik, tetapi sayang dalam praktiknya programmer seolah hanya dipandang sebagai orang yang menangkap kesalahan AI
Kenyataannya, sebagian besar waktu masih dipakai untuk memrogram AI
AI tidak tahu apa yang harus dibuat, atau kapan sesuatu yang ada perlu diubah
Jadi berbeda dengan manufaktur, dalam pemrograman manusialah yang tetap harus merancang pipeline produksi
Industri penerbangan sudah lama menghadapi ironi otomasi seperti ini
Autopilot menjalankan sebagian besar penerbangan, tetapi pilot berlatih pendaratan manual setiap bulan
Berkat itu mereka bisa mempertahankan keterampilan sambil tetap menikmati manfaat otomasi
Sebaliknya, industri software mengutamakan produktivitas jangka pendek, jadi pelatihan seperti ini tidak didorong
Secara pribadi saya juga berencana terus melakukan coding manual, tetapi sulit mengharapkan seluruh industri melakukan hal yang sama
Sebagai catatan, di dunia penerbangan pun masalah ini tetap ada — contoh yang representatif adalah kecelakaan jatuh Air France Penerbangan 447
Tulisan terkait: The Long Way Down – Air France Flight 447
Makalah Bainbridge menarik, tetapi kuliah “Children of the Magenta” yang muncul setelahnya lebih praktis
Video YouTube itu membahas pelatihan otomasi untuk pilot
Pesawat tempur modern (F-22, F-35, dll.) dirancang agar pilot lebih fokus pada pelaksanaan pertempuran daripada menerbangkan pesawat
Dulu sebagian besar latihan adalah pendaratan, tetapi sekarang dengan bantuan komputer hal itu sudah distabilkan, sehingga pilot fokus pada penilaian strategis
Dalam pemrograman pun sama; semakin berkembang AI, semakin banyak waktu yang akan dipakai manusia untuk analisis masalah taktis
Akan lebih mudah dipahami jika asisten coding AI dianalogikan dengan tahapan otomasi SAE pada mobil
Saat ini kita berada di Level 2~3, di mana pengawasan dan tanggung jawab manusia masih diperlukan
Sebelum mencapai otomasi penuh (Level 5), masa transisi ini adalah yang paling berbahaya
Pada akhirnya, karena tekanan persaingan, semua orang akan bergerak ke Level 4 ke atas atau tersingkir
Saya meragukan pernyataan “kita menerima cukup banyak pelatihan kepemimpinan sebelum diberi peran kepemimpinan”
Dalam praktiknya, hal seperti itu jarang terjadi
Saya juga merasakan degradasi keterampilan
Reaksi pertama saya sekarang adalah memakai LLM, jadi ini terasa seperti zaman yang menuntut pengendalian diri yang sadar, seperti olahraga atau menjaga pola makan
Hanya sebagian orang yang akan mampu menjaga keseimbangan ini dengan baik
Ini bukan soal pengendalian diri, melainkan soal menjaga batas minimum pemahaman
Ungkapan “kalau tidak berhasil, berarti kita harus menulis prompt dengan lebih baik” terasa terlalu akrab
Kalimat itu tepat menunjukkan pelimpahan tanggung jawab kepada pengguna AI seperti yang terjadi sekarang