Demam AI sedang meruntuhkan pengambilan keputusan di seluruh dunia

• Tingkat keberhasilan proyek AI yang diikuti atau diamati secara tidak langsung oleh Hermit Tech selama satu setengah tahun adalah 0%, dan perusahaan menjadikan adopsi AI itu sendiri sebagai tujuan strategis alih-alih hasil nyata
• Chatbot internal tidak dipakai karena dokumentasi yang buruk, dan chatbot untuk pelanggan bahkan tidak benar-benar mengukur apakah masalah terselesaikan, tetapi karena eksekutif, karyawan, dan vendor sama-sama tidak punya insentif untuk mengungkap kegagalan, pengumuman soal peningkatan produktivitas terus bermunculan
• Di organisasi dengan lebih dari 500 orang, meragukan manfaat AI bisa membahayakan promosi dan pekerjaan, dan karyawan mengemas pekerjaan yang tidak memakai AI seolah hasil AI atau secara sengaja menaikkan penggunaan token untuk memenuhi metrik evaluasi
• Eksekutif juga memilih diam karena membantah klaim pelanggan, dewan, atau rekan kerja bisa membuat mereka kehilangan kontrak atau jabatan, sehingga masalah koordinasi ini saling memperkuat capaian yang dibesar-besarkan dan investasi yang tidak perlu
• Jika setiap bisnis, perekrutan, dan permintaan anggaran harus memuat unsur AI, pembelian dan komunikasi normal akan terhambat, sehingga pelaksana lapangan perlu memverifikasi fakta lewat wawancara tertutup dan survei anonim, dan jika situasi sudah membeku mereka perlu menyiapkan pindah kerja atau beralih menjadi kontraktor

---

Kegagalan investasi AI yang teramati

• Selama setahun terakhir, Hermit Tech menangani penjualan perusahaan dan berbicara dengan sekitar 300 ahli di berbagai belahan dunia, sehingga melihat situasi adopsi AI di organisasi swasta maupun publik
• Semua proyek AI yang diikuti tim selama satu setengah tahun atau yang terlihat secara tidak langsung saat mengerjakan hal lain gagal, dan sekalipun ada contoh sukses, itu dinilai lebih mendekati pengecualian daripada hasil umum
  • Tim menolak semua pekerjaan implementasi AI dan meminimalkan eksposur agar hilangnya OpenAI pun tidak berdampak langsung pada kontrak yang ada saat ini
• Walaupun alat AI bisa mempercepat tugas tertentu, cara dan skala investasi saat ini dinilai tidak masuk akal
  • Kemampuan perusahaan secara umum dalam menjalankan proyek perangkat lunak rendah, sehingga tetap membawa faktor-faktor kegagalan yang lama
  • Proyek AI juga memiliki kemungkinan gagal tambahan karena teknologinya masih baru
  • Perusahaan yang mampu merilis perangkat lunak secara stabil sambil menanggung risiko-risiko ini pun jarang

Kepentingan yang menutupi kegagalan

• Dewan, eksekutif, karyawan, vendor, dan konsultan semuanya punya insentif untuk membuat keberhasilan proyek AI tetap kabur
  • Eksekutif yang mengakui kegagalan bisa tersingkir dari jabatannya
  • Karyawan yang jujur menyampaikan masalah bisa dipecat atau masuk target pengurangan karyawan
  • Beberapa perusahaan terbuka mengumumkan peningkatan produktivitas AI padahal selain membeli lisensi Copilot, mereka nyaris tidak melakukan hal lain
• Bahkan pertanyaan dasar seperti tujuan proyek, siapa penggunanya, dan hasilnya seperti apa bisa dianggap sebagai serangan terhadap rantai komando
  • Saat proyek masih berjalan, kegagalan belum terlihat sehingga jawabannya kadang terdengar seolah semuanya baik-baik saja
  • Hermit Tech menilai sulit untuk campur tangan sebelum krisis benar-benar terjadi, dan tidak menjadikan proyek AI yang sedang berjalan sebagai masalah utama kecuali pelanggan secara eksplisit meminta nasihat tentang strategi data umum
• Pendekatan ini didasarkan pada prinsip Gerry Weinberg: “Consulting is the art of influencing people at their request”

Keterbatasan chatbot internal dan pelanggan

• Proyek AI yang paling umum di perusahaan adalah chatbot LLM untuk karyawan internal atau pelanggan
• Chatbot internal hampir tidak pernah benar-benar dipakai luas
  • Jika kualitas dokumen perusahaan buruk, LLM tidak bisa mendapatkan informasi yang dibutuhkan untuk menjawab
  • AI juga tidak bisa menggantikan masalah dokumentasi, karena hanya dapat memanfaatkan informasi yang memang sudah dicatat atau dibuat dapat diakses
• Chatbot pelanggan juga jarang memberi pengalaman yang memuaskan, dengan pengecualian seperti transkripsi real-time saat konsultasi medis
• Penanggung jawab proyek cenderung menghindari metrik dasar seperti apakah alat itu benar-benar dipakai, atau memilih metrik yang mudah dimanipulasi

• Kasus dukungan pelanggan Mitsubishi

  • Setelah kendaraan rusak, saat menghubungi Mitsubishi, sistem konsultasi otomatis dengan suara alami dan respons cepat mencatat masalah lalu memberi tahu bahwa balasan akan segera datang
  • Setelah 6 bulan, balasan itu tidak pernah datang
  • Tidak bisa dipastikan apakah permintaan tercatat sebagai error atau dihitung selesai tanpa campur tangan manusia
  • Di metrik sistem ini bisa terlihat sebagai keberhasilan, tetapi hasil nyatanya adalah pelanggan memutuskan tidak akan membeli kendaraan Mitsubishi lagi

Strategi organisasi yang berubah menjadi pengakuan iman AI

• Di organisasi berukuran lebih dari 500 orang yang diamati, makin sering muncul situasi di mana untuk mempertahankan promosi dan pekerjaan, orang harus berulang kali menyatakan keyakinan bahwa AI akan mengubah segalanya di bisnis tersebut
• Yang dituntut bukan ide pemanfaatan yang konkret, melainkan pernyataan yang nyaris seperti pengakuan iman
  • Ucapan semacam ini lebih sering datang dari jabatan nonteknis, tetapi teknisi pun ikut menyetujui demi mendapatkan simpati
  • Ada kasus orang berkata “AI sedang mengubah segalanya” tetapi sama sekali tidak bisa menunjukkan satu pun contoh penggunaan LLM atau perubahan kerja di organisasinya
  • Ada juga kasus seorang eksekutif yang menyusun strategi teknologi organisasi dengan pendapatan tahunan lebih dari 2 miliar dolar AS berpusat pada AI, tetapi mengakui belum pernah sekali pun memakai alat AI termasuk ChatGPT
• Sebagian memang sengaja melebih-lebihkan agar terlihat seperti pemikir, tetapi dinilai lebih berbahaya jika orang tanpa latar teknis benar-benar percaya pada kata-katanya sendiri
• Ada organisasi yang memecat pekerja terbaiknya karena mereka menghasilkan kinerja tanpa LLM, dan keputusan yang sama dipertahankan bukan hanya untuk promosi eksternal, tetapi juga dalam pendanaan sendiri dan strategi internal

Penggunaan AI yang dipaksakan kepada ahli teknis

• Baik pihak yang skeptis terhadap AI maupun yang mendukungnya sama-sama setuju bahwa pemaksaan penggunaan LLM oleh manajemen adalah strategi yang buruk
  • “Contra Ptacek’s Terrible Article On AI” menilai kegunaan LLM berbeda dari “My AI Skeptic Friends Are All Nuts” karya Thomas Ptacek
  • Namun, kesimpulannya sama: tidak pantas memaksakan cara kerja tertentu kepada staf profesional
• Ketika eksekutif nonteknis mewajibkan prosedur dan alat tertentu tanpa persetujuan para ahli, masalahnya mirip dengan CEO rumah sakit atau perusahaan sipil yang langsung memerintah tenaga profesional soal teknik medis atau konstruksi

• Pencucian AI dan papan peringkat token

  • Karena manajer tetap tidak puas bila hasilnya bagus tetapi AI tidak dipakai, karyawan bekerja dengan cara lama lalu secara palsu melaporkan bahwa Claude yang mengerjakannya
  • Sebagian organisasi menjalankan papan peringkat yang memberi penilaian lebih tinggi jika biaya AI atau konsumsi token lebih besar
  • Insinyur yang menangani optimasi sistem membuat LLM mengulang prompt sendiri agar konsumsi naik
  • Bahkan ketika output dinilai tidak layak dirilis, mereka membuangnya lalu mengerjakan hal lain sambil sekadar mengisi angka penggunaan
  • Seorang insinyur mengatakan ia menyuruh AI menulis ulang seluruh salinan repositori Go ke Zig lalu mengabaikan hasilnya
  • Orang-orang yang memanipulasi metrik seperti ini tidak tertangkap, sementara ada kasus hanya mereka yang secara mencolok meragukan strategi itulah yang dipecat
  • Karyawan pada akhirnya belajar bahwa memuji strategi AI manajemen adalah cara aman untuk bertahan

Cara demo AI mengalahkan penilaian pembelian

• Salah satu infrastruktur utama yang didistribusikan Hermit Tech kepada pelanggan adalah database analitik berbasis penggunaan Snowflake
• Cortex milik Snowflake adalah lapisan AI yang memanfaatkan metadata seperti arti kolom data untuk menanyai database perusahaan dengan bahasa alami
  • Ini bisa menjawab pertanyaan seperti “Berapa penjualan minggu lalu?”
  • Dari presentasi staf Snowflake, penulis ingat bahwa bahkan dalam konfigurasi ideal, karena kompleksitas data perusahaan skala besar, akurasinya sekitar 92%
  • Jika sekitar 1 dari 10 angka yang dilihat CFO bisa salah, itu dianggap tidak cocok untuk produksi dan juga bermasalah serius untuk pengelolaan deployment
• Meski begitu, Cortex sangat mudah dijadikan demo yang mengesankan

• Demo yang membuat peringatan diabaikan

  • Pelanggan yang awalnya tidak antusias pada proposal asli langsung ingin membeli setelah melihat demo kueri data dengan bahasa alami
  • Meski sudah diperingatkan dengan jelas bahwa ini tidak akan menghasilkan hasil yang mereka inginkan, mereka tetap hendak memusatkan anggaran pada chatbot, bahkan dengan mengesampingkan manfaat bernilai jutaan dolar yang bisa diperoleh lewat pendekatan non-AI
  • Hermit Tech menilai memanfaatkan celah penilaian pelanggan sebagai tindakan yang tidak bertanggung jawab dan juga berisiko besar bagi reputasi maupun hukum, sehingga menghentikan penjualan dan kemudian menghapus Cortex dari daftar demo
  • Demo itu dibuat hanya dalam sekitar 2 jam dengan memasukkan penjelasan data ke browser, tetapi bagi calon pelanggan termasuk perusahaan tercatat di ASX yang sudah mempromosikan pemakaian AI, hasilnya bekerja lebih baik daripada apa pun yang mereka peroleh dari investasi yang sudah ada
  • Setelah itu, semua calon pelanggan yang menunjukkan obsesi kuat terhadap AI, bukan sekadar rasa ingin tahu sementara, dihentikan relasi bisnisnya
  • Bukan hanya karena penolakan moral, tetapi juga karena sulit menghindari risiko reputasi dan hukum dalam proses kontrak
  • Lingkungan tata kelola yang mereka bangun juga berubah menjadi religius dan tidak efisien

Masalah koordinasi yang membelenggu eksekutif

• Sebagian eksekutif yang menangani bisnis AI besar atau membuat pernyataan publik yang berlebihan sebenarnya tidak percaya pada kata-kata mereka sendiri
  • Beberapa kepala AI di perusahaan dengan pendapatan berulang tahunan lebih dari 1 miliar dolar AS mengatakan mereka menganggap jabatan itu fiktif, tetapi tetap menerimanya karena itu satu-satunya jalur promosi di organisasi
  • Beberapa CISO diam-diam skeptis terhadap bisnis AI, tetapi takut menentangnya secara terbuka
• Seorang eksekutif di perusahaan Fortune 500 berkata bahwa saat eksekutif pelanggan mengklaim produktivitas naik 100 kali lipat, jika vendor membantahnya maka kepercayaan manajemen pelanggan bisa rusak dan kontrak perusahaan dapat dibatalkan
• Vendor juga adalah pelanggan dari vendor lain, sehingga pimpinan tiap perusahaan takut bahwa membantah klaim berlebihan pihak lain justru akan membuat mereka lebih dulu dirugikan
• Ini menciptakan masalah koordinasi yang membuat orang sulit jujur tentang hasil AI
  • Jika semua orang mempertahankan posisi lama, mereka bisa mempertahankan jabatan
  • Jika satu orang menyangkal capaian yang tidak sesuai fakta, itu bisa dianggap membuat rekan-rekannya tampak pembohong, pengecut, atau tidak kompeten, dan ia bisa dipecat
  • Posisi yang kosong kemudian diisi lagi oleh orang yang akan mengikuti sikap lama
  • Situasi bisa berubah jika semua orang mengakuinya secara bersamaan, tetapi tidak ada sarana untuk menyelaraskan hal itu
• Anggota dewan S&P 500 juga menunjukkan kecemasan bahwa mereka harus menuntut investasi AI agar tetap bisa mempertahankan posisi
  • Salah satu anggota berkata, “Berinvestasi sedini ini tampaknya memberi sedikit potensi naik dan hanya menambah risiko.”
  • Sekitar 2 tahun kemudian, perusahaan bernilai puluhan miliar dolar itu menjenamakan dirinya sebagai AI-native

Uji kemurnian AI yang harus dilalui semua bisnis

• Karena struktur yang membuat orang tidak bisa secara terbuka meragukan keyakinan terhadap AI, pengambilan keputusan normal di organisasi pun berhenti
• Karyawan dinilai dengan metrik yang mudah dimanipulasi seperti jumlah belanja AI, dan jika menolak pembelian yang tidak perlu mereka bisa dicurigai kurang setia pada strategi AI
• Semua usulan yang terdampak politik internal harus memuat unsur AI sekalipun nilainya tidak jelas
• Banyak proyek AI pada dasarnya hanyalah proyek lama yang ditambahi tahap AI agar lolos uji kemurnian organisasi

• Kasus migrasi dari Oracle ke Snowflake

  • Sebuah organisasi memindahkan database Oracle ke Snowflake sambil menambahkan tahap awal untuk mengubah Oracle SQL ke Snowflake SQL secara otomatis dengan LLM
  • Ketika otomatisasi gagal karena izin yang diperlukan tidak didapatkan, vendor mengonversi SQL secara manual
  • Penyebab gagalnya bukan kemampuan konversi LLM, melainkan kurangnya izin untuk otomatisasi
  • Karena ada sebagian kecil SQL yang tidak penting ditempel dari hasil konversi AI, seluruh proyek kemudian ditagihkan sebagai keberhasilan berbasis AI
  • Yang sebenarnya dibeli adalah migrasi database standar untuk mematikan sistem lama sebelum pembaruan lisensi
  • Ke atasan dilaporkan bahwa “sebagian besar anggaran dialokasikan ke AI dan target pun tercapai”

Nasib bisnis yang bahkan sulit diberi nama AI

• Proyek AI yang benar-benar murni, di mana LLM adalah satu-satunya mekanisme inti dan keberhasilan atau kegagalan bisa dinilai jelas dari tercapai tidaknya target angka tertentu, sangat jarang
• Jenis seperti ini terutama ditemukan di startup, tetapi sebagian di antaranya malah meminta Hermit Tech membuatkan produk di akhir percakapan penjualan meskipun produk itu sudah dipasarkan seolah selesai
• Jika unsur AI tidak bisa ditempelkan atau pengusul menolak membungkusnya secara palsu, permintaan anggaran menghilang atau semua dokumen harus ditulis ulang agar “cukup terasa seperti AI”
• Makin banyak perusahaan juga mewajibkan pembuktian bahwa AI sudah dicoba untuk menyelesaikan masalah sebelum meminta tambahan tenaga kerja
  • Jika seseorang mengatakan AI sudah dipakai tetapi tenaga manusia tetap dibutuhkan, ia bisa diklasifikasikan sebagai “orang yang tidak bisa memakai AI dengan baik” lalu menjadi target pengurangan karyawan
• Di luar segelintir perusahaan yang benar-benar menempatkan AI pada prioritas tertinggi yang nyata, organisasi besar makin sulit fokus pada pembelian perangkat lunak yang rasional, perekrutan talenta, pelaporan status proyek, dan pelaksanaan bisnis penting

Saat proyek tertentu harus diperbaiki

• Jika tujuannya mencapai proyek tertentu atau sasaran lain, bukan mengubah keyakinan AI seluruh organisasi, sebaiknya hindari benturan terbuka

• Percakapan satu lawan satu dan anonimitas

  • Sebaiknya jangan mengangkat masalah proyek AI di rapat kelompok
  • Karena setiap peserta takut terlihat skeptis di depan rekan kerja
  • Perlu mengatur wawancara satu lawan satu, menerima pandangan bahwa lingkungan AI mungkin terlalu panas, dan memberi tahu bahwa identitas pembicara akan dilindungi
  • Petunjuk yang memungkinkan rekan mengenali pembicara, seperti kutipan langsung, harus dihapus
  • Jika hanya sekitar 1 dari 6 orang yang mau menyampaikan masalah, mungkin lebih baik pindah ke organisasi atau proyek lain yang peluang perbaikannya lebih tinggi

• Menemukan perpecahan tersembunyi dengan evaluasi anonim

  • Survei anonim yang menilai peluang sukses bisnis yang sedang berjalan dari 1 sampai 10 bisa efektif
  • Hasil khas yang diamati adalah distribusi bimodal: setengah memberi nilai 3, sisanya sekitar 8
  • Perpecahan seperti ini bahkan muncul pada proyek yang sudah terlambat 3 tahun
  • Jika hasil ini ditunjukkan kepada CEO, itu bisa menegaskan bahwa informasi tentang status proyek sedang disembunyikan

• Mengapa pengguna nyata harus diselidiki

  • Sumber data satu-satunya yang bisa menilai hasil investasi adalah staf lapangan yang memakai alat itu dalam pekerjaan sehari-hari
  • Mereka harus didorong untuk bicara dalam lingkungan yang menghormati mereka, karena di organisasi besar bisa ada pihak yang tidak memandang bawahan sebagai manusia setara
  • Di satu pelanggan, terungkap bahwa para karyawan bahkan tidak tahu mereka telah diberi lisensi alat AI, sehingga dasar klaim produktivitas sebelumnya pun goyah

• Jangan bentrok langsung dengan keyakinan luas

  • Jika tujuannya memecahkan masalah tertentu, pernyataan menyeluruh seperti “AI mengubah segalanya” sebaiknya dibiarkan lewat dulu
  • Baru setelah memperoleh kepercayaan dari orang dengan jabatan tertinggi, penilaian realitas organisasi bisa ditantang
  • Kepercayaan dibangun dengan menurunkan kecemasan dalam makan bersama tertutup, bukan dengan mempermalukan lawan di depan umum
  • Sulit mengetahui siapa telah membuat janji publik apa sebelum masuk ke rapat
  • Seseorang yang sudah berkata “produktivitas meningkat 100 kali dibanding tahun lalu” mungkin sebenarnya ingin menarik ucapannya, tetapi tidak bisa karena gengsi
  • Bahkan pernyataan yang masuk akal seperti “LLM tidak boleh mendeploy kode tanpa tinjauan manusia” bisa memutus hubungan pada tahap awal
  • Jika tujuan kepentingan publik penting, strategi bertahan yang realistis pun bisa berupa menempelkan chatbot AI seharga 10.000 dolar pada bisnis inti lalu hanya menonjolkan bagian itu dalam rapat

Saat harus bertahan di organisasi

• Perlu menerima bahwa sulit untuk melawan situasi ini secara praktis, dan masalahnya bukan AI itu sendiri melainkan budaya perusahaan yang disfungsional
• Beralih dari pegawai tetap menjadi kontraktor bisa memberi bayaran lebih tinggi dan jarak dari politik internal, serta bahkan dalam situasi yang sulit ada tanggal akhir kontrak yang jelas
• Konsumsi berita AI perlu dibatasi secukupnya agar mengurangi kelelahan mental
  • Hindari tempat seperti Hacker News dan Reddit yang terus-menerus memasok kabar terkait
  • Baca hanya secukupnya untuk menjaga rasa realitas lalu berhenti
  • Bahkan saat mengeluh kepada teman, ada baiknya menjelaskan dulu tujuannya
• Jika seseorang memakai AI untuk tujuan yang tidak tepat tetapi tidak ada risiko fisik langsung, lebih baik mengiyakan saja dan lewatkan
• Jika sebagai programmer diminta pendapat tentang AI, kecuali lawan bicara itu bisa memengaruhi keputusan penting, disarankan menjawab singkat bahwa “ada unsur yang dibesar-besarkan” lalu mengganti topik

• Saat banjir kode AI mengambil alih pekerjaan

  • Jika harus terus meninjau PR buatan AI berkualitas rendah sepanjang 2.000 baris, dengan asumsi organisasi pada akhirnya akan menguras tenaga reviewer lalu memecatnya, Anda perlu segera mulai mencari kerja
  • Sulit meyakinkan pembuatnya untuk mengubah cara kerja, jadi lebih baik menyiapkan perpindahan saat energi masih ada
  • Meskipun pencarian kerja memperlambat kecepatan kerja, tanpa itu masalah yang sama akan muncul nanti akibat kelelahan dan depresi

• Saat manajer berbicara dengan kalimat buatan AI

  • Jika manajer menjawab dengan teks yang jelas-jelas dihasilkan AI, balaslah dengan cara yang sama untuk mengurangi beban mental sambil mencari pekerjaan baru
  • Manajer seperti ini mungkin tidak menganggap balasan AI dari karyawan sebagai tindakan tidak sopan, melainkan menilai positif penggunaan AI itu sendiri
  • Jika bahkan ada tuntutan untuk memaksimalkan penggunaan token, berarti Anda perlu bersiap keluar dari organisasi saat ini
  • Perusahaan yang masalahnya lebih ringan memang ada, tetapi sering kali berupa perusahaan kecil yang tidak tampak jelas di platform pencarian kerja, sehingga menemukannya bisa butuh berbulan-bulan dan harus dimulai lebih awal

Masalah yang akan bertahan dalam jangka panjang

• Bahkan jika gelembung AI saat ini suatu hari berakhir, sifat irasional yang sudah mengakar di kalangan pimpinan bisa aktif kembali lewat tren lain setelahnya
• Sebagian organisasi bisa tetap tertangkap secara ideologis sampai benar-benar runtuh, seperti kasus yang tak pernah lepas dari demam blockchain
• Untuk saat ini, dalam batas yang masih memungkinkan memulihkan penilaian normal, perlu mengumpulkan data privat dan pendapat lapangan, dan di organisasi yang tak bisa diubah, yang harus diprioritaskan adalah rasa realitas pribadi dan peluang bertahan hidup