Delusi Kolektif LLM di Tempat Kerja Kami

 (blog.avas.space)
6 poin oleh GN⁺ 4 jam lalu | 3 komentar | Bagikan ke WhatsApp
  • Catatan pengalaman pribadi menghadapi situasi paradoks di tempat kerja yang dilanda krisis dana, ketika anggaran untuk tugas inti dipangkas tetapi uang tetap mengalir untuk adopsi AI
  • Selama bertahun-tahun bonus dibatalkan dan tenaga kerja, lisensi, serta basis data dipotong, namun biaya untuk konsultan, workshop LLM, dan lisensi ChatGPT·Copilot langsung disetujui
  • Dalam rapat tingkat perusahaan yang diikuti ratusan orang, berbagai tim mencoba proyek LLM, tetapi tidak satu pun berhasil
  • Contoh penggunaan umum yang dipresentasikan hanya sebatas hal remeh atau berisiko, seperti menanyakan perasaan bot, merangkum menu makan siang 1 halaman, atau mengunggah email mencurigakan ke ChatGPT
  • Fenomena ini disebut sebagai delusi kolektif yang tak terkendali, dan dinilai sebagai momen runtuhnya kepercayaan karena hal-hal yang sebenarnya bisa dilakukan jika pimpinan mau ternyata selama ini sengaja dihalangi

Latar belakang situasi keuangan yang kontradiktif dan adopsi AI

  • Pemberi kerja berada dalam kondisi kekurangan dana kronis, dan posisi kosong tidak diisi melainkan dihapus begitu saja
    • Dua tahun lalu, bonus untuk karyawan berprestasi dibatalkan permanen
    • Sumber daya penting dipangkas dan hanya ada pemberitahuan untuk "cari cara sendiri"
    • Banyak departemen dipaksa lembur tanpa penambahan staf, dan demi penghematan biaya lisensi penting serta basis data dihapus
  • Meski begitu, pengeluaran terkait AI justru menjadi pengecualian
    • Anggaran tersedia untuk merekrut konsultan yang menganjurkan agar "all-in"
    • Anggaran tersedia untuk workshop dan seminar LLM eksternal selama beberapa tahun
    • Anggaran tersedia untuk lisensi ChatGPT dan Copilot sekaligus
  • Penulis menyoroti bahwa bonus karyawan dan dana pendukung kerja justru mengalir ke penipu, risiko keamanan, workshop tak berguna, dan teknofasis

Kegagalan total proyek LLM di seluruh perusahaan

  • Diadakan rapat berulang tempat tiap departemen mendaftarkan proyek LLM, menjalankan pilot, lalu mempresentasikan hasilnya
  • Sudah menghadiri semua rapat itu, tetapi tidak ada satu pun contoh yang benar-benar berhasil
    • Ratusan orang, banyak tim, para penggemar AI, dan berbagai jenis proyek ikut mencoba
    • Semua proyek berujung pada "tidak bisa dijalankan", "tidak menghemat waktu", atau "malah jadi lebih rumit"
  • Bahkan dengan workshop, "prompt engineering", GPT kustom, serta dokumen dan templat persiapan, tetap tidak bisa menghasilkan efek yang dapat direproduksi (bukan bidang pemrograman)
    • Setiap kali itu hanyalah pertaruhan yang kacau, dengan banyak waktu habis untuk penyetelan, pengulangan, verifikasi output, dan perbaikan kesalahan
    • Keluhan terbesar adalah dokumen tertentu tidak tercermin, halusinasi, serta kegagalan mengisi atau mengedit dokumen dengan benar
    • Bahkan pada lisensi Enterprise, batasannya tetap terlalu besar

Demonstrasi contoh penggunaan umum yang tak bermakna

  • Ada juga rapat presentasi contoh penggunaan umum untuk pekerjaan sehari-hari yang tidak terkait proyek tertentu
  • Fitur menanyakan kepada bot "bagaimana perasaanmu hari ini?" didemonstrasikan dengan serius
    • Itu bukan lelucon atau sindiran, melainkan dipresentasikan atas nama kesan futuristik dan manusiawi
    • Jika ini terjadi lima tahun lalu, usulan membayar langganan ribuan dolar untuk mengobrol kosong dengan bot pasti akan ditertawakan, dan ditekankan bahwa reaksi itu masih benar sampai sekarang
  • Didemonstrasikan contoh mengunggah menu kantin 1 halaman di intranet (lembar Excel) ke ChatGPT lalu menanyakan "makan siang hari Rabu apa"
    • Jawaban bot lebih panjang daripada membaca seluruh lembar itu sendiri
    • Mengunduh, mengunggah, dan menulis prompt memakan waktu lebih lama daripada langsung membaca lembar tersebut
    • Bot tidak diperlukan untuk informasi yang bisa dilihat sekilas
  • Sebagai contoh yang diajukan langsung oleh penanggung jawab TI, karyawan dianjurkan menyimpan email spam, phishing, atau lampiran mencurigakan ke desktop lalu mengunggahnya ke ChatGPT untuk diperiksa
    • Penulis menyoroti risikonya karena ini mendorong karyawan yang tidak terbiasa dengan teknologi untuk menyimpan file mencurigakan di laptop kerja

Efek Dunning-Kruger yang diperkuat AI

  • AI memperkuat efek Dunning-Kruger (Dunning-Kruger-Effect) pada orang, sehingga semua yang mereka coba tampak lebih cerdas dan lebih sah
    • Orang dapat melakukan pekerjaan biasa yang tidak bernilai sambil berpura-pura sedang melakukan sesuatu yang penting dan revolusioner
    • Para pendukung teknologi merasa diri mereka bagian dari revolusi besar dan membayangkan suatu hari para pengkritik akan meminta maaf
  • Penulis khawatir melihat orang yang bertanggung jawab dan kompeten berubah menjadi juru promosi perusahaan AI tanpa alasan yang jelas
    • Orang yang sebenarnya berkualifikasi merosot menjadi setara tenaga penjual keliling yang mengiklankan khasiat deterjen secara palsu

Hype murni dan runtuhnya kepercayaan

  • Meski tidak ada masalah konkret yang perlu diselesaikan dan setidaknya 90% karyawan tidak punya pekerjaan yang akan terbantu oleh Copilot dan sejenisnya, adopsi tetap dipaksakan
    • Masalah diciptakan di tempat yang sebelumnya tidak ada, dan upaya terus diulang demi menghabiskan token serta membenarkan langganan
    • Ini disebut sekadar alasan formal untuk bisa melapor ke atasan bahwa "setidaknya kami sudah mencoba"
  • Semua penggunaan dibenarkan atas nama "eksplorasi" dan "bermain-main", sambil mengecilkan dampak pemborosan waktu, pemborosan biaya, dan kekuatan di balik layar
  • Muncul pertanyaan tentang cepatnya adopsi AI
    • Di tempat yang selalu mengaku tidak punya uang, teknologi tidak stabil dengan biaya awal besar justru langsung lolos
    • Teknologi baru yang biasanya menghindari sektor publik kali ini justru mendapat seluruh perhatian
    • Organisasi yang biasanya butuh bertahun-tahun hingga puluhan tahun untuk mengadopsi perubahan, seketika memiliki infrastruktur dan kapasitas organisasi untuk AI
  • Ini menjadi "momen topeng terlepas" yang menunjukkan bahwa lambatnya perubahan organisasi bukanlah kondisi bawaan, melainkan rancangan yang disengaja
    • Hambatannya ternyata bukan sesuatu yang esensial, melainkan kebohongan sewenang-wenang
    • Bagi karyawan, ini menjadi momen yang sepenuhnya meruntuhkan kepercayaan

Tugas ke depan

  • Muncul pertanyaan mendasar tentang bagaimana bisa melupakan dan begitu saja melewati pengalaman ketika orang-orang dewasa yang dihormati di organisasi, atas nama "kemajuan", mempermalukan diri mereka sendiri
  • Budaya yang terasa seperti gaslighting berulang selama berbulan-bulan terbentuk, sampai membuat diri sendiri bertanya apakah sebenarnya yang gila adalah dirinya
  • Penulis mengatakan pengalaman ini tidak akan bisa dilupakan, dan menyebutnya sebagai "COVID keduaku"
  • Sebagai penutup, penulis mengatakan sungguh bersyukur bila ada orang yang tidak mengalami hal seperti ini di tempat kerjanya, dan memberi tepuk tangan kepada industri dan orang-orang yang menggunakan AI secara bijak hingga menghasilkan sesuatu yang baik
    • Namun karena situasi seperti di atas benar-benar ada, penulis meminta agar pengalaman tersebut tidak disangkal, supaya kegilaan itu bisa dikeluhkan bersama

Bacaan terkait

3 komentar

 
cnaa97 3 jam lalu

Mungkin ini upaya untuk bagaimanapun juga mempertahankan organisasi dan bertahan hidup, meskipun tidak ada hasilnya...
 
brilliant08 27 menit lalu

Kalau upaya itu sampai dikritik karena "dananya mengalir ke penipu, risiko keamanan, lokakarya tak berguna, dan teknofasis", rasanya itu bukan upaya yang bisa dibilang baik.
 
GN⁺ 4 jam lalu
Opini Lobste.rs

  • Tempat kerjaku juga tidak seburuk ini, tapi arahnya sama. Tidak ada uang untuk perekrutan baru atau kenaikan gaji, tapi selalu ada uang untuk konsultan bisnis, lisensi perangkat lunak COTS enterprise yang besar, dan langganan AI

    • Kedengarannya seperti bekerja di organisasi pemerintah yang berbasis di AS. Selain pemerintah, jarang ada yang memakai istilah COTS
      Bahkan kalau sedikit nada menyindirnya dihilangkan, tetap cukup umum bahwa bahkan di organisasi yang tidak sekaku pemerintah, anggaran untuk “membeli barang” lebih mudah didapat daripada anggaran untuk “membayar karyawan”

  • Yang digambarkan penulis adalah situasi di mana manajemen hampir secara fatal tidak kompeten dalam menjalankan bisnis
    Penulis perlu mencari pekerjaan baru dengan manajemen yang kurang tidak kompeten. Kalau itu sulit, perlu mengambil langkah lain demi bertahan dan menjaga kesehatan mental

    • Beberapa bulan lalu aku juga mendengar cerita yang cukup mirip dari teman-teman FAANG. Waktu itu masa ketika tokenmaxxing menjadi kebijakan
      Bukan berarti FAANG bebas dari ketidakmampuan fatal, tapi suasana seperti “Oh, jadi ini bisa merangkum email dan menu makan siang?!” ternyata jauh lebih tersebar luas daripada yang kukira

  • Secara keseluruhan, menurutku pengalamanku sedikit lebih positif

    1. Kalau dipakai secara sembrono, agen coding akan merusak codebase. Untuk prototipe kecil sekali pakai atau menggantikan SaaS yang benar-benar sampah masih oke, tapi tidak cocok untuk sistem yang serius. Claude Fable hanya akan membuat kekacauan yang jauh lebih besar
    2. Kalau dipakai secara bertanggung jawab, dibutuhkan pengendalian diri dan orang yang tepat, dan dalam kondisi itu agen coding bisa membantu. Hambatannya tetap kebanyakan pada manusia yang memahami kode dan menyelaraskan ekspektasi para pemangku kepentingan, jadi tidak se-transformasional seperti yang dibayangkan banyak orang. Meski begitu, kalau semuanya hilang, aku mungkin akan sedikit kecewa. Soalnya aku tidak ingin menulis sendiri draf kode pengujian untuk menghadapi API vendor yang aneh
    3. Untuk banyak pekerjaan data mining dokumen, aku jelas melihat keuntungan LLM yang murah dan bisa memproses dalam skala besar, selama tingkat kesalahannya bisa diterima
    4. Manajer menyukai kasus penggunaan AI yang secara wajar murah dan bekerja dengan baik
      Tapi saat melewati bandara dan melihat iklan terkait AI yang menargetkan eksekutif, ya, kondisi di luar sana memang benar-benar parah
    • Dalam beberapa hal ini mengingatkanku pada perdebatan static typing vs dynamic typing. Dengan tim yang tepat dan pengalaman yang cukup, orang bisa sangat produktif bahkan dengan bahasa seperti Clojure, tetapi ketika orang mulai menyalahgunakan bahasa itu dan sok pintar, hasilnya bisa menjadi kekacauan mengerikan yang mustahil dirawat
      Pemakaian LLM juga terasa sangat mirip dalam hal itu. Kalau paham apa yang bisa dilakukan alat ini dan bagaimana menerapkannya secara efektif, alat ini benar-benar bisa menghemat waktu, tetapi kalau tujuannya hanya memuntahkan kode secepat mungkin, hasil akhirnya adalah kekacauan yang sulit ditembus