1 poin oleh GN⁺ 22 jam lalu | 1 komentar | Bagikan ke WhatsApp
  • Tingkat keberhasilan proyek AI yang diamati atau diminta untuk diikuti selama 18 bulan terakhir adalah 0%, dan investasi tidak berbuah hasil karena ketidakpastian teknologi bertumpuk dengan buruknya pengelolaan proyek perangkat lunak yang sudah ada
  • Di organisasi dengan lebih dari 500 karyawan, sekadar meragukan manfaat AI saja dapat membahayakan promosi dan pekerjaan; karyawan pun menyesuaikan diri dengan tuntutan organisasi lewat AI washing dan manipulasi penggunaan token
  • Demo AI yang tampak impresif, seperti kueri data dengan bahasa alami, memicu antusiasme pembelian meski ada peringatan tentang akurasi dan keterbatasan operasional, bahkan dapat menimbulkan risiko reputasi dan hukum bagi penjual
  • Karena masalah koordinasi yang membuat pelanggan dan dewan direksi tidak bisa membantah klaim produktivitas yang saling dilebih-lebihkan, eksekutif yang skeptis pun secara terbuka mendukung investasi AI, dan unsur AI dipaksakan masuk bahkan ke bisnis non-AI
  • Untuk membenahi organisasi, diperlukan percakapan satu lawan satu, survei anonim, dan verifikasi di lapangan; karyawan yang sulit menghindari politik internal sebaiknya menyiapkan pindah kerja atau beralih ke kontrak sebelum habis tenaga oleh kode buatan AI

Kegagalan proyek AI yang diamati selama 18 bulan

  • Dari pengalaman menangani penjualan perusahaan dan sebagian besar pekerjaan teknis selama setahun terakhir, serta melakukan sekitar 300 percakapan dengan para ahli di seluruh dunia, para penanggung jawab di organisasi swasta maupun publik terlihat larut dalam AI tanpa rencana atau memilih diam
  • Alasan sulitnya memastikan hasil nyata proyek AI adalah karena dewan direksi, manajemen, karyawan, vendor, dan konsultan sama-sama tidak punya insentif untuk membuka kegagalan
    • Manajemen bisa kehilangan jabatan jika mengakui kegagalan
    • Karyawan bisa menjadi sasaran PHK atau restrukturisasi
    • Sebagian perusahaan terbuka membeli lisensi Copilot lalu mengumumkannya sebagai peningkatan produktivitas AI
  • Semua proyek yang diamati atau diminta untuk diikuti selama 18 bulan berakhir gagal; tim menolak semua pekerjaan implementasi AI dan hanya mempertahankan kontrak yang tidak secara langsung bergantung pada keberlangsungan OpenAI
  • Meski alat AI dapat mempercepat tugas tertentu, cara dan skala investasi saat ini tidak masuk akal
    • Semua faktor kegagalan proyek perangkat lunak biasa tetap ada
    • Karena ada risiko tambahan sebagai teknologi baru, proyek bisa gagal meski implementasinya dilakukan dengan benar
    • Hanya sedikit perusahaan yang punya kapabilitas pengiriman perangkat lunak cukup kuat untuk menanggung risiko ini

Mengapa chatbot internal dan untuk pelanggan tidak menghasilkan kinerja

  • Chatbot internal tidak mampu menghasilkan jawaban yang memadai karena kualitas dokumen perusahaan rendah, dan tingkat penggunaan nyata oleh karyawan juga tidak signifikan
  • Chatbot untuk pelanggan pun jarang memiliki contoh yang memuaskan; pengecualian yang ada adalah transkripsi real-time selama konsultasi medis
  • Para penanggung jawab proyek menghindari metrik dasar yang menunjukkan apakah alat benar-benar digunakan, dan memilih metrik yang mudah dimanipulasi
  • Bot suara bantuan kerusakan mobil Mitsubishi memiliki kualitas tinggi dari sisi suara yang alami, respons cepat, dan digunakan di lingkungan operasional nyata, tetapi tindak lanjut yang dijanjikan tidak pernah datang selama 6 bulan
    • Tidak jelas apakah permintaan itu hilang atau dihitung sebagai terselesaikan tanpa campur tangan manusia
    • Meski tidak ada kesalahan yang terlihat pada sistem, pelanggan memutuskan tidak akan membeli kendaraan Mitsubishi lagi
  • Sekadar menanyakan tujuan, pengguna, dan hasil proyek AI yang sedang berjalan dapat dianggap sebagai serangan terhadap sistem akuntabilitas, sehingga sulit untuk ikut campur sebelum krisis datang
  • Sesuai prinsip Gerry Weinberg bahwa konsultasi adalah pekerjaan memengaruhi orang ketika mereka memintanya, proyek tidak diintervensi kecuali ada permintaan eksplisit untuk nasihat tentang strategi data umum

Budaya organisasi yang tidak mengizinkan keraguan

  • Di semua perusahaan yang diamati dengan lebih dari 500 karyawan, untuk mempertahankan promosi dan pekerjaan seseorang harus berulang kali menyatakan kekuatan transformatif AI
  • Ini bukan sekadar mengusulkan pemanfaatan teknis, melainkan lebih mirip pengakuan iman religius; terutama dipimpin oleh orang nonteknis, dengan sebagian teknisi ikut menyambutnya
  • Ada kasus orang mengatakan “AI mengubah segalanya” tetapi tidak bisa menyebutkan satu pun contoh penggunaan LLM di organisasi atau hal yang benar-benar berubah
    • Bahkan ada eksekutif yang menyusun strategi teknologi berpusat pada AI untuk organisasi dengan pendapatan tahunan lebih dari 2 miliar dolar tanpa pernah menggunakan alat AI apa pun, termasuk ChatGPT
  • Yang lebih berbahaya daripada kebohongan promosi sederhana adalah ketika penanggung jawab tanpa latar teknis benar-benar percaya pada ucapannya sendiri
    • Dengan orang yang berbohong, negosiasi masih bisa dilakukan melalui kepentingan pribadi; tetapi penganut sejati tidak goyah bahkan oleh kepentingannya sendiri
    • Satu organisasi memecat para karyawan berkinerja terbaik karena mereka menghasilkan kinerja tinggi tanpa LLM
  • Meski berbeda posisi kritis dengan “My AI Skeptic Friends Are All Nuts”, ada kesepakatan bahwa mewajibkan penggunaan LLM oleh manajemen adalah strategi buruk dan memberi batasan kerja yang tidak wajar bagi karyawan profesional

AI washing dan metrik evaluasi yang bisa dimanipulasi

  • Ketika manajer lebih mementingkan apakah AI digunakan daripada hasilnya, para engineer mulai melakukan AI washing: bekerja dengan cara lama lalu melaporkan bahwa Claude yang melakukannya
  • Beberapa organisasi menjalankan papan peringkat yang memberi penilaian lebih tinggi jika konsumsi token lebih besar
    • Karyawan yang direkrut karena kemampuan optimasi sistem mengatur agar LLM mengulang prompt sendiri
    • Meski output tidak layak untuk deployment, mereka cukup memenuhi penggunaan token lalu mengerjakan hal lain
  • Seorang software engineer memenuhi kuota penggunaan dengan memberikan salinan repositori Go kepada AI, memintanya menulis ulang semuanya ke Zig, lalu membuang hasilnya
  • Yang benar-benar menjadi sasaran PHK adalah orang-orang yang secara mencolok mempertanyakan strategi AI, dan karyawan belajar bahwa memuji visi AI manajemen adalah pilihan yang aman
  • Sebagaimana eksekutif nonspesialis di rumah sakit atau perusahaan teknik sipil tidak memaksakan prosedur spesifik tanpa persetujuan ahli lapangan, manajemen nonteknis juga tidak pantas mewajibkan alat tertentu kepada profesional perangkat lunak

Demam pembelian yang dipicu demo Snowflake Cortex

  • Snowflake mengenakan biaya berbasis penggunaan dan dapat memproses data perusahaan biasa sekitar 1 menit per hari, sehingga digunakan sebagai database analitik; namun lapisan chatbot AI-nya, Cortex, tidak digunakan
  • Cortex mengubah pertanyaan bahasa alami seperti “berapa penjualan pekan lalu?” menjadi kueri database berdasarkan metadata seperti makna kolom data
  • Dalam presentasi karyawan Snowflake, akurasi pada pengaturan optimal sekitar 92%; pada data perusahaan besar, sekitar 1 dari 10 angka bisa salah, dan ada masalah serius dalam manajemen deployment
  • Demo ditampilkan disertai peringatan bahwa ini tidak cocok untuk lingkungan operasional, tetapi semua calon pelanggan yang sebelumnya suam-suam kuku langsung ingin membeli
    • Usulan bahwa nilai jutaan dolar bisa dibuat dengan pendekatan non-AI pun tersingkir dari perhatian
    • Karena memanfaatkan kekosongan penilaian rasional dianggap tidak bertanggung jawab, penjualan dihentikan dan Cortex dihapus dari daftar demo
  • Bahkan demo berkualitas rendah yang dibuat tim dalam dua jam lebih baik daripada hasil yang pernah dilihat calon pelanggan sebelumnya
    • Bahkan perusahaan terdaftar di ASX yang sudah mempromosikan pemanfaatan AI tidak punya hasil dari investasi sebelumnya untuk ditunjukkan
  • Calon pelanggan yang menunjukkan lebih dari sekadar rasa penasaran sesaat terhadap AI memperlihatkan perilaku tidak rasional dalam proses penjualan dan lingkungan manajemen yang nyaris memuja; karena kontrak dapat menimbulkan risiko reputasi dan hukum, semua transaksi ditinggalkan

Masalah koordinasi yang membuat eksekutif tidak bisa berhenti melebih-lebihkan

  • Sebagian penanggung jawab AI di perusahaan dengan pendapatan berulang tahunan lebih dari 1 miliar dolar mengaku merasa jabatannya pada dasarnya palsu, tetapi mengambilnya karena itu satu-satunya jalur promosi di organisasi
  • Seorang eksekutif dengan kapabilitas teknis di perusahaan Fortune 500 pun secara pribadi tidak mampu membela pernyataan publik perusahaan seperti “produktivitas 100 kali lipat”
  • Pendorong utama hiperbola bukanlah kalimat penjualan, melainkan harga diri eksekutif pelanggan dan hubungan kontrak
    • Jika eksekutif vendor membantah klaim produktivitas 100 kali lipat dari pelanggan, itu bisa dianggap sebagai serangan yang merusak kredibilitas eksekutif pelanggan
    • Jika akibatnya kontrak perusahaan besar dibatalkan, eksekutif vendor tersebut juga bisa dipecat
  • Dalam hubungan di mana perusahaan saling menjadi pelanggan dan pemasok, tidak ada eksekutif yang mudah menjadi pihak pertama yang mengatakan fakta sebenarnya
    • Jika semua ikut melebih-lebihkan, mereka bisa mempertahankan jabatan
    • Jika satu orang keluar dari barisan, ia seolah menjadikan rekan-rekannya pembohong, pengecut, atau tidak kompeten, sehingga bisa dipecat
    • Jika semua mengakuinya sekaligus, situasi bisa berubah, tetapi tidak ada cara untuk mengoordinasikan itu
  • Anggota dewan direksi perusahaan S&P 500 juga meragukan risiko investasi AI, namun merasa harus menuntut investasi demi mempertahankan posisi mereka
    • Seorang direktur menilai, “Berinvestasi sedini ini terasa seperti menanggung risiko tanpa potensi kenaikan”
    • Sekitar 2 tahun kemudian, organisasi bernilai miliaran dolar itu mulai mempromosikan diri sebagai AI-native

Uji kemurnian yang membungkus semua bisnis sebagai AI

  • Setiap proposal yang melibatkan politik internal organisasi harus menyertakan keselarasan dengan AI agar bisa disetujui, meski nilai nyatanya tidak jelas
  • Banyak proyek AI sebenarnya adalah proyek non-AI yang sudah ada lalu diberi unsur AI belakangan untuk lolos uji kemurnian
  • Dalam kasus migrasi database dari Oracle ke Snowflake, vendor menambahkan langkah otomatisasi dengan LLM untuk mengubah Oracle SQL menjadi Snowflake SQL
    • Karena kurangnya izin, otomatisasi gagal dan manusia mengonversinya langsung
    • Hanya karena sebagian SQL diterjemahkan oleh AI, seluruh proyek dilaporkan sebagai keberhasilan berbasis AI
    • Yang sebenarnya dibeli adalah migrasi database biasa untuk membuang sistem lama sebelum perpanjangan lisensi
  • Proyek AI sejati, di mana LLM adalah satu-satunya mekanisme inti dan keberhasilan dapat dinilai dengan angka spesifik, jarang ditemukan
    • Ini terutama muncul di startup, tetapi transaksi dihentikan karena berulang kali ada permintaan menjelang akhir proses penjualan untuk membuatkan produk yang sudah mereka promosikan sebagai selesai
  • Bisnis yang sulit ditempeli AI akan ditolak permintaan pendanaannya, atau komunikasinya tertunda sampai menjadi proposal yang “cukup terasa AI”
  • Ada juga perusahaan yang ketika meminta tambahan personel, mewajibkan bukti bahwa AI sudah dicoba lebih dulu
    • Jika seseorang berkata sudah menggunakan AI tetapi tetap butuh personel, ia bisa dikategorikan sebagai “orang yang salah menggunakan AI” dan dipecat
  • Kecuali segelintir perusahaan yang AI-nya benar-benar selaras dengan prioritas utama, organisasi besar menjadi sulit berfokus pada pembelian perangkat lunak yang tepat, perekrutan talenta, pelaporan proyek yang jujur, dan pengembangan bisnis baru yang rasional

Ketika perlu membenahi proyek tertentu

  • Masalah proyek AI lebih efektif dibahas dalam percakapan satu lawan satu daripada rapat kelompok
    • Di forum terbuka, setiap peserta takut terlihat skeptis di mata rekan kerja
    • Harus ada janji bahwa identitas akan disembunyikan ketika menyampaikan pendapat mereka ke tempat lain
    • Hindari cara yang memungkinkan sumber ditebak, seperti kutipan langsung
    • Jika hanya sekitar 1 dari 6 orang yang mau membicarakan masalah, mungkin lebih baik pindah ke organisasi dengan peluang perbaikan lebih tinggi
  • Untuk proyek yang sedang berjalan, bisa digunakan metode survei anonim dari Secrets of Consulting
    • Jika diminta menilai peluang keberhasilan dari 1 sampai 10, sebagian bisa memberi 3 dan sebagian 8, membentuk distribusi yang terpolarisasi
    • Kesenjangan seperti ini juga muncul pada proyek yang sudah terlambat 3 tahun, dan dapat menunjukkan kepada CEO bahwa informasi penting sedang disembunyikan
  • Keberhasilan nyata proyek harus dikonfirmasi kepada karyawan lapangan yang menggunakan alat setiap hari
    • Mereka harus dapat menyampaikan pendapat dalam lingkungan yang menghargai mereka
    • Di salah satu perusahaan pelanggan, karyawan bahkan tidak tahu bahwa lisensi alat AI telah diberikan kepada mereka, sehingga dasar klaim peningkatan produktivitas goyah
  • Jika situasinya adalah menyelesaikan masalah tertentu, sebaiknya jangan membantah proposisi menyeluruh seperti “AI mengubah segalanya”
    • Untuk menantang realitas organisasi itu sendiri, kepercayaan pimpinan tertinggi harus diperoleh lebih dulu
    • Alih-alih mempermalukan orang di depan umum, turunkan kecemasan dalam makan malam pribadi
  • Karena tidak mungkin tahu pernyataan publik apa yang pernah dibuat peserta rapat sebelumnya, bahkan akal sehat seperti “LLM tidak boleh men-deploy kode tanpa review manusia” dapat meruntuhkan pembentukan kepercayaan awal
  • Jika tujuan kepentingan publik lain harus dicapai dan pendekatan jujur tidak memungkinkan, bahkan menambahkan chatbot AI seharga 10.000 dolar ke proyek lalu hanya menonjolkan bagian itu dianggap sebagai opsi yang realistis

Ketika harus bertahan hidup alih-alih mengubah organisasi

  • Obsesi kolektif terhadap AI lebih merupakan masalah budaya perusahaan yang disfungsional daripada masalah teknologi itu sendiri, sehingga sulit bagi individu untuk melawan secara bermakna
  • Beralih dari karyawan tetap ke pekerja kontrak dapat memberi bayaran lebih tinggi dan menjauhkan dari politik internal, sekaligus memberi tanggal akhir yang jelas bagi lingkungan yang sulit ditahan
  • Konsumsi berita AI secukupnya saja dan hindari kanal yang terus-menerus memasok kabar terkait, seperti Hacker News dan Reddit, agar beban mental berkurang
    • Saat mengeluh kepada teman pun, jelaskan mengapa percakapan itu diperlukan dan berhenti pada kadar yang wajar
  • Jika orang di sekitar menggunakan AI secara tidak tepat untuk tujuan yang tidak berbahaya, disarankan untuk tidak berdebat dan melewatinya; jika dimintai pendapat sebagai programmer, jawab singkat “memang ada sisi yang dilebih-lebihkan” lalu ganti topik
  • Jika harus terus me-review PR buatan AI sepanjang 2.000 baris, mulailah mencari kerja saat energi masih tersisa, dengan asumsi akan kelelahan dan dipecat
    • Sulit meyakinkan pembuatnya untuk berhenti menghasilkan kode berkualitas rendah dalam jumlah besar
    • Perlambatan kerja dan ketidakpuasan manajer sulit dihindari; bedanya hanya terjadi sekarang karena mencari kerja, atau nanti karena kelelahan
  • Jika manajer menjawab dengan kalimat yang jelas-jelas dibuat AI, balaslah dengan AI untuk menghemat energi sambil mencari pekerjaan baru
  • Jika diminta memenuhi penggunaan token hingga maksimum, bersiaplah pindah kerja sebelum kehilangan rasa realitas
    • Perusahaan seperti ini bisa ada di organisasi kecil yang tidak mudah terlihat di platform rekrutmen
    • Karena bisa butuh berbulan-bulan untuk menemukannya, mulailah lebih awal

1 komentar

 
GN⁺ 22 jam lalu
Komentar Hacker News
  • Sebagian besar dari kita sempat cukup yakin bahwa AI akan sepenuhnya merevolusi masyarakat dan membawa singularitas, tetapi kenyataannya tidak demikian. Alih-alih mengakui kesalahan dan mengevaluasi ulang, kita malah memaksakan AI ke setiap celah sambil bermain peran masa depan dan menyebutnya kemajuan
    Ini mirip anak tahun 1990-an yang percaya bisa jadi hacker hanya dengan memakai Nintendo Power Glove, dan ini bukan singularitas. Semoga demam ini berakhir dan semua orang kembali ke masa menunggu solusi ajaib berikutnya

    • Sulit memahami bagaimana orang bisa berpikir kita akan kembali ke dunia sebelum LLM. Saya jadi bertanya-tanya apakah mereka belum pernah mencobanya lagi sejak Opus 4.5
      Bagi saya yang sudah keluar dari industri software dan tidak bisa coding 40 jam setiap minggu, AI agen adalah lompatan teknologi setara mesin pencari, papan buletin elektronik, dan compiler. Saya bisa menyuruh Claude Code menyiapkan SMTP homelab, memodernisasi dan menandatangani aplikasi Android 2017, serta mengatur runner GitHub Actions untuk berbagai OS dan arsitektur, lalu hasilnya sudah jadi saat saya sedang mencuci piring
      Justru pihak yang menyangkal bahwa ini penting tampak terjebak dalam psikosis terhadap psikosis AI. Meski kecerdasan model mentok di batas sekarang, ini sudah merupakan teknologi yang mengubah permainan
    • Tidak ada revolusi yang berjalan persis seperti direncanakan atau dibesar-besarkan, dan setelah dimulai ia berkembang sebagai hasil perilaku manusia, tetapi dalam bentuk yang tidak dirancang manusia
      Individu akan cukup tepat memanfaatkan LLM dalam pekerjaannya, sambil tetap membuat banyak kesalahan karena tidak benar-benar memahami pekerjaannya sendiri maupun hasil yang diinginkan orang lain. Para eksekutif yang hampir tidak memakai teknologi selain email, SMS, dan telepon akan terus bicara tanpa memahami teknologinya
      Tidak ada yang tahu hasil akhirnya, tetapi cukup pakai Claude 5 menit saja dan sulit membayangkan semua pekerjaan kantoran akan tetap sama seperti dulu
    • Bahkan saat remaja pun singularitas tidak masuk akal bagi saya. Saya mempertanyakan mengapa kemampuan AI yang berjalan di atas hardware dan software buatan manusia tiba-tiba akan meningkat secara astronomis
      Bahkan jika sudah setara otak manusia, untuk menyamai total output masyarakat manusia, efisiensinya masih harus naik beberapa orde besaran lagi, dan baru setelah itu bisa melampaui laju kemajuan manusia. Sekalipun singularitas AI mungkin terjadi, percepatannya bisa memakan waktu seumur hidup
    • Singularitas hanyalah salah satu dari beberapa kemungkinan yang diajukan sejumlah tokoh ternama. Jalur perkembangan AI sangat beragam, dan akan ada banyak arah yang tidak kita perkirakan
    • Orang tampaknya memperkirakan laju perubahan terlalu cepat. Revolusi Industri pun butuh ratusan tahun dari mesin uap Newcomen tahun 1712 sampai mobil produksi massal
      AI juga butuh sekitar 75 tahun sejak uji Turing diusulkan pada 1950 sampai muncul sistem yang tampaknya telah melaluinya, jadi kita perlu memberinya lebih banyak waktu
  • Saya setuju dengan bagian yang mengatakan, “organisasi yang menyuruh Anda meninjau PR 2.000 baris berisi kode AI yang mengerikan pada akhirnya akan membuat Anda burnout lalu memecat Anda, jadi carilah pekerjaan baru seolah-olah Anda sudah dipecat.” Semakin luas pengembangan berbasis agen diadopsi, saya rasa hal seperti ini akan makin sering terjadi

    • Jika Anda memimpin engineering, Anda harus menyelesaikannya sendiri lewat pelatihan, perbaikan proses, pemeriksaan kualitas otomatis, dan perencanaan yang lebih baik. Menutup telinga dan menolak bukan pendekatan yang berkelanjutan
      Anda harus mengatur dan mencari syarat untuk menaikkan throughput dua sampai tiga kali lipat, lalu fokus pada bottleneck dan bagian yang paling sulit. Saya bicara sebagai orang yang benar-benar pernah melakukannya
  • Pernyataan bahwa “semua proyek AI yang diamati selama satu setengah tahun gagal sehingga tingkat keberhasilannya 0%” terasa berlebihan dan mengurangi kredibilitas. Yang disebut AI mencakup rentang luas, dari expert system sampai LLM, transformer, dan diffusion model
    Peningkatan produktivitas terlihat pada semantic search, pembuatan konten dengan diffusion model, bahkan linear regression dalam konteks supervised learning. Bahkan jika dibatasi pada transformer LLM yang belakangan menghidupkan kembali minat, proyek kecil untuk mengotomatisasi tugas sederhana dan membosankan umumnya berhasil
    Proyek ambisius yang menuntut kemampuan di atas kapasitas model mudah gagal dan biasanya bisa diprediksi sejak awal, tetapi sebagian yang berada di batas kemungkinan tetap merupakan proyek R&D yang sah

    • Kalau melihat catatannya, mereka menyebut telah menolak 100% proyek AI yang diminta untuk mereka tinjau. Di situs mereka, mereka menjual konsultasi untuk memulihkan proyek yang sedang bermasalah, dan bahkan menjadikan “teknik kuno” yang dipelajari dari buku sebelum 2000 sebagai keunggulan
      Ini adalah bias seleksi: mereka beriklan hanya kepada perusahaan yang sedang gagal karena tidak punya keahlian internal, lalu menulis bahwa semua proyek yang mereka lihat gagal. Mereka bahkan menolak memberi bantuan, sehingga peluang berubah menjadi kisah sukses pun tertutup
    • Penulisnya memang sering memakai hiperbola. Judul tulisan sebelumnya juga seperti “I Will Fucking Dropkick You If You Use That Spreadsheet”(https://ludic.mataroa.blog/blog/i-will-fucking-dropkick-you-...) dan “I Will Fucking Piledrive You If You Mention AI Again”(https://ludic.mataroa.blog/blog/i-will-fucking-piledrive-you...)
      Dia tampaknya tidak menyukai gaya bicara korporat yang sopan, tetapi saya suka gaya tulisannya, dan dia juga sering menawarkan sudut pandang yang tajam yang melawan kebiasaan industri
    • Kita harus sangat berhati-hati saat mengklaim peningkatan produktivitas. Sebagian alur kerja bisa dipercepat, tetapi bagian lain bisa melambat, dan peningkatan keseluruhannya masih belum diukur dan diverifikasi secara empiris
      Metrik seperti jumlah baris kode, unit test, dokumentasi, dan kecepatan PR memang naik, tetapi dampak bisnis nyata masih belum jelas. Kenaikan jumlah PR mungkin mempercepat peluncuran fitur, tetapi juga bisa memperlambat review atau merusak pengalaman pengguna lewat bug. Perusahaan tidak menjelaskan bagaimana lebih banyak kode benar-benar terhubung ke pendapatan
    • Produktivitas individu karyawan yang meningkat dengan Claude Code atau Codex sangat berbeda dari proyek AI ketika perusahaan membangun software kustom di atas LLM
      Yang pertama cukup mudah memberi hasil berguna bagi software engineer selama mereka tidak secara aktif menolak teknologinya. Yang kedua sangat sulit karena harus dibangun di atas fondasi LLM yang aneh, dan proyek yang terlalu jelas seperti chatbot internal mudah berakhir dengan janji berlebihan dan hasil di bawah harapan
  • Saya melihat eksekutif di dua perusahaan yang sama sekali berbeda, di sisi berlawanan bumi, mencoba menyusun dokumen eksternal dengan dampak hukum dan finansial besar menggunakan LLM. Mereka selalu bilang ada ahli yang membacanya dan memeriksa fakta sebelum dikirim, tetapi orang yang bukan spesialis penyuntingan dan pemeriksaan fakta cenderung jauh lebih ceroboh saat meninjau daripada saat menulis secara akurat dari awal

  • Ada anekdot yang sangat bagus seperti, “agar bisa mempertahankan pekerjaan, kita harus membiarkan seluruh salinan repositori Go ditulis ulang ke Zig saat mengerjakan hal lain”, atau ketika eksekutif pelanggan mengklaim produktivitas 100x lalu eksekutif pemasok mengatakan itu tidak realistis, hal itu bisa merusak kepercayaan eksekutif pelanggan dan menyebabkan kontrak perusahaan dibatalkan

  • Dikatakan bahwa “tingkat keberhasilan semua proyek AI yang diamati adalah 0%”, tetapi tidak ada definisi proyek AI. Perlu contoh yang spesifik: apakah menulis perangkat lunak dari nol, non-developer menggunakan chatbot LLM secara internal atau eksternal, atau hal lain

    • Melihat konteks dan fakta bahwa perusahaan ini menjalankan proyek data, tampaknya yang dimaksud adalah otomasi prosedur kerja internal dan antarmuka percakapan
      Saya sepenuhnya setuju dengan kritik raja telanjang soal otomasi kerja, tetapi agak mengejutkan bahwa mereka tidak membahas AI-assisted engineering yang positif bagi banyak orang. Chatbot juga bisa berhasil jika cakupan masalahnya dipersempit dan dipilih dengan tepat. Perusahaan saya sebelumnya mendapat hasil yang baik dengan antarmuka percakapan untuk basis data vektor, tetapi inti sebenarnya adalah basis data vektornya, dan UI tradisional mungkin saja lebih cepat dan akurat
      Secara keseluruhan arah tulisan ini sebagian besar benar, terutama bagian tentang demam AI dan ekspektasi yang tidak realistis yang menyapu para CEO
    • Mereka menjalankan perusahaan konsultan bernama “Hermit Tech” dan di situsnya membanggakan “teknik kuno” dari buku-buku sebelum tahun 2000. Dengan kecenderungan seperti ini, wajar jika mereka membenci segala hal yang terkait AI, dan tampaknya kecil kemungkinan perusahaan serius akan menyerahkan dukungan proyek AI kepada mereka
    • Aplikasi AI yang berguna cenderung diam-diam terintegrasi ke alur kerja yang sudah ada, sementara hanya rencana besar yang dipaksakan untuk non-teknisi yang tampaknya memakai nama proyek AI atau “inisiatif AI” lalu gagal
  • Pengalaman saya menulis kode SQL tingkat lanjut dan Python dengan Claude tidak cocok dengan klaim tulisan itu. Saya belum pernah melihat chatbot yang benar-benar memuaskan untuk melakukan query data dengan bahasa alami, tetapi saat menulis query yang sangat kompleks dalam bahasa alami, saya bisa mencapai tingkat 80~90%
    Perusahaan yang unggul atas pesaing dengan AI kemungkinan besar tidak banyak mempublikasikannya dan memakainya diam-diam. Sasaran tulisan ini adalah perusahaan besar yang dipenuhi manajer, dan organisasi seperti itu bahkan sebelum AI pun bertindak sama terhadap data science, analytics, atau blockchain

    • Di perusahaan besar, mungkin ada lebih banyak orang yang merusak nilai dengan LLM daripada yang menciptakannya. Dulu Bob hanya membuang waktu satu orang, sekarang ia bisa membuang waktu seluruh organisasi
      Siapa pun bisa memakai LLM untuk membungkus ide buruk agar terdengar meyakinkan, sehingga seluruh organisasi bisa mengikuti ide salah dari seorang wakil presiden biasa-biasa saja dan menimbulkan kerugian produktivitas yang sangat besar
    • Saya tidak setuju dengan hiperbola tulisan itu, tetapi arah besarnya benar. AI unggul untuk tugas kecil dan pekerjaan sehari-hari, seperti menulis query kompleks yang biasanya memakan satu jam hanya dalam beberapa detik
      Pengembangan fitur masih memerlukan waktu yang mirip atau peningkatan produktivitasnya terbatas. Tampaknya ini karena kebanyakan organisasi memang secara kronis buruk dalam membangun perangkat lunak
  • Minggu lalu saya menerima survei dari dua tempat berbeda yang menanyakan bagaimana AI dipakai dalam pekerjaan, dan keduanya berupa pertanyaan pilihan ganda tetapi tidak mengizinkan memilih 0 opsi serta ditetapkan sebagai pertanyaan wajib

  • Saya tidak tahu apakah adopsi AI di perusahaan benar-benar menghasilkan peningkatan produktivitas yang sangat besar, tetapi bagi Nvidia dan Anthropic sebagai penjual sekop, ini sangat masuk akal

  • Bahkan jika terungkap bahwa raja telanjang, itu tidak akan menghentikan demam ini. Bukan hanya demam tulip abad ke-17, tetapi juga prosedur agile, jadwal kerja, dan pengukuran produktivitas berdasarkan jumlah baris kode serupa; perusahaan mengulangi demam kolektif baru di setiap zaman
    Ini dipicu oleh proseduralisme para konsultan ahli, kontrol berlebihan dari tim keamanan, ketakutan akan tertinggal, dan target presentasi agar terlihat seperti perusahaan modern berbasis AI. Pelanggan, perusahaan, rantai pasok, pemerintah, dan para pemikir semuanya ikut dalam tarian global ini; musiknya suatu saat akan berubah dan tariannya pun akan berubah

    • Demam seperti ini juga bisa disebut perilaku kawanan atau psikologi massa. Dibanding kebijaksanaan massa, kebodohan dan kegilaan massa jauh lebih umum
      Bisnis dan politik sebagian besar digerakkan oleh hal ini, dan industri teknologi pun berulang kali jatuh ke mode, hype, dan kesalahan puluhan tahun yang kemudian tampak jelas
    • Pertanyaan yang benar adalah bagaimana menghasilkan uang dari demam orang lain