Ilusi klaim coding AI: mengapa ledakan 'shovelware' tidak kunjung terjadi

• Hasil verifikasi berbasis data terhadap klaim peningkatan produktivitas dari alat coding AI belakangan ini menunjukkan bahwa kecepatan maupun output nyata tidak meningkat secara mencolok
• Menurut riset METR, para pengembang percaya alat coding AI meningkatkan produktivitas sebesar 20%, tetapi kenyataannya justru turun 19%
• Berbagai slogan promosi serta klaim berlebihan tentang produktivitas 10x dari perusahaan dan pengembang tidak tercermin dalam realitas pasar maupun peluncuran perangkat lunak baru
• Fenomena seperti lonjakan Shovelware (aplikasi produksi massal, perangkat lunak berkualitas rendah) juga tidak teramati, sehingga tidak ada perubahan yang terlihat jelas
• Pembesaran klaim produktivitas oleh perusahaan seperti GitHub, Copilot, Cursor, Google, OpenAI, serta sebagian pengembang, sedang disalahgunakan untuk investasi, restrukturisasi, dan penetapan gaji
• Kesimpulan utamanya: “Selama perangkat lunak yang benar-benar dirilis tidak bertambah, klaim bahwa coding AI membuat pengembang 10x lebih produktif adalah fiksi”, sehingga pengembang tidak perlu goyah oleh tekanan dan harus merespons dengan data

---

Pendahuluan: pengembang perangkat lunak marah pada coding AI

• Selama bertahun-tahun hidup sebagai pengembang perangkat lunak, penulis memiliki kebanggaan dan identitas terhadap pemrograman
• Pada awal adopsi alat coding berbasis AI, ia menaruh harapan, tetapi belakangan menjadi skeptis setelah melihat riset METR
  • Penulis sendiri merasa coding AI membuatnya sekitar 25% lebih cepat, tetapi riset METR justru menunjukkan hasil 19% lebih lambat
• Riset tersebut menunjukkan bahwa persepsi pengembang terhadap efisiensi alat AI berbanding terbalik dengan data pengukuran nyata
• Dari eksperimen pribadi pun, ia merasakan bahwa penggunaan AI tidak memberi dampak positif pada waktu pemrograman yang sebenarnya

Verifikasi langsung: eksperimen perbandingan AI vs acak

• Diterapkan metode eksperimen yang mengukur selisih waktu (Delta) antara saat AI digunakan dan saat tidak digunakan untuk setiap unit pekerjaan
• Data dari eksperimen selama 6 minggu tidak menemukan perbedaan yang signifikan secara statistik
• Meski sampelnya kecil, terkonfirmasi kecenderungan bahwa penggunaan AI justru 21% lebih lambat dalam praktiknya (angka yang sama dengan riset METR)
• Jika benar ada efek peningkatan 2x atau 10x, itu seharusnya akan tampak jelas di dalam data
• Mimpi coding AI saat ini belum terwujud, dan pada praktiknya tidak ada perubahan nyata

Harapan dan realitas: mengapa tidak ada ledakan Shovelware

• Jika revolusi produktivitas dari coding AI benar nyata, seharusnya terjadi ledakan berbagai aplikasi, layanan, dan game
• Pesan pemasaran dari banyak alat coding AI (seperti “Built to make you extraordinarily productive”) bertebaran di mana-mana
• Google, OpenAI, GitHub Copilot, dan lainnya juga mengklaim peningkatan kecepatan 25% atau produktivitas 10x untuk pengembang
• Namun, data peluncuran perangkat lunak baru yang nyata (GH Archive, BigQuery, dll.) tidak menunjukkan pertumbuhan tajam maupun fenomena ledakan
• Meski coding AI telah tersebar luas sejak 2022, angka rilis dan proyek baru secara global tidak menunjukkan perubahan besar

Dampak pasar dan realitas pengembang

• Muncul pula dampak sosial di dalam industri seperti strategi AI-First, FOMO, PHK massal, dan penurunan gaji pengembang
• Di lapangan, alat AI tidak mampu menghadirkan revolusi produktivitas
• Kurva belajar maupun tingkat kemahiran terhadap alat tersebut juga tidak bisa menjelaskan perbedaan produktivitas absolut

Kesimpulan: perlunya penilaian dingin berbasis data

• Intinya adalah memastikan lewat data bahwa jumlah perangkat lunak baru yang dirilis sejauh ini belum berubah
• Tidak ada bukti untuk klaim bahwa AI telah menciptakan coder 10x
• Pengembang tidak boleh tunduk pada tekanan, dan harus memilih alat berdasarkan data yang mereka verifikasi sendiri

Bantahan terhadap sanggahan yang sering muncul

1. "Kalau benar-benar menguasai prompt engineering, kita bisa jadi pengembang 10x"

   • Jika memang ada orang yang mencapai produktivitas 10x, maka produksi perangkat lunak baru global seharusnya sudah meningkat lebih dari dua kali lipat
   • Bukti yang lebih penting daripada klaim adalah hasil objektif (aplikasi, proyek, dll.)

2. "Ini masih tahap awal, jadi butuh waktu"

   • Sudah ada investasi puluhan miliar dolar dan penerapan nyata di lingkungan kerja
   • Keputusan hari ini berdampak langsung pada kehidupan orang nyata

3. "Kalau tidak adopsi sekarang, kita akan tertinggal"

   • Bahkan dalam data Github Copilot, kenaikan produktivitas riil akibat peningkatan kemahiran sangat kecil (tingkat penerimaan 29% → 34%)

4. "Kualitasnya saja yang membaik, jumlahnya tetap"

   • Secara keseluruhan, kualitas industri justru mengalami kemunduran dan pengujian juga berkurang
   • Jika benar ini alat untuk coder 10x, maka banjir Shovelware seharusnya sudah menjadi kenyataan

5. "Semuanya sekarang berpusat pada website, dan orang sudah tidak peduli nama domain. Subdomain di layanan seperti Vercel sudah cukup"

   • Masih banyak pengguna yang tetap lebih menyukai domain sendiri

6. "Ledakan domain .ai (47% tahun ini) = kenaikan nyata"

   • Kenaikan domain baru lebih merupakan akibat pivot startup AI, bukan ledakan jumlah domain baru secara keseluruhan
   • Total jumlah domain secara umum tidak menunjukkan hal itu

7. "Hakikat pengembangan itu ada pada pekerjaan di luar kode"

   • Di lingkungan pengembang individu/skala kecil, bukan perusahaan besar, kode tetap menjadi pusat
   • Tetap belum terlihat peningkatan mencolok pada proyek-proyek baru yang memenuhi kebutuhan coding kecil sehari-hari

Penutup

• Pengembang pada kenyataannya tidak merilis lebih banyak hal
• Klaim bahwa coding AI memberi produktivitas 10x dapat dipatahkan dengan data
• Jangan terombang-ambing oleh FOMO dan narasi pemasaran industri; lakukan penilaian berdasarkan hasil nyata
• Pesan penulis: “Kalau Anda merasa tertekan, tunjukkan data dan grafik. Untuk klaim produktivitas 10x, minta buktinya.”

[ahwjdekf]

Untuk developer 10x, dengan bantuan AI mungkin saja bisa melonjak menjadi sekitar 12x.

[overthetop]

AI itu ilusi. Tidak bisa dipercaya dan kualitasnya juga rendah. Klaim bahwa pengembangan bisa dilakukan dengan AI adalah kebohongan yang dibesar-besarkan. Tidak mungkin. Dan menggunakan AI adalah tindakan tidak bertanggung jawab karena membuang etika seorang pengembang.

[nemorize]

Menurut saya, baru bisa dibilang AI benar-benar sangat membantu meningkatkan produktivitas penulisan kode ketika pekerjaan berulang yang sederhana bisa sepenuhnya diserahkan ke AI, dan kita bisa sepenuhnya fokus pada pekerjaan yang lebih penting.

Setelah memberi perintah sekali, hasilnya baru keluar setelah menunggu sekitar puluhan detik. Masalahnya, jeda puluhan detik itu juga tidak benar-benar bisa dimanfaatkan untuk hal lain, dan setelah menunggu pun kita tidak selalu bisa mengharapkan output yang selalu sempurna.

Pada akhirnya, sampai pekerjaan sederhana itu benar-benar selesai dengan sempurna, saya tetap harus terus memperhatikannya, dan juga tidak bisa beralih ke pekerjaan lain... jadi rasanya sulit mengharapkan peningkatan yang benar-benar berarti.

[nemorize]

Sepertinya, untuk meningkatkan produktivitas, justru lebih membantu kalau mencari pekerja paruh waktu di Karrot dengan bayaran 10.000 won per jam untuk mengerjakan tugas-tugas sederhana selama beberapa jam.
Secara pribadi saya cukup puas hanya dengan pengeluaran sekitar 100.000 won per minggu.

Khususnya, saya pernah bekerja dengan beberapa ibu-ibu yang sebelumnya menangani administrasi lalu berhenti kerja dan menjadi ibu rumah tangga penuh waktu; meski sama sekali tidak paham coding, setelah saya beri feedback beberapa kali, mereka bisa membuatnya dengan sangat rapi wkwk
Untuk kode-kode boilerplate, mereka juga kadang bisa membuatnya seketika dengan memanfaatkan Excel, seperti autofill, rumus, dan sebagainya...

[zxcv123]

Hmm.. sejujurnya menurut saya, AI juga tetaplah alat, jadi harus dimanfaatkan dengan baik..
Apa pun alatnya, dibanding orang yang menggunakannya dengan baik, selalu lebih banyak orang yang memakainya asal-asalan, atau tidak bisa memanfaatkannya dengan benar.
Kalau disetel agar AI menghasilkan keluaran berkualitas, ia bisa menunjukkan performa yang benar-benar luar biasa.
Mungkin orang-orang yang tidak tahu cara membuat AI menghasilkan keluaran berkualitas itu cuma terus melempar prompt bodoh sembarangan, lalu bilang produktivitasnya menurun. Saya benar-benar tidak paham kalau ada yang menyangkal produktivitas AI.

[kirrie]

Namun, saya rasa pernyataan seperti itu juga tidak membuktikan apa pun, sama seperti mengatakan bahwa “orang yang benar-benar memahami CS secara mendalam dan telah mengasah keterampilan yang memadai lebih produktif daripada AI mana pun.”

[ndrgrd]

Saya baru melihat riset METR yang disebutkan itu beberapa waktu lalu, dan hasilnya menjelaskan dengan baik hal-hal yang saya rasakan dan pertanyakan.

Bahkan jika diberi "tugas berulang" seperti yang ada di komentar Hacker News, kenyataannya sebagian besar tetap memerlukan pengecekan dan perbaikan manual.
Bukan cuma sekali dua kali saya melihat logika yang berantakan dari hasil "sederhana" buatan AI lalu berpikir, mungkin lebih baik saya kerjakan sendiri saja.

Untuk pekerjaan yang benar-benar sederhana di level copy-paste, tentu AI cukup bagus.
Tapi untuk hal seperti itu, copy-paste dan snippet biasa justru lebih efisien. Kita juga tidak perlu terhubung ke internet, mengunggah data kita ke server orang lain, lalu menunggu sampai puluhan detik.

[GN⁺]

Pendapat Hacker News

• Bagi saya, AI itu seperti kurva lonceng, dan saya rasa bagi banyak orang juga mirip. Menurut saya, yang penting adalah standar untuk menilai output. Bukan “jumlah baris kode”, melainkan “jumlah baris kode berkualitas baik yang bisa dipelihara, dapat diskalakan, dan mudah di-upgrade”. Dengan standar ini, hasil dari permintaan seperti “buat seluruh repo” adalah sampah tak berguna, tetapi AI yang melengkapi otomatis kode seperti getUser(... jelas meningkatkan produktivitas. Saya tidak bisa mengatakan dengan pasti apakah peningkatannya 0,1%, 1%, atau 10%

• Dari sudut pandang saya, masalah paling serius adalah bahwa persoalan yang saya tangani di perusahaan saat ini memerlukan perencanaan dan eksekusi yang matang, dan AI sama sekali tidak membantu. Tetapi manajer kami bilang bahwa karena “kami adalah perusahaan AI-first”, tenggat proyek dipangkas menjadi 20% dari estimasi sebelumnya. Kegilaan kolektif seperti ini menyebar sangat luas di kalangan SVP dan PM, dan saya belum pernah melihat hal seperti ini sebelumnya

  • Manajer bilang tenggat proyek dipotong menjadi 20% dari estimasi awal, dan menurut saya ini benar-benar tidak masuk akal. Angka yang tidak realistis seperti ini asal ditetapkan seseorang lalu dianggap kenyataan. Pada akhirnya kalau gagal, tanggung jawabnya akan dilempar ke saya, lalu atasan akan menuntut pertanggungjawaban manajer itu. Jika AI benar-benar meningkatkan produktivitas, ya tinggal rapikan jumlah developer yang tidak perlu, tetapi itu baru masuk akal setelah LLM benar-benar berhasil tertanam dalam proses pengembangan. Saya bahkan jadi berpikir apakah dana investasi juga perlu ditarik dari S&P 500 untuk bersiap menghadapi gelembung AI
  • Kalau sampai penanganan insiden pun bisa diserahkan ke LLM, ya biarkan saja CEO melakukan apa yang dia mau dan terima juga kerugian reputasinya. Kalau gagal, tinggal git dikembalikan ke titik sebelum kode buatan LLM. Ini setengah bercanda setengah serius
  • Level AI saat ini belum sampai bisa menggantikan developer, tetapi menurut saya sudah cukup bagus untuk mengotomatisasi banyak pekerjaan kantor atau peran manajerial yang sebelumnya sulit diotomatisasi. Google benar-benar memangkas banyak middle management karena AI, dan tampaknya tidak memangkas developer sebanyak itu
  • AI dipakai sebagai alasan oleh manajer yang kurang punya kepemimpinan teknis untuk menekan developer

• Banyak hal bisa sama-sama benar pada saat yang sama. LLM tidak membuat produktivitas developer naik 10x untuk tugas umum acak yang dipilih secara sembarang. Di sisi lain, untuk jenis pekerjaan tertentu, LLM memang bisa meningkatkan produktivitas secara dramatis. Ia juga bisa dipakai untuk mengotomatisasi pekerjaan repetitif yang menyita waktu; walaupun secara waktu nyata mungkin lebih lama daripada manusia, itu bisa berjalan di background jadi tidak masalah. Untuk mempelajari API atau library baru, LLM sangat mempercepat proses, dan ketika harus menulis glue code kecil dalam bahasa yang tidak saya kuasai, itu sangat membantu karena menghemat waktu sekaligus menghindarkan saya dari belajar hal yang sebenarnya tidak perlu. Untuk pemeliharaan codebase besar yang sudah ada, saya tidak terlalu merasakan perbedaan produktivitas. Untuk menyiapkan scaffolding website baru, LLM bekerja sangat mengejutkan dengan baik. Menulis kelas mock juga cepat sekali, termasuk tugas rumit seperti memahami cara memakai library mock yang biasanya saya lakukan sekali dua kali lalu lupa. Untuk memahami struktur codebase baru, hasilnya sekitar 70% memuaskan. Dalam proyek yang dirancang rumit, seperti mencari lokasi route HTTP atau fungsi dependency injection, enak juga bisa bertanya, “Hei Claude, fungsi-fungsi terkait auth ada di mana?” Menurut saya, yang penting adalah memakai alat yang tepat untuk pekerjaan yang tepat

  • Saya setuju bahwa mempelajari API atau library baru jadi jauh lebih cepat berkat LLM, tetapi saya khawatir ketika benar-benar menelaah jawaban LLM dan membaca dokumentasinya sendiri, sering terlihat bahwa ia tidak mengikuti konvensi, memaksakan contoh sederhana, atau memakai fitur yang salah sehingga cara kerjanya jadi aneh atau memilih jalur yang berbelit. Rasanya seperti sihir, tetapi kalau terlalu percaya, kita mudah terjebak dalam ilusi seolah-olah sudah paham padahal sebenarnya tidak
  • Saya ingin tahu secara konkret apa yang dimaksud dengan “LLM mengotomatisasi pekerjaan repetitif yang menyita waktu di background”. Menurut saya, para pendukung AI perlu memberi contoh yang jelas dan spesifik tentang pekerjaan apa saja yang benar-benar berhasil dilakukan. Saya makin lelah dengan pernyataan yang samar-samar
  • Agar pernyataan “LLM membantu mempelajari API dan library baru dengan cepat” lebih akurat, mungkin harus diubah menjadi “ketika pertama kali berhadapan dengan library atau API yang sebenarnya sudah lama ada”. Untuk library atau tool yang benar-benar baru, LLM sering kali tidak terlalu membantu

• Di video-video, biasanya cuma ada layar penuh kode yang mengalir dan klaim “developer junior sudah tamat”, tanpa substansi lebih dari itu. Menurut saya, alasannya karena ekonomi sedang tidak stabil dan suasananya penuh hype serta kecemasan dengan harapan bahwa AI akan menjadi penyelamat. Memang kadang ada hasil AI yang mengesankan, tetapi pada dasarnya itu tidak banyak berarti kalau orangnya tidak punya kemampuan tertentu. Orang level pemula sampai menengah hanya membanjiri media sosial dengan kisah sukses yang dibesar-besarkan. Muncul suasana di mana setiap orang berusaha mempertahankan “kekuatan super AI”-nya, baik secara psikologis maupun praktis. Pada akhirnya kita cuma menunggu siklus hype menemukan titik seimbangnya, lalu miliaran dolar kembali dibakar

  • Menurut pengalaman saya, tool AI benar-benar menunjukkan kemampuannya di proyek yang benar-benar kosong (blank canvas). Misalnya, untuk membuat proyek React baru, tool itu bisa menyiapkan semuanya lebih cepat daripada saya. Tetapi di repository kerja nyata, hampir tidak berguna. Karena itulah tool AI sangat mengesankan dalam demo dan promosi, tetapi di dunia nyata sering berakhir mengecewakan
  • Saya penasaran apakah yang dibutuhkan adalah “orang yang cukup berpengalaman hingga bisa mengerjakannya sendiri secara manual”, atau orang yang terbiasa dengan tool AI dan keterbatasannya, atau memang keduanya sekaligus
  • Kebanyakan cerita berlebihan soal AI terdengar mirip dengan artikel media sains populer yang hanya membaca abstrak paper yang dangkal lalu bicara seolah semuanya akan segera jadi kenyataan

• Menurut pengalaman saya, AI berguna untuk beberapa tugas kecil tertentu, misalnya refactoring skala kecil atau otomatisasi definisi tipe, tetapi untuk pekerjaan yang lebih kompleks, ia melewatkan banyak hal dan perlu dikerjakan ulang. Mungkin di masa depan saya akan menarik kembali ucapan ini, tetapi belakangan saya makin sering melihat engineer yang kurang berpengalaman menerima begitu saja hasil keluaran AI sebagai “kode yang bagus” saat mencoba membangun fitur besar. Padahal kode-kode ini tidak mengikuti style guide dan pola kami, atau malah mengimplementasikan logika dari nol alih-alih memakai library yang sudah ada, sehingga pada akhirnya jumlah kode yang harus kami pelihara sendiri justru bertambah. Kadang akhirnya muncul PR raksasa yang mencoba mengerjakan semuanya sekaligus

  • Untuk kode yang benar-benar baru, saya sering merasa lebih baik menulis sendiri daripada menarik library besar hanya demi sekitar 50 baris kode. Itu sisi positifnya
  • ‘Discovery’ untuk mengetahui keberadaan kode dan library seperti ini masih jadi pekerjaan rumah, dan kami juga sedang meneliti pendekatan mengandalkan LLM untuk dokumentasi atau pencarian agar anggota tim bisa menemukan dan memakai kode internal secara mandiri. Konsentrasi pengetahuan tentang library internal di segelintir orang menjadi kekhawatiran
  • Pada pengembangan tahap awal, situasinya berbeda. Di awal proyek, saat belum ada style coding atau standar, hasil dari LLM tidak jauh berbeda dari masukan anggota tim. Bahkan kalau hanya membuat kode sampai tahap demo pun tetap bernilai. Bisa membawa banyak proyek dengan cepat ke tahap demo adalah dorongan besar

• Saya setuju dengan argumen di sini. Meski memakai AI, saya tidak melihat lonjakan produktivitas yang dramatis. Kalau software engineer tidak terus berlatih memecahkan masalah, menilai, dan menuangkan ke dalam kode, saya rasa pengetahuan sarafnya bisa melemah. Janji bahwa AI adalah teknologi masa depan yang akan membawa produktivitas 2x atau 10x tampaknya tidak punya substansi, dan meskipun mungkin ada sedikit kenaikan produktivitas di codebase pribadi, saya belum melihat peningkatan nyata pada jumlah produk yang lebih baik yang benar-benar dirilis di pasar. Dalam pekerjaan konsultasi, saya cukup sering melihat founder atau CTO yang memaksakan AI malah gagal mengelola kode dengan baik dan justru menimbulkan lebih banyak kekacauan. Akhir-akhir ini saya juga sering mengambil peran sebagai advisor untuk membantu membangun best practice engineering

  • Seperti kebanyakan teknologi, kalau praktik dan latihan terputus, kemampuan jadi tumpul. Seperti naik sepeda yang kalau lama tidak dilakukan tubuh jadi kaku, kemampuan coding juga benar-benar bisa melemah. Saya percaya ini juga berlaku di rekayasa TI. Ini sinyal yang memang perlu diwaspadai

• Para CEO bilang produktivitas developer yang ada akan naik 10x dengan AI, tetapi kalau itu benar, bukankah justru mereka harus merekrut jauh lebih banyak developer? Kalau dengan investasi yang sama produktivitas naik 10x, tentu masuk akal untuk menuangkan uang ke “mesin” itu. Tetapi di lapangan, rasanya produktivitas tetap sama sementara yang dipotong hanya biaya tenaga kerja

  • Ketika margin laba turun, pada akhirnya perusahaan akan mencoba memeras nilai dari biaya tenaga kerja. Daya tarik AI 99% adalah penghematan biaya tenaga kerja, dan perekrutan justru berlawanan dengan itu. Saya juga tidak setuju dengan klaim peningkatan produktivitas AI, tetapi saya ingin menunjukkan bahwa motivasi seperti ini memang ada
  • Banyak eksekutif level C tampaknya berharap tenaga kerja yang tersisa pun nantinya akan digantikan AI. Mereka mengikuti narasi “AGI akan segera terwujud”. Saya tidak percaya itu, tetapi kalau seseorang berada di posisi itu, saya bisa memahami logika kenapa mereka tidak akan merekrut lebih banyak developer
  • Sepertinya hari ini saya akan belajar apa itu “hukum hasil yang menurun”. Ada batas jumlah manusia dan sumber daya yang bisa dimasukkan ke dalam satu organisasi. Menambahkan lebih dari yang diperlukan itu tidak ada gunanya. Alasan PHK meningkat adalah karena AI menaikkan efisiensi; jika beban kerja yang tadinya dikerjakan satu manusia bisa ditangani AI, maka kebutuhan tenaga kerja akan turun sebanyak itu. Bukan satu manusia = satu AI, tetapi beban kerja berpindah ke AI sehingga jumlah manusia berkurang. Penggantian manusia memang belum sepenuhnya selesai, tetapi ukuran berapa banyak manusia yang dibutuhkan akan menjadi standar baru dalam permintaan dan penawaran. Talenta kreatif akan selalu makin dibutuhkan, tetapi talenta seperti itu langka. Di antara software engineer yang menginginkan gaji 100 ribu sampai 200 ribu dolar, banyak yang bahkan tidak tahu berapa banyak penghematan yang bisa mereka ciptakan bagi perusahaan. Saya juga merasa pendidikan sekolah telah mematikan kreativitas. Masalahnya bukan kurang kemampuan, tetapi kurangnya kekuatan untuk mengarahkan diri sendiri atau menghasilkan ide

• Menarik melihat analisis yang meninjau jumlah peluncuran produk baru dari sudut pandang yang segar. Saya juga merasa tidak ada perubahan sebesar yang diperkirakan, alih-alih pertumbuhan cepat. Sebagai argumen alternatif, bisa jadi bottleneck sebenarnya bukan penulisan kode, melainkan eksplorasi tentang apa yang harus dibuat dan upaya untuk benar-benar membawanya ke platform nyata, yang memang memakan banyak waktu dan tenaga. Di sisi lain, saya juga setuju bahwa sangat mudah memakai tool AI dengan cara yang salah. Kadang terasa seperti “akhirnya saya paham!”, lalu besoknya sadar “ternyata saya salah lagi dengan cara yang berbeda”. Bahkan setelah lebih dari 20 tahun mengembangkan software, saya masih belum benar-benar paham kenapa pengembangan software begitu sulit dan kenapa percepatan produktivitas juga sulit terjadi

  • Wawasan bahwa “menulis kode bukanlah bottleneck” benar-benar terasa mengena. Saya makin sadar bahwa nilai nyata dalam software datang dari memecahkan “masalah sulit”, sedangkan masalah yang mudah sudah seperti template dan ada di mana-mana. LLM memang cepat menyelesaikan masalah mudah, tetapi bottleneck sesungguhnya tetap ada pada masalah yang “sulit”. Entah karena faktor teknis, bisnis, atau pelanggan, masalah sulit ini juga tidak bisa diselesaikan dengan baik oleh LLM, dan justru di situlah letak keuntungan yang nyata. Sebaliknya, untuk masalah mudah yang bisa dijadikan template, LLM benar-benar meningkatkan produktivitas
  • Dalam penyampaian software, coding itu sendiri tidak pernah menjadi bottleneck. AI hanya dipakai sebagai justifikasi untuk pengurangan tenaga kerja atau sebagai alasan untuk menarik investasi
  • Dalam pengembangan produk, proses yang memerlukan waktu seperti iterasi umpan balik pengguna dan perbaikan edge case sulit dipercepat, tidak peduli ada AI atau tidak. Ini juga berkaitan dengan tulisan joelonsoftware.com yang mengatakan software memang butuh 10 tahun

• Kitalah yang sedang membangun masa depan itu sekarang. Secara nyata, saya mulai merasa melaju sejak sekitar April–Mei ketika agentic AI menjadi cukup bagus. Hari ini saja saya membuat tool CLI untuk mengekspor arsip iMessage menjadi website, dan kalau dulu pekerjaan seperti ini mungkin butuh beberapa minggu, sekarang sepertinya bisa diselesaikan dalam satu-dua hari, lengkap sampai homebrew formula. Aplikasi iOS juga melaju jauh lebih cepat dibanding menulis semuanya dengan tangan, meski saya sengaja berjalan pelan. Sebagai catatan, data pada postingan itu berakhir di Maret–April, dan saya rasa justru sejak titik itulah generative AI mulai benar-benar membantu dalam coding. (Saya sudah memakai Copilot sejak November 2022)

  • Menarik bahwa setiap kali perdebatan seperti ini muncul, respons yang berulang selalu, “kamu belum coba AI terbaru ya, kali ini benar-benar sudah bagus”
  • Pengalaman saya juga hampir sama. Saya terlambat ikut hype AI, tetapi setelah mencoba kombinasi model dan tool baru yang keluar belakangan ini, pandangan saya berubah. Di sekitar saya, perusahaan-perusahaan besar baru sekarang mulai mengizinkan penggunaan tool seperti ini, jadi saya menduga ada jeda yang cukup besar sebelum dampaknya muncul dalam data produktivitas nyata. Saya juga punya kekecewaan terhadap riset METR, dan berharap akan ada lebih banyak meta-riset soal produktivitas seperti ini
  • Setuju. Agentic AI adalah tool yang sepenuhnya berbeda dari AI “tradisional”. Saya sangat penasaran bagaimana hasil data dan eksperimen penulis kalau dilihat setahun dari sekarang
  • Saat seseorang berkata “AI akhirnya jadi cepat”, ternyata yang dimaksud itu baru lima bulan lalu. Dalam kecepatan perkembangan AI, lima bulan terasa seperti perubahan selama enam tahun

• Dulu saya pernah menjadi developer full-time, lalu bekerja sebagai manajer dan CTO sehingga makin lama makin jauh dari praktik pengembangan sehari-hari. Ketika mencoba coding lagi, harus mempelajari ulang framework, API, bahasa, dan trik-trik kecil yang dulu terasa menarik kini justru menjengkelkan. Tetapi berkat tool seperti Claude Code dan pengalaman merancang software, saya jadi bisa kembali membangun sistem besar seperti dulu. Produktivitas saya bukan naik 20%, juga bukan 10x. Tool ini membuat saya kembali melakukan hal yang tadinya bahkan tidak akan saya lakukan sama sekali, jadi saya ingin menyebutnya sebagai peningkatan produktivitas tak terhingga. Kalau saya adalah developer hebat yang memang mencintai coding, mungkin tool seperti ini hanya akan terasa merepotkan, tetapi bagi orang yang biasanya tidak mengembangkan software, justru kebalikannya

  • Wah, bisa kembali membangun sistem besar bukan cuma sekali tapi berkali-kali, saya ingin sekali mendengar contoh yang lebih rinci
  • Teori besar saya tentang tool coding AI adalah bahwa mereka tidak terlalu memangkas waktu nyata, tetapi sangat mengurangi rasa jengkel. Mereka menghemat kejengkelan yang tidak perlu terhadap sintaks, compiler, dan pekerjaan berulang, sehingga kita bisa memusatkan perhatian pada hal yang benar-benar penting. Karena itu, pekerjaan yang dulu tidak akan saya lakukan karena terlalu menyebalkan, sekarang jadi saya kerjakan, dan alih-alih pergi jalan-jalan sebelum pulang kerja, saya malah bisa tetap duduk di meja beberapa jam lebih lama