Ilusi klaim coding AI: mengapa ledakan 'shovelware' tidak kunjung terjadi

• Hasil verifikasi berbasis data terhadap klaim peningkatan produktivitas dari alat coding AI belakangan ini menunjukkan bahwa kecepatan maupun output nyata tidak meningkat secara mencolok
• Menurut riset METR, para pengembang percaya alat coding AI meningkatkan produktivitas sebesar 20%, tetapi kenyataannya justru turun 19%
• Berbagai slogan promosi serta klaim berlebihan tentang produktivitas 10x dari perusahaan dan pengembang tidak tercermin dalam realitas pasar maupun peluncuran perangkat lunak baru
• Fenomena seperti lonjakan Shovelware (aplikasi produksi massal, perangkat lunak berkualitas rendah) juga tidak teramati, sehingga tidak ada perubahan yang terlihat jelas
• Pembesaran klaim produktivitas oleh perusahaan seperti GitHub, Copilot, Cursor, Google, OpenAI, serta sebagian pengembang, sedang disalahgunakan untuk investasi, restrukturisasi, dan penetapan gaji
• Kesimpulan utamanya: “Selama perangkat lunak yang benar-benar dirilis tidak bertambah, klaim bahwa coding AI membuat pengembang 10x lebih produktif adalah fiksi”, sehingga pengembang tidak perlu goyah oleh tekanan dan harus merespons dengan data

---

Pendahuluan: pengembang perangkat lunak marah pada coding AI

• Selama bertahun-tahun hidup sebagai pengembang perangkat lunak, penulis memiliki kebanggaan dan identitas terhadap pemrograman
• Pada awal adopsi alat coding berbasis AI, ia menaruh harapan, tetapi belakangan menjadi skeptis setelah melihat riset METR
  • Penulis sendiri merasa coding AI membuatnya sekitar 25% lebih cepat, tetapi riset METR justru menunjukkan hasil 19% lebih lambat
• Riset tersebut menunjukkan bahwa persepsi pengembang terhadap efisiensi alat AI berbanding terbalik dengan data pengukuran nyata
• Dari eksperimen pribadi pun, ia merasakan bahwa penggunaan AI tidak memberi dampak positif pada waktu pemrograman yang sebenarnya

Verifikasi langsung: eksperimen perbandingan AI vs acak

• Diterapkan metode eksperimen yang mengukur selisih waktu (Delta) antara saat AI digunakan dan saat tidak digunakan untuk setiap unit pekerjaan
• Data dari eksperimen selama 6 minggu tidak menemukan perbedaan yang signifikan secara statistik
• Meski sampelnya kecil, terkonfirmasi kecenderungan bahwa penggunaan AI justru 21% lebih lambat dalam praktiknya (angka yang sama dengan riset METR)
• Jika benar ada efek peningkatan 2x atau 10x, itu seharusnya akan tampak jelas di dalam data
• Mimpi coding AI saat ini belum terwujud, dan pada praktiknya tidak ada perubahan nyata

Harapan dan realitas: mengapa tidak ada ledakan Shovelware

• Jika revolusi produktivitas dari coding AI benar nyata, seharusnya terjadi ledakan berbagai aplikasi, layanan, dan game
• Pesan pemasaran dari banyak alat coding AI (seperti “Built to make you extraordinarily productive”) bertebaran di mana-mana
• Google, OpenAI, GitHub Copilot, dan lainnya juga mengklaim peningkatan kecepatan 25% atau produktivitas 10x untuk pengembang
• Namun, data peluncuran perangkat lunak baru yang nyata (GH Archive, BigQuery, dll.) tidak menunjukkan pertumbuhan tajam maupun fenomena ledakan
• Meski coding AI telah tersebar luas sejak 2022, angka rilis dan proyek baru secara global tidak menunjukkan perubahan besar

Dampak pasar dan realitas pengembang

• Muncul pula dampak sosial di dalam industri seperti strategi AI-First, FOMO, PHK massal, dan penurunan gaji pengembang
• Di lapangan, alat AI tidak mampu menghadirkan revolusi produktivitas
• Kurva belajar maupun tingkat kemahiran terhadap alat tersebut juga tidak bisa menjelaskan perbedaan produktivitas absolut

Kesimpulan: perlunya penilaian dingin berbasis data

• Intinya adalah memastikan lewat data bahwa jumlah perangkat lunak baru yang dirilis sejauh ini belum berubah
• Tidak ada bukti untuk klaim bahwa AI telah menciptakan coder 10x
• Pengembang tidak boleh tunduk pada tekanan, dan harus memilih alat berdasarkan data yang mereka verifikasi sendiri

Bantahan terhadap sanggahan yang sering muncul

1. "Kalau benar-benar menguasai prompt engineering, kita bisa jadi pengembang 10x"

   • Jika memang ada orang yang mencapai produktivitas 10x, maka produksi perangkat lunak baru global seharusnya sudah meningkat lebih dari dua kali lipat
   • Bukti yang lebih penting daripada klaim adalah hasil objektif (aplikasi, proyek, dll.)

2. "Ini masih tahap awal, jadi butuh waktu"

   • Sudah ada investasi puluhan miliar dolar dan penerapan nyata di lingkungan kerja
   • Keputusan hari ini berdampak langsung pada kehidupan orang nyata

3. "Kalau tidak adopsi sekarang, kita akan tertinggal"

   • Bahkan dalam data Github Copilot, kenaikan produktivitas riil akibat peningkatan kemahiran sangat kecil (tingkat penerimaan 29% → 34%)

4. "Kualitasnya saja yang membaik, jumlahnya tetap"

   • Secara keseluruhan, kualitas industri justru mengalami kemunduran dan pengujian juga berkurang
   • Jika benar ini alat untuk coder 10x, maka banjir Shovelware seharusnya sudah menjadi kenyataan

5. "Semuanya sekarang berpusat pada website, dan orang sudah tidak peduli nama domain. Subdomain di layanan seperti Vercel sudah cukup"

   • Masih banyak pengguna yang tetap lebih menyukai domain sendiri

6. "Ledakan domain .ai (47% tahun ini) = kenaikan nyata"

   • Kenaikan domain baru lebih merupakan akibat pivot startup AI, bukan ledakan jumlah domain baru secara keseluruhan
   • Total jumlah domain secara umum tidak menunjukkan hal itu

7. "Hakikat pengembangan itu ada pada pekerjaan di luar kode"

   • Di lingkungan pengembang individu/skala kecil, bukan perusahaan besar, kode tetap menjadi pusat
   • Tetap belum terlihat peningkatan mencolok pada proyek-proyek baru yang memenuhi kebutuhan coding kecil sehari-hari

Penutup

• Pengembang pada kenyataannya tidak merilis lebih banyak hal
• Klaim bahwa coding AI memberi produktivitas 10x dapat dipatahkan dengan data
• Jangan terombang-ambing oleh FOMO dan narasi pemasaran industri; lakukan penilaian berdasarkan hasil nyata
• Pesan penulis: “Kalau Anda merasa tertekan, tunjukkan data dan grafik. Untuk klaim produktivitas 10x, minta buktinya.”