- Menurut riset terbaru, ketika pengembang open source menggunakan alat AI pada codebase yang sudah sangat mereka kenal, waktu pengerjaan justru bertambah 19%
- Para pengembang percaya AI membuat mereka lebih cepat, tetapi pada kenyataannya justru lebih lambat, menunjukkan kesenjangan antara persepsi dan realitas
- Penyebab utamanya adalah model mental (struktur pemahaman) yang sangat terperinci yang dimiliki pengembang dan keterbatasan transfer pengetahuan ke AI
- Menurut teori Peter Naur, hal terpenting dalam pemrograman bukanlah kode, melainkan "model mental" di kepala pengembang
- Pelopor ilmu komputer dari Denmark dan penerima Turing Award 2005. Berkontribusi pada notasi Backus-Naur Form (BNF) yang digunakan untuk menjelaskan sintaks bahasa pemrograman
- Dari perspektif jangka panjang, untuk memahami proyek secara mendalam, penting untuk membangun model mental dengan menulis kode secara langsung
Fenomena AI yang membuat pengembang open source lebih lambat
- Menurut riset Metr, penggunaan alat AI justru menghasilkan penyelesaian masalah yang 19% lebih lambat
- Sebelum mulai bekerja, para pengembang memperkirakan AI akan membantu mereka 24% lebih cepat, dan setelah selesai pun mereka tetap percaya bahwa mereka bekerja 20% lebih cepat dari kenyataannya
- Riset ini dilakukan terhadap pengembang berpengalaman yang mengelola langsung proyek open source yang mereka pahami secara mendalam
- Hasilnya tidak bisa digeneralisasi ke semua pengembang, tetapi untuk kelompok ini, riset tersebut menunjukkan bahwa alat AI berdampak negatif pada produktivitas
- Di lingkungan perusahaan, atau bagi pengembang pada umumnya yang harus beradaptasi dengan codebase baru, alat AI bisa berperan lebih positif dalam meningkatkan produktivitas
Mengapa AI membuat pengembang open source berpengalaman lebih lambat
- Menurut makalah Peter Naur, “Programming as Theory Building”, hasil sejati dari pemrograman bukanlah kode, melainkan ‘model mental pengembang tentang proyek’
- Model mental ini adalah inti dari pemahaman sistem, diagnosis masalah, dan perbaikan yang efektif
- AI berbasis LLM tidak dapat mengakses langsung model mental pengembang, dan meskipun sebagian informasi dapat diberikan, tetap terjadi kehilangan esensial dalam proses transfer pengetahuan
- Sebagai contoh, ketika seseorang diminta menidurkan bayi, meskipun instruksinya dijelaskan dengan jelas, sering kali tindakannya tetap berbeda dari yang dimaksud
- Transfer model mental sangatlah kompleks, dan hampir mustahil bagi AI untuk menyerapnya hanya dari teks
- Karena itu, mendelegasikan pekerjaan ke AI dalam proyek yang sudah sangat dipahami justru menurunkan produktivitas
- Informasi konteks yang kaya dan pemahaman intuitif milik pengembang tidak mudah digantikan oleh AI
Apakah alat AI harus dilarang di dunia kerja?
- Tidak harus. Ini hanya berlaku untuk “orang yang bekerja pada proyek yang benar-benar mereka kenal dan pahami”
- Banyak pengembang di perusahaan sering kali memelihara kode dari senior yang sudah pergi, atau bekerja tanpa memahami struktur keseluruhan sistem secara mendalam
- Dalam lingkungan seperti ini, AI dapat membantu meningkatkan produktivitas jangka pendek dengan memahami codebase dengan cepat dan menghasilkan perubahan secara otomatis
- Jika yang dilihat hanya penciptaan nilai bisnis jangka pendek dan efisiensi langsung, alat AI bisa berperan positif terhadap produktivitas
Membangun model mental dan AI
- Jika Anda belum memiliki model mental tentang proyek, LLM dapat membantu meningkatkan produktivitas
- Namun, jika esensi pengembangan perangkat lunak adalah ‘membangun model mental’, maka ketergantungan berlebihan pada AI dapat menurunkan kemampuan tersebut
- Dalam jangka panjang, jika ingin memahami proyek secara mendalam dan mengubahnya secara aktif, pengalaman menulis kode secara langsung tetap diperlukan
- Sebaliknya, untuk pekerjaan yang sekadar ‘membuatnya berjalan’, pemanfaatan AI bisa lebih efisien
Diskusi tambahan dan kesimpulan
- Pada tingkat AI saat ini, masih sulit meningkatkan produktivitas pengembang yang sudah memiliki model mental yang memadai
- Arah agar AI dapat benar-benar mendukung model mental atau secara revolusioner meningkatkan produktivitas pengembang berpengalaman masih membutuhkan penelitian dan pengembangan lebih lanjut
- Di masa depan, ketika model semakin berkembang, mungkin akan datang hari ketika pengembang manusia tidak lagi perlu memiliki model mental, tetapi pada tingkat saat ini, pemahaman dan pembelajaran langsung tetap esensial
- Pada akhirnya, AI bisa menjadi gangguan dalam lingkungan di mana saya benar-benar memahami apa yang sedang saya kerjakan, dan bisa menjadi alat produktivitas dalam lingkungan di mana hasil cepat lebih penting
5 komentar
> Para developer percaya AI membuat mereka bekerja lebih cepat,
Karena riset dengan memanfaatkan AI menjadi lebih cepat, kualitas hasil juga bisa ditingkatkan, jadi bukankah untuk pekerjaan yang sama kualitasnya akan sedikit lebih baik? Mungkin para developer berpikir bahwa untuk mengembangkan sesuatu sesuai kualitas hasil akhir setelah pekerjaan selesai, dibanding mencapainya sendirian, akan lebih cepat jika mencapainya dengan bantuan AI.
Kalau sejak awal tidak memakainya, mungkin hasilnya diimplementasikan hanya dengan pengetahuan yang lebih terbatas, jadi saya jadi berpikir mungkin memang karena itu.
> Sebaliknya, jika pekerjaannya sekadar ‘yang penting bisa jalan’, memanfaatkan AI bisa jadi efisien.
Bukan hanya developer tentu saja, tapi karena ada banyak orang dengan kecenderungan yang berbeda-beda, saya merasa bahwa orang yang kebetulan bekerja sebagai developer namun tidak suka atau takut menulis maupun melihat kode, dan yang pola pikirnya lebih ke yang penting berjalan daripada menafsirkan struktur yang sistematis atau sudut pandang maintainability, cenderung lebih kuat ketergantungan atau kepercayaan membutanya pada AI. Bisa jadi saya salah juga.
Mengukur "dampak AI" terhadap produktivitas pengembang open source berpengalaman
Pendapat Hacker News
Saya rasa tulisan blog tersebut dengan menarik membahas satu faktor spesifik yang dapat membuat AI memperlambat kecepatan pengembangan.
Ada juga kutipan dari para pengembang di makalah itu (bagian C.1.5), jadi silakan lihat.
Banyak orang membaca makalah itu, menemukan satu faktor yang terasa relevan, lalu mudah menyimpulkan bahwa “masalah satu inilah alasan perlambatan.”
Namun kenyataannya ada banyak faktor (setidaknya 5 yang kuat, dan sampai 9 masih belum bisa dikesampingkan; lihat tabel faktor di hlm. 11).
Analisis penyebab yang multiaspek lebih masuk akal daripada mengasumsikan satu penyebab tunggal.
Jika ada yang berencana bereksperimen sendiri, saya berharap hasilnya dibagikan melalui email yang tercantum di makalah.
Dan soal judul artikel yang ditulis sebagai “AI slows down open source developers. Peter Naur can teach us why”, menurut saya yang lebih akurat kira-kira adalah “Pada awal 2025, AI memperlambat pengembang open source berpengalaman. Peter Naur memberi konteks tambahan tentang faktor tertentu.”
Mungkin ungkapannya jadi kurang sensasional, tetapi saya rasa akurasi itu penting.
Sekali lagi terima kasih untuk tulisan yang bagus ini, dan saya juga terus membaca komentar-komentarnya
Diskusi terkait sebelumnya
Makalah lengkap
Komik manajemen waktu xkcd
Joel on Software: Things you should never do, part I
Banyak kode hasil AI hanya dibuat, diuji secara sederhana, lalu selesai. Bahkan sering kali itu menjadi kode yang penulisnya sendiri pun tidak benar-benar memahami konteks keseluruhan atau alasannya
(Dibahas lebih rinci di makalah bagian C.2.7 “Penggunaan alat AI di bawah rata-rata”)
Referensi: isu spam AI lama
try:catchterlalu luas sehingga sulit melacak sumber masalah. Saya pribadi ingin masalah muncul cepat dan jelas (= fail fast) agar bisa langsung diperbaikiSaya juga punya pemikiran yang mirip, tetapi agak sulit mengungkapkannya dengan kata-kata.
mental model adalah penamaan yang tepat. Sepertinya saya perlu lebih sering memakainya.