Riset baru GitHub Copilot menemukan 'tekanan ke bawah pada kualitas kode'

Hasil riset GitHub Copilot menemukan 'tekanan ke bawah' pada kualitas kode

• Studi baru tentang dampak GitHub Copilot berbasis AI terhadap pengembangan perangkat lunak menunjukkan hasil negatif.
• White paper GitClear "Coding on Copilot" meneliti kualitas dan kemudahan pemeliharaan kode yang dibantu AI dibandingkan dengan kode yang ditulis manusia.
• Hasil riset menemukan tren yang mengkhawatirkan untuk pemeliharaan kode, dan pada 2024 jumlah perubahan kode diperkirakan meningkat dua kali lipat dibandingkan 2021 sebelum adopsi AI.

Kontras dengan riset GitHub

• Studi lain, khususnya riset GitHub tahun 2022, menemukan bahwa pengembang yang menggunakan GitHub Copilot menyelesaikan pekerjaan jauh lebih cepat.
• Riset GitHub mengukur efek positif seperti peningkatan produktivitas, kenaikan kepuasan pengembang, dan penghematan energi mental.
• Riset GitClear meneliti perubahan dalam komposisi kode saat menggunakan AI, serta mengungkap hal-hal yang perlu diperhatikan para pemimpin teknis pada 2024.

Opini GN⁺

• Riset ini penting untuk memahami dampak AI terhadap pengembangan perangkat lunak. Secara khusus, riset ini menyoroti potensi masalah yang dapat timbul dari penggunaan AI, terutama dari sisi kualitas dan pemeliharaan kode.
• Alat seperti GitHub Copilot memang dapat meningkatkan produktivitas pengembang, tetapi temuan ini menunjukkan bahwa dampaknya terhadap kualitas kode jangka panjang juga perlu dipertimbangkan.
• Para pemimpin teknis dapat merujuk pada hasil riset ini untuk membantu mencegah masalah yang mungkin muncul saat menggunakan alat bantu AI, serta menyusun strategi guna menjaga kualitas kode.

[GN⁺]

Komentar Hacker News

• Seorang pengguna menyebut telah membatalkan langganannya karena terlalu banyak upaya mental yang harus dihabiskan untuk memperbaiki kesalahan kode. Terutama saat menyelesaikan masalah kompleks terkait SQL, alat ini disebut tidak berguna. Menulis sendiri apa yang diinginkannya terasa lebih mudah, dan ia khawatir pengembang junior akan kewalahan oleh alat yang tidak efisien seperti ini.
• Pengguna lain mengatakan bahwa dengan menggunakan GPT-4, efisiensi dalam pengembangan aplikasi CRUD PHP meningkat secara signifikan. Kode yang dihasilkan dari instruksi sederhana mudah dipahami dan sebagian besar langsung berfungsi. Menurutnya, alat itu membantu mendengarkan kebutuhan pengguna dan memecahkan masalah. GPT-4 memberi bantuan yang bernilai dengan biaya murah, tetapi ia menekankan bahwa tanpa memahami dasar-dasarnya, alat itu tidak akan efektif.
• Seorang peserta diskusi mempertanyakan metodologi yang membandingkan aktivitas commit tahun 2023 dengan tahun-tahun sebelumnya. Ia mengkritik bahwa analisis regresi yang hanya didasarkan pada 4 titik data tidak meyakinkan, apalagi tanpa mempertimbangkan dampak Copilot.
• Pengguna lain menunjukkan bahwa teknologi digunakan untuk pertumbuhan pasar dan pemerintah, tetapi sering kali menyelesaikan masalah dengan cara menumpuk di atas abstraksi yang tidak sempurna. Ia mengatakan dibutuhkan perubahan kualitatif, dan khawatir LLMs (Large Language Models) mendorong kekeliruan manusia untuk mencapai tujuan tanpa upaya yang sungguh-sungguh.
• Seorang pengembang menjelaskan alur kerjanya dan mengatakan bahwa jika Copilot memberikan kode yang berjalan pada tahap prototipe, itu bisa membuatnya melewati sebagian besar proses yang diperlukan untuk benar-benar memahami masalah dan menyusunnya dengan benar. Menurutnya, Copilot bisa sangat berguna pada tahap akhir pengembangan, tetapi orang tidak seharusnya mengharapkan hasil melebihi apa yang dimasukkan.
• Seorang pengembang junior merasa asisten seperti Codeium sering kali mengganggu dan khawatir hal itu membuatnya tidak belajar cara menulis kode sendiri. Alat seperti Phind membantu memahami masalah, tetapi Codeium sering tidak bekerja sehingga membuatnya frustrasi.
• Penulis penelitian tersebut menyatakan antusiasme terhadap perhatian jangka panjang pada kualitas kode. Ia mengatakan peningkatan duplikasi kode dan berkurangnya pemindahan kode pada 2023 adalah hasil yang tidak terduga. Ia berharap tim pengembang dan pembuat asisten AI mengadopsi pengukuran serta insentif yang lebih menghargai kode yang dapat digunakan ulang daripada kode baru yang sekadar ditambahkan.
• Seorang pengguna mengatakan ia membuat klon Yourls berbasis Django/Python dengan ChatGPT, tetapi gagal mempertimbangkan fitur pelacakan trafik dengan benar. Ia mengibaratkan alat AI bekerja seperti pengembang pemula, tetapi membuat kesalahan jauh lebih cepat.
• Disebutkan bahwa penolakan terhadap prinsip DRY (Don't Repeat Yourself) sebenarnya sudah mulai muncul, dan beberapa pengembang muda memiliki sikap yang sangat berbeda terhadap kode. Mereka disebut memandang remeh design pattern serta prinsip DRY dan SOLID.
• Terakhir, seorang pengguna merasa Copilot terlalu berusaha terlihat pintar sehingga sering menghasilkan jawaban yang salah. Ia ingin Copilot menjadi IntelliSense yang pintar, tetapi menilai bahwa dalam praktiknya alat itu lebih mirip pair programmer yang lebih bodoh. Ia juga berpikir banyak orang memakainya untuk business logic, dan produk tersebut memang bergerak ke arah itu.