Dampak Gen AI pada Pekerjaan Berketerampilan Tinggi: Eksperimen dengan Pengembang Perangkat Lunak

Ringkasan

• Ikhtisar penelitian
  • Studi ini mengevaluasi dampak AI generatif terhadap produktivitas pengembang perangkat lunak melalui tiga eksperimen terkontrol acak yang dilakukan di Microsoft, Accenture, dan sebuah perusahaan manufaktur elektronik Fortune 100 anonim.
  • Eksperimen dilakukan sebagai bagian dari pekerjaan sehari-hari di masing-masing perusahaan, dengan pengembang yang dipilih secara acak diberi asisten coding berbasis AI, GitHub Copilot.
  • Studi yang melibatkan total 4.867 pengembang perangkat lunak ini menemukan bahwa jumlah tugas yang diselesaikan oleh pengembang yang menggunakan alat AI meningkat 26,08% (standard error: 10,3%).
  • Secara khusus, pengembang yang kurang berpengalaman menunjukkan tingkat adopsi dan peningkatan produktivitas yang lebih tinggi.

Ringkasan GN⁺

• Studi ini menunjukkan bahwa AI generatif dapat secara signifikan meningkatkan produktivitas pengembang perangkat lunak.
• Teknologi ini sangat berguna terutama bagi pengembang yang kurang berpengalaman, yang mengindikasikan bahwa alat AI dapat membantu mengurangi learning curve.
• Alat AI seperti GitHub Copilot dapat memainkan peran penting dalam meningkatkan efisiensi pengembangan perangkat lunak.
• Proyek lain dengan fungsi serupa antara lain TabNine dan Kite.

[GN⁺]

Opini Hacker News

• Pendapat insinyur berpengalaman

  • Copilot justru menjadi gangguan bagi insinyur berpengalaman
  • AI sangat berguna pada tahap sebelum mulai coding
  • Jika pengembang berpengalaman memanfaatkan AI dengan baik, mereka bisa memperoleh manfaat yang lebih besar

• Kekhawatiran atas menurunnya kualitas tenaga kerja IT

  • Perusahaan memberikan lebih banyak peran kepada satu orang untuk mengurangi jumlah tenaga kerja
  • Pengurangan tenaga kerja terjadi seiring diperkenalkannya DevOps dan DevSecOps
  • Pengembang baru kesulitan mempelajari banyak peran dalam lingkungan yang kompleks
  • Menggunakan ChatGPT adalah konsekuensi yang wajar

• Utang teknis akibat penggunaan AI oleh pengembang yang kurang berpengalaman

  • Pengembang berpengalaman harus membereskan utang teknis yang muncul dari penggunaan AI oleh pengembang yang kurang berpengalaman
  • Pengembang yang tidak terlalu tertarik pada teknologi justru lebih tertarik pada AI

• Kurangnya ringkasan hasil penelitian

  • Hasil penelitian diringkas terlalu sederhana
  • Hasil sangat berbeda tergantung perusahaan dan karier pengembang
  • Di Microsoft, tidak muncul hasil yang signifikan secara statistik

• Dampak LLM terhadap pertumbuhan pengembang

  • LLM dapat menghambat pertumbuhan pengembang
  • Jika pengembang junior menggunakan LLM, proses belajarnya bisa tergantikan
  • Keterampilan praktis pada akhirnya menjadi soal menyesuaikan prompt

• Perbedaan produktivitas antara pengembang berpengalaman dan pengembang junior

  • Pengembang berpengalaman tidak mengalami peningkatan produktivitas yang besar meski menggunakan Copilot
  • Peningkatan produktivitas pengembang junior dapat berujung pada penurunan produktivitas pengembang berpengalaman

• Bantuan AI saat mempelajari teknologi baru

  • AI lebih membantu saat mempelajari teknologi baru

• Pembaruan Copilot

  • Copilot berjalan berbasis GPT-3.5
  • Copilot Chat yang diperbarui ke GPT-4 dirilis pada 30 November 2023

• Makna peningkatan jumlah PR

  • Yang penting bukanlah peningkatan jumlah PR
  • Yang penting adalah apakah AI meningkatkan jumlah item yang lolos QA, mengurangi bug, dan sebagainya
  • Sekadar menghitung jumlah PR tidaklah berguna

• Hasil penggunaan AI di perusahaan

  • Sebagai hasil penggunaan AI di perusahaan, pengembang yang tidak efisien diberhentikan