Dampak Bantuan AI terhadap Pembentukan Keterampilan Coding

 (anthropic.com)
8 poin oleh GN⁺ 2026-01-31 | 1 komentar | Bagikan ke WhatsApp
  • Anthropic merilis studi yang menguji secara eksperimental bagaimana penggunaan asisten coding AI memengaruhi pembelajaran dan kemahiran pengembang
  • Hasil uji coba terkontrol acak menunjukkan bahwa kelompok yang menggunakan AI memiliki pemahaman konsep dan kemampuan debugging rata-rata 17% lebih rendah, sementara peningkatan kecepatan tidak signifikan secara statistik
  • Namun, peserta yang memanfaatkan AI bukan hanya untuk menghasilkan kode, tetapi juga untuk memahami konsep dan meminta penjelasan mencatat skor yang lebih tinggi
  • Studi ini menunjukkan bahwa cara ketergantungan pada AI menentukan hasil belajar, dan otomatisasi sederhana dapat menghambat pertumbuhan keterampilan
  • Perusahaan dan pengembang memerlukan strategi adopsi AI yang mempertimbangkan keseimbangan antara peningkatan produktivitas dan akumulasi keterampilan jangka panjang

Gambaran studi

  • Studi ini merupakan uji coba terkontrol acak yang dilakukan untuk menganalisis dampak asisten AI terhadap pembelajaran coding dan kemahiran teknis
    • Pesertanya adalah 52 pengembang junior yang telah menggunakan Python selama lebih dari 1 tahun dan tidak familiar dengan library Trio
    • Eksperimen terdiri dari tiga tahap: pemanasan, tugas coding utama (mengimplementasikan 2 fitur berbasis Trio), dan kuis
  • Para peserta bekerja dalam lingkungan coding online yang dilengkapi asisten AI, dan asisten tersebut mendukung akses ke kode serta pembuatan kode jawaban
  • Kriteria evaluasi terdiri dari empat area: debugging, membaca kode, menulis kode, dan pemahaman konsep, dengan fokus khusus pada debugging dan pemahaman konsep

Hasil utama

  • Kelompok AI memperoleh skor kuis rata-rata 50%, sedangkan kelompok non-AI 67%, menunjukkan selisih sekitar dua tingkat nilai (Cohen’s d=0.738, p=0.01)
    • Dari sisi kecepatan, kelompok AI rata-rata 2 menit lebih cepat, tetapi tidak signifikan secara statistik
  • Selisih skor terbesar muncul pada soal debugging, yang mengindikasikan kemungkinan bahwa penggunaan AI berkaitan dengan penurunan kemampuan memahami error
  • Efek pembelajaran berbeda tergantung cara AI digunakan
    • Pembuatan kode sederhana atau pendelegasian debugging berujung pada skor yang lebih rendah
    • Sebaliknya, meminta pertanyaan konseptual atau penjelasan kode menghasilkan skor yang lebih tinggi

Analisis menurut jenis interaksi AI

  • Pola skor rendah (rata-rata di bawah 40%)
    • Tipe delegasi ke AI (n=4) : seluruh kode diserahkan ke AI sehingga selesai paling cepat, tetapi kurang memahami konsep
    • Tipe ketergantungan bertahap (n=4) : awalnya mencoba sendiri, tetapi lama-kelamaan sepenuhnya bergantung pada AI, sehingga kurang menguasai konsep pada tugas kedua
    • Tipe debugging berulang (n=4) : menyerahkan penyelesaian error ke AI, hasilnya lambat dan skornya rendah
  • Pola skor tinggi (rata-rata 65% ke atas)
    • Tipe memahami setelah generasi (n=2) : setelah kode dibuat, peserta meminta penjelasan tambahan ke AI, sehingga tingkat pemahaman tinggi
    • Tipe campuran kode-penjelasan (n=3) : meminta kode dan penjelasan sekaligus; lebih lambat, tetapi pemahaman meningkat
    • Tipe eksplorasi konsep (n=7) : bekerja dengan fokus pada pertanyaan konseptual; error lebih banyak, tetapi penyelesaian mandiri membuat tugas selesai cepat

Interpretasi dan implikasi

  • Adopsi AI memunculkan persoalan keseimbangan antara produktivitas dan pembelajaran
    • Dalam lingkungan yang menekankan hasil cepat, ada kemungkinan pertumbuhan keterampilan pengembang junior terhambat
  • Desain cara penggunaan AI adalah variabel kunci, sehingga diperlukan interaksi yang mendorong pembelajaran, bukan sekadar otomatisasi
  • Perusahaan perlu secara sengaja mengelola penempatan alat AI dan desain pembelajaran, serta
    memastikan engineer tetap memiliki kemampuan untuk memverifikasi kode yang dihasilkan AI

Kesimpulan dan tugas lanjutan

  • Studi ini menunjukkan bahwa AI dapat meningkatkan produktivitas pada keterampilan yang sudah dikuasai, tetapi bisa menjadi penghambat saat mempelajari keterampilan baru
  • Karena ukuran sampelnya kecil dan evaluasinya hanya jangka pendek, keterkaitannya dengan pertumbuhan keterampilan jangka panjang masih belum terkonfirmasi
  • Agenda penelitian selanjutnya meliputi
    • dampak pada area kerja selain coding
    • apakah efek pembelajaran jangka panjang bertahan
    • perbedaan antara mentoring manusia dan dukungan AI
  • Bahkan dalam lingkungan dengan bantuan AI, upaya kognitif dan trial and error tetap penting dalam pembentukan kemahiran, dan
    AI perlu dirancang agar dapat mendukung efisiensi sekaligus pembelajaran

Bacaan terkait

1 komentar

 
GN⁺ 2026-01-31
Komentar Hacker News

  • Mengesankan bahwa Anthropic merancang dan merilis penelitian seperti ini sendiri
    Saya rasa ini sesuatu yang jarang terlihat di lab lain
    Menarik bahwa kelompok dengan bantuan AI memang sedikit lebih cepat, tetapi tidak signifikan secara statistik
    Pada akhirnya, AI tampaknya meningkatkan produktivitas, tetapi sebenarnya itu ditukar dengan penurunan kemampuan belajar

    • Penelitian ini dilakukan langsung oleh perusahaan yang menjual alat tersebut, jadi ada konflik kepentingan yang besar
      Sampai ada verifikasi ulang independen, kita sebaiknya tetap bersikap skeptis terhadap klaim di dalamnya
      Menurut saya, ini tidak berbeda dengan ‘riset kesehatan’ dari perusahaan rokok
    • Jika dilihat per masa pengalaman, junior dengan pengalaman 1–3 tahun memang lebih cepat, tetapi untuk yang 4 tahun ke atas tidak ada perbedaan
      Ada kekhawatiran bahwa junior ke depan akan tumbuh menjadi developer yang bergantung pada AI dan kehilangan kemampuan menyelesaikan masalah sendiri
    • Akan lebih baik jika kemampuan manajemen produk juga diukur
      Dugaan saya, pengguna AI mungkin tidak banyak berkembang dalam kemampuan coding, tetapi justru meningkat dalam kemampuan menyusun spesifikasi kebutuhan
      Peran developer pemula sedang bergeser ke arah fokus pada pendefinisian kebutuhan yang jelas
    • Anthropic tampaknya sedang mencoba memosisikan diri sebagai ‘orang dewasa yang matang’ di lingkungan regulasi untuk memperkuat pengaruhnya
      Kemungkinan besar strategi itu akan berhasil
    • Berbahaya jika hasil penelitian ini digeneralisasi
      Kebanyakan orang memilih jalur dengan hambatan paling kecil, tetapi sebagian justru belajar lebih cepat lewat AI
      Jadi, ini bukan kesimpulan yang berlaku sama untuk semua pengguna

  • Saya khawatir apa yang akan terjadi jika alat-alat seperti ini tiba-tiba tidak bisa digunakan
    Jika internet terputus atau kredit habis, bisnis dan mata pencaharian bisa lumpuh
    Pada akhirnya developer bisa merosot menjadi sekadar penjaga gerbang, dan saat sistem bermasalah mereka tidak bisa berbuat apa-apa

    • Dulu saya juga menyiapkan diri untuk lingkungan offline, tetapi sekarang bekerja tanpa internet sudah mustahil
      Saya pernah bekerja dari berbagai tempat di dunia, tetapi waktu yang hilang karena masalah koneksi bahkan tidak sampai satu hari
      Kalau Anthropic down, bisa diganti Gemini; kalau kredit habis, bisa pakai kredit gratis
      Model lokal sekarang juga sudah cukup layak dipakai
      Pada akhirnya manusia modern memang bergantung pada layanan online
    • Ini sama seperti saat AWS down
      Jika tidak suka risiko seperti ini, Anda harus membayar untuk alternatif yang kurang efisien tetapi lebih andal
    • Hampir tidak ada alasan alat seperti ini akan tiba-tiba menghilang
      Kalau itu terjadi, menurut saya lebih baik mengikuti prosedur tanggap darurat daripada kembali ke cara lama
      Dulu kita build sendiri dan upload lewat ISDN, tetapi sekarang peran itu digantikan CI/CD
      Kalau rusak, ya diperbaiki; deployment manual justru bisa menimbulkan masalah yang lebih besar
    • Kalau melihat hasil penelitian, AI tidak meningkatkan kecepatan kerja tetapi menurunkan pemahaman
      Efek ini sangat terlihat terutama saat mempelajari library baru
    • Sekarang model on-device juga sudah cukup kuat
      Saya tetap bisa bekerja produktif saat penerbangan jarak jauh tanpa internet
      Manusia justru makhluk yang semakin mampu beradaptasi ketika lingkungannya memburuk

  • Developer senior tetap unggul dalam pemahaman mendasar
    Seperti generasi lama memahami assembly dan hardware, generasi sekarang belajar cara menangani AI
    Yang pada akhirnya dibutuhkan adalah kemampuan belajar sesuai situasi
    Saya juga sudah bekerja lebih dari 20 tahun, dan sebagian besar pengetahuan saya pun sudah lupa, tetapi itu bukan karena AI
    Kode buruk dan masalah struktural sudah ada jauh sebelum LLM

    • Masalah utamanya adalah debugging
      Menurut penelitian, penurunan terbesar muncul pada kemampuan memecahkan masalah
      Junior saat ini kehilangan kesempatan untuk melakukan debugging sendiri
    • Patut dipuji bahwa Anthropic merilis penelitian seperti ini
      Saya selama ini bekerja sebagai ‘debugger terakhir’ di tim, dan bahkan pernah menemukan bug compiler
      Sekarang saya memakai Claude untuk mendelegasikan pekerjaan berulang, lalu mendalami hanya bagian yang memang perlu dipelajari secara strategis
      Hasilnya, efisiensi belajar saya meningkat
    • Hampir tidak pernah perlu menulis assembly secara langsung, tetapi saya rasa pengalaman itu membangun kemampuan memecahkan masalah
      Tidak belajar pun mungkin tidak merugikan, tetapi mempelajarinya juga tidak ada salahnya
      Pada akhirnya developer manusia dengan pemikiran logis tetap lebih unggul daripada LLM
    • Kemampuan membaca assembly masih berguna untuk debugging
      Tidak harus bisa menulisnya, tetapi harus bisa memahaminya

  • Model lama yang ‘kurang pintar’ (seperti GPT‑4) dulu hanya membantu sampai 90%, jadi sisanya tetap harus diselesaikan sendiri
    Dalam proses itu muncul pengalaman belajar yang mendalam
    Model sekarang terlalu matang, sehingga justru mengurangi kesempatan untuk berpikir sendiri
    Cara berkolaborasi dengan AI di editor tampaknya lebih baik daripada lewat CLI

    • Masalahnya, manajemen lebih fokus pada kecepatan dan peluncuran fitur daripada manusia
      Pada akhirnya developer yang sedang belajar menjadi pihak yang paling dirugikan
      Budaya ketergantungan pada LLM sedang muncul di semua jenis pekerjaan
    • LLM masih kurang dalam kemampuan merancang sistem
      Pekerjaan merancang struktur keseluruhan tetap menjadi ranah manusia
      Saya memakai LLM sebagai alat belajar, dan untuk visualisasi desain saya meminta contoh serta diagram secara interaktif
    • Sekarang model dengan performa serupa bisa dipakai dengan harga yang jauh lebih murah
      Misalnya, grok 4.1 fast 10 kali lebih murah dan sedikit lebih baik
    • Saya juga minum kopi di pagi hari sambil melihat ulang kode yang saya tulis kemarin dan memikirkan proses abstraksi
      Kalau model bekerja terlalu baik, cara berpikir manusia bisa menjadi tumpul
      Namun dalam persaingan, orang yang menguasai teknik paling efisien pada akhirnya akan menang
      Hanya saja AI sering hanya menampilkan hasil yang overfit, sehingga berbahaya
      Masih belum banyak cara untuk menyelesaikan masalah seperti ini
      Pada akhirnya manusia tetap harus memverifikasi sendiri dan membentuk pola belajar
    • Claude Code membawa saya cukup jauh, tetapi penyelesaian akhirnya tetap harus saya lakukan sendiri
      Ini sangat bagus untuk proyek hobi, tetapi ada batasannya di codebase berskala besar

  • Hakikat seorang programmer adalah belajar terus-menerus
    Saya sudah bekerja 25 tahun, tetapi sampai sekarang masih belajar hal baru setiap hari

    • Dalam kasus saya, kecepatan belajar dan kecepatan lupa berada dalam keseimbangan
    • Saat bekerja sebagai mentor developer di perusahaan besar, kami punya filosofi bahwa “pengetahuan lebih penting daripada kode”
      Masalah menggunakan konsultan adalah yang tersisa hanya kodenya, sementara pengetahuannya tetap berada di luar
      Pada akhirnya pemrograman itu sendiri adalah proses belajar
    • Tetapi ada juga yang melihat pemrograman sebagai keterampilan memecahkan masalah
      Sering kali pekerjaan itu adalah memodifikasi solusi yang sudah ada untuk menyelesaikan masalah
      Kadang belajar terlalu banyak justru menambah kompleksitas
    • Katanya “hakikat pekerjaan adalah belajar”, tapi selama ini saya kira pekerjaan utamanya adalah merilis produk

  • Menurut hasil penelitian, penggunaan AI menyebabkan penurunan pemahaman dan kemampuan debugging, sementara peningkatan efisiensinya minim
    Lihat tautan asli
    Kelompok AI mencatat rata-rata 50 poin, sedangkan kelompok coding manual 67 poin

  • Penelitian yang menarik
    Ini membuat kita berpikir, jangan-jangan kita sering mengira kenyamanan sebagai keterampilan

  • Bagus bahwa penelitian seperti ini dilakukan
    Seperti belajar bahasa, kalau tidak dipakai langsung, kemampuan tidak akan terjaga
    Wajar jika kemampuan perlahan menurun ketika kita berhenti menggunakannya

  • Saya sangat menghargai transparansi dan pendekatan ilmiah dari Anthropic
    Saya juga sedang berkembang lebih cepat dengan mendelegasikan pengembangan nyata dan fokus pada pembelajaran konsep

  • Judul postingannya bisa menyesatkan
    Penelitiannya bukan membahas peningkatan produktivitas developer pemula, melainkan dampak pada proses belajar

    • Penelitian ini hanya mengukur pembelajaran library, tetapi ke depan yang lebih penting adalah mempelajari pola pemanfaatan agen AI
      Masyarakat berjalan dengan kemahiran fungsional alih-alih pemahaman penuh
      Saya juga pernah memelihara library regex yang hanya diverifikasi lewat ratusan test case
      Meski tidak memahami implementasinya secara sempurna, saya tetap membangun kepercayaan lewat akurasi berbasis pengujian
    • Makalah aslinya mengatakan begini:
      AI memang memberi peningkatan produktivitas bagi pemula, tetapi bisa menghambat perolehan keterampilan
      Penggunaan yang sepenuhnya bersifat delegatif memberi sedikit efisiensi, tetapi mengurangi pembelajaran
      Sebaliknya, jika pola keterlibatan kognitif tetap dipertahankan, efek belajar bisa dijaga
      Artinya, produktivitas AI bukan jalan pintas menuju kemahiran
    • Pembelajaran tidak hanya terjadi saat masih pemula
      Bahkan setelah bekerja 25 tahun, saya masih belajar setiap hari
    • “Tidak ada peningkatan produktivitas bagi developer yang tidak terampil” pada dasarnya berarti menghambat pembelajaran