AI Menghambat Adopsi Teknologi Baru

 (vale.rocks)
10 poin oleh GN⁺ 2025-02-15 | 4 komentar | Bagikan ke WhatsApp
  • Seiring model AI diintegrasikan ke dalam workflow pengembang, AI mendorong atau menghambat penggunaan teknologi tertentu
  • Ketika model bahasa besar memberikan respons yang bias terhadap teknologi tertentu, muncul kecenderungan untuk memprioritaskan adopsi teknologi yang lebih mudah didukung AI
  • Sebelumnya pun alat dengan dokumentasi dan dukungan yang melimpah cenderung dipilih, tetapi masalahnya adalah AI memperbesar faktor penentu ini secara berlebihan

Kesenjangan pengetahuan

  • Karena model bahasa besar dilatih dengan dataset skala besar dan periode pelatihan yang panjang, pada saat dirilis mereka sering kali sudah memuat pengetahuan versi lama
  • Untuk teknologi baru yang muncul setelah cutoff pelatihan, AI tidak dapat memberikan bantuan yang memadai
  • Contoh: model-model utama seperti Anthropic dan OpenAI memiliki cutoff pengetahuan sekitar 2023~2024
  • Karena adanya kesenjangan pengetahuan, orang yang ingin memakai teknologi baru mengalami ketidaknyamanan akibat minimnya dukungan AI, sehingga adopsi teknologi tersebut tertunda
  • Teknologi yang sudah memiliki pangsa pasar akan terus mengumpulkan materi karena ada basis pengguna yang antusias, tetapi teknologi yang benar-benar baru memiliki lebih sedikit dokumentasi atau blog sejak awal sehingga sulit tercermin dalam pelatihan model
  • Walaupun AI kadang menyediakan fitur koneksi internet, sering kali fitur itu harus diminta secara eksplisit atau bahkan tidak tersedia sama sekali
  • Ada kemungkinan terbentuk lingkaran setan: kurangnya dukungan AI untuk teknologi baru → berkurangnya pengguna dan materi → kekurangan data pelatihan model → kembali berujung pada kurangnya dukungan AI
  • Saat pengembang yang ingin memakai framework JavaScript terbaru mencoba meminta bantuan AI, jika model tidak mampu memberi panduan yang cukup, dorongan untuk memilih dokumentasi lama atau alat yang sudah familier menjadi lebih kuat

Pengaruh system prompt

  • Beberapa model AI seperti Claude sering menunjukkan preferensi terhadap React dan Tailwind
  • Contoh: bahkan ketika Claude diminta untuk “menggunakan vanilla HTML/CSS/JS”, ia tetap menyarankan kode React atau mencoba menulis ulang kode yang ada ke React
  • System prompt beberapa model (atau prompt fitur tertentu yang tidak dipublikasikan) secara eksplisit menyebut library atau alat tertentu seperti React, Tailwind, dan Mermaid
  • Dalam contoh percakapan nyata, ketika diminta memakai Svelte Runes, model justru menawarkan alternatif React, yang pada akhirnya mendorong pengguna agar lebih mudah menerima React
  • Karena pengguna cenderung memilih solusi paling sederhana (Path of least resistance), opsi default yang disajikan AI sangat memengaruhi pilihan teknologi

Pengujian

  • Dilakukan pengujian sederhana untuk melihat apakah model AI akan merekomendasikan React saat diminta membuat aplikasi web baru
    • Anthropic Claude 3.5 Sonnet: ketiganya memberikan contoh pembuatan proyek dengan React + Tailwind
    • OpenAI ChatGPT 4o: ketiganya membuat aplikasi dengan React + Tailwind dan menampilkan pratinjau melalui fitur Canvas
    • Google Gemini 2.0 Flash: ketiganya menggunakan vanilla HTML/CSS/JS, tetapi tetap menyarankan penggunaan React, Angular, atau Vue
    • DeepSeek-V3: menyajikan berbagai kombinasi seperti vanilla HTML/CSS/JS atau Node.js, Express.js, MongoDB, Bootstrap. Namun, usulannya lebih berupa gambaran proyek daripada kode yang konkret
  • Hasil ini menunjukkan Claude dan ChatGPT sangat menyukai React + Tailwind, Gemini lebih menyukai HTML/CSS/JS tetapi tetap merekomendasikan React, sedangkan DeepSeek memiliki variasi teknologi paling besar namun kualitas outputnya agak berpusat pada gambaran umum

Refleksi

  • Pengembang pemula atau orang yang membuat aplikasi hanya dengan prompt kemungkinan besar akan menerima hasil dari ChatGPT dan sejenisnya apa adanya
  • Bahkan jika memilih framework lain, model dapat terus mengarahkan ke React karena aturan internal seperti system prompt
  • Bisa muncul suasana yang mendorong pemilihan teknologi yang sudah dikenal kompatibel dengan AI, dan ini menghambat penyebaran teknologi baru atau teknologi minoritas
  • Bias model bahasa besar dipandang memperpanjang umur teknologi yang sedang populer sekaligus menaikkan hambatan masuk pasar bagi teknologi baru
  • Diusulkan agar perusahaan AI secara eksplisit mengungkapkan informasi mengenai bias teknologi pada model mereka
  • Untuk riset ke depan, bisa dipertimbangkan metode seperti membandingkan perubahan deret waktu system prompt yang memuat teknologi tertentu dengan tren unduhan paket untuk mencari korelasi. Namun, karena variabelnya banyak, kemungkinan besar akan ada banyak noise

[Catatan 1] ‘Platform chat AI paling populer’ didasarkan pada pengamatan subjektif penulis
[Catatan 2] Karena Claude dan ChatGPT memberikan hasil yang mudah dan instan kepada pengguna melalui fitur artifact dan canvas, dampaknya sangat besar terutama bagi pemula pengembangan atau pengguna baru

Bacaan terkait

4 komentar

 
iolothebard 2025-04-02

Polarisasi si miskin makin miskin dan si kaya makin kaya pun menghilang…
Kalau membuat produk baru, setidaknya sekarang harus sekalian membuat server MCP…
 
bbulbum 2025-02-17

Ini terasa paradoks, tetapi saya jadi berpikir bahwa meningkatkan kemampuan untuk belajar secara mandiri adalah cara untuk memperkuat daya saing di era AI.
 
aer0700 2025-02-15

Bukankah ini juga berlaku untuk Stack Overflow?
 
GN⁺ 2025-02-15
Opini Hacker News

  • AI tidak menghambat adopsi teknologi baru

    • Teknologi baru atau upgrade versi memang butuh waktu agar orang terbiasa
    • Ini seperti mengatakan Stack Overflow menghambat adopsi teknologi baru
    • LLM dilatih ulang secara berkala karena alasan komersial
    • Para early adopter tidak bergantung pada LLM

  • Hal-hal yang diprediksi dalam makalah OpenAI Codex

    • Pengguna mungkin cenderung menerima jawaban Codex dengan asumsi paket yang disarankannya akan lebih berguna
    • Ada kemungkinan kurangnya kesadaran terhadap paket baru
    • Untuk paket yang sudah ada, model bisa menyarankan metode yang sudah deprecated
    • Pengembang open source bisa makin termotivasi untuk menjaga kompatibilitas dengan versi lama

  • Ada pendapat bahwa teknologi baru adalah sampah yang menyedot data dan gaji

    • Orang-orang merasa lelah dengan teknologi baru
    • Perlu mengusulkan sesuatu yang baru yang tidak menyedot data dan gaji

  • Ada pendapat bahwa jika LLM menyebut teknologi tertentu, maka teknologi itu harus dipakai

    • Jika teknologinya tidak disebutkan, pengguna perlu memperjelas dan bertanya soal pilihan teknologi
    • LLM seharusnya tidak memiliki preferensi yang dikunci oleh struktur prompt dari penyedianya
    • Perlu upaya untuk mencegah bias seperti ke React
    • Ada kekhawatiran terhadap Anthropic yang menerima investasi dari perusahaan teknologi
    • Ini bisa menentukan apakah LLM dapat menerima rekomendasi dari AWS, Azure, GCP, dan lain-lain

  • Ada pendapat bahwa LLM akan berguna untuk bahasa seperti Elm

    • Digunakan bersama agen yang bisa berjalan dalam loop evaluasi

  • Berbagi pengalaman menggunakan matplotlib untuk visualisasi data

    • AI bekerja cukup baik sampai kita bisa meminta perubahan grafik tanpa menulis kode
    • Ada perasaan bahwa pintu terhadap hal-hal baru sedang tertutup
    • Contoh lain seperti Emacs lisp

  • Pertanyaan tentang dampak LLM terhadap adopsi framework dan teknologi baru

    • Pertanyaan tentang React mendapat jawaban yang baik, tetapi pertanyaan tentang framework baru tidak demikian
    • Seiring makin banyak pengembang bergantung pada alat AI, adopsi teknologi baru bisa menjadi lebih sulit

  • Masalah preferensi pembuatan kode pada Claude 3.5 Sonnet

    • Cenderung menghasilkan kode dalam React atau mengubah kode yang ada menjadi React

  • Contoh tentang pengembang yang memakai framework JavaScript terbaru

    • Alat AI gagal memberikan panduan yang bermakna
    • Dunia di mana Django dan React dianggap sebagai pilihan yang sudah jelas memungkinkan pengembangan web app yang lebih murah

  • Contoh standar MCP yang didorong oleh Anthropic

    • Menyediakan teks panjang/MD yang dioptimalkan agar Claude bisa memahami protokolnya
    • Berguna untuk bootstrap plugin/server baru
    • Standar yang baru berumur beberapa bulan itu sudah memiliki ratusan implementasi