Model bahasa besar menurunkan berbagi pengetahuan publik di platform tanya jawab online

Ringkasan

• Dampak model bahasa besar (LLM)
  Model bahasa besar (LLM) memiliki potensi untuk menggantikan data dan sumber pengetahuan yang dihasilkan manusia. Namun, penggantian ini dapat menimbulkan masalah karena berujung pada berkurangnya data pelatihan yang dibutuhkan untuk pengembangan model di masa depan. Studi ini mendokumentasikan bahwa aktivitas di Stack Overflow menurun seiring peluncuran ChatGPT.

• Dampak ChatGPT
  Dalam 6 bulan setelah peluncuran ChatGPT, aktivitas di Stack Overflow turun 25% dibandingkan platform serupa di Rusia dan Tiongkok serta forum matematika. Ini ditafsirkan sebagai batas bawah dari dampak nyata ChatGPT terhadap Stack Overflow. Penurunan lebih besar terlihat pada posting yang terkait dengan bahasa pemrograman yang paling banyak digunakan.

• Efek substitusi LLM
  LLM tidak hanya menggantikan konten yang berulang atau berkualitas rendah, tetapi juga konten berkualitas tinggi. Pengguna ChatGPT cenderung lebih kecil kemungkinannya untuk memposting di Stack Overflow dan tidak lagi mengunjungi platform tersebut secara rutin. Ini menunjukkan bahwa adopsi LLM yang cepat dapat mengurangi produksi data publik yang dibutuhkan untuk pelatihan, sehingga berpotensi menimbulkan konsekuensi penting.

• Dampak menurut bahasa pemrograman
  Dampak ChatGPT lebih besar pada bahasa yang banyak digunakan seperti Python dan Javascript. Pada bahasa tertentu seperti CUDA, jumlah posting justru meningkat setelah peluncuran ChatGPT. Ini menunjukkan meningkatnya minat terhadap perangkat lunak yang terkait dengan AI.

Ringkasan GN⁺

• Studi ini menyoroti dampak negatif adopsi AI yang cepat terhadap produksi data publik dengan menganalisis pengaruh model bahasa besar seperti ChatGPT pada platform tanya jawab online.
• Seiring meningkatnya penggunaan ChatGPT, aktivitas pada platform seperti Stack Overflow menurun, dan hal ini dapat memengaruhi kualitas data pelatihan untuk model AI di masa depan.
• Perubahan ini dapat berdampak penting pada ekonomi digital dan cara akses informasi, serta menimbulkan kekhawatiran tentang keberlanjutan ekosistem AI.
• Proyek lain dengan fungsi serupa termasuk repositori GitHub yang berkaitan dengan bahasa pemrograman.

[GN⁺]

Opini Hacker News

• Ada masalah bahwa LLM tidak menciptakan informasi baru, melainkan hanya menyusun ulang informasi yang sudah ada. Kinerjanya buruk ketika contoh kode kurang memadai

  • Jika orang tidak mengajukan pertanyaan di platform seperti Stack Overflow, maka tidak akan ada jawaban juga
  • Forum tanya jawab seperti Stack Overflow perlu meningkatkan fitur untuk mengintegrasikan jawaban ke dalam alur kerja pengguna

• Ada yang meragukan klaim bahwa LLM mengurangi berbagi pengetahuan publik

  • Data yang disajikan tidak cukup kuat
  • Pertanyaan yang baik berhenti turun lalu menjadi datar, dan pertanyaan netral berhenti naik lalu menjadi datar
  • Pertanyaan yang buruk terus menurun, yang mengisyaratkan bahwa LLM sedang menggantikan konten berkualitas rendah

• Pertanyaan tentang proyek open source berpindah ke GitHub dan Discord

  • LLM menghemat waktu

• Berkurangnya kontribusi gratis ke Stack Overflow disebabkan oleh kontrak API OpenAI dan posting blog terkait AI

• Jika AGI tercapai, LLM akan berkata "obrolan ini ditandai sebagai duplikat"

• LLM dapat mempersempit cakupan pengetahuan dan diskursus

  • Jika meminta lelucon kepada LLM, ia cenderung mengulang lelucon yang sama

• Jika interaksi teknis berkurang, hal itu juga bisa memengaruhi interaksi di dunia nyata

  • Muncul pertanyaan tentang cara membandingkan nasihat AI dan manusia

• LLM belajar dari platform tanya jawab online, tetapi jika orang berhenti bertanya dan menjawab, sumber pengetahuan bisa tercemar oleh data LLM yang tidak akurat

• Mungkin diperlukan agen yang secara otomatis berkontribusi ke Stack Overflow dan secara otomatis memberi upvote pada solusi