- Stack Overflow dulu merupakan ruang tanya-jawab utama bagi para developer, tetapi setelah meluasnya asisten AI penulisan kode seperti ChatGPT, Cursor, dan Claude, jumlah pertanyaan dan trafik menurun tajam
- Bulan lalu jumlah pertanyaan hanya 6.866, turun ke level awal peluncurannya pada 2008, dan Elon Musk menyebutnya sebagai “kematian oleh LLM”
- Meski partisipasi forum menurun, pendapatan tahunan hampir dua kali lipat menjadi sekitar $115 juta, dan kerugian turun dari $84 juta pada FY2023 menjadi $22 juta
- Struktur pendapatan bergeser dari iklan ke solusi perusahaan dan lisensi data, dan Stack Internal kini digunakan oleh 25.000 perusahaan di seluruh dunia
- Pertanyaan developer berpindah ke chat AI privat sehingga pengetahuan publik baru berkurang, tetapi LLM tetap membutuhkan data Stack Overflow, menciptakan struktur yang bersifat siklik
Asisten AI mengurangi trafik Stack Overflow
- Stack Overflow telah lama menjadi forum Q&A utama tempat developer mencari bantuan teknis, dan pada masa pandemi pengaruhnya nyaris mencapai puncak berkat para developer yang mencari informasi yang berguna untuk jangka panjang
- Seiring meluasnya asisten AI penulisan kode seperti ChatGPT, Cursor, Claude, Google Gemini, dan Microsoft Copilot, trafik situs menurun tajam
- Pada Juli 2023, Elon Musk menyebut situasi Stack Overflow sebagai “kematian oleh LLM”
- Bulan lalu jumlah pertanyaan yang diposting di Stack Overflow adalah 6.866, hampir setara dengan skala umum pada masa awal peluncurannya di 2008
Forum menyusut, tetapi pendapatan perusahaan tetap bertahan
- Forum Q&A Stack Overflow memang melemah, tetapi perusahaan tetap bertahan dengan memonetisasi konten arsipnya yang sangat besar
- Setelah ChatGPT muncul pada 2022, partisipasi turun drastis, tetapi pendapatan tahunan Stack Overflow hampir dua kali lipat menjadi sekitar $115 juta
- Kerugian berkurang dari $84 juta pada FY2023 menjadi $22 juta pada tahun fiskal terbaru
- Penghematan biaya besar seperti PHK massal juga berkontribusi pada perbaikan profitabilitas
- Berbeda dengan pusat pengetahuan seperti Chegg yang terdampak keras oleh AI generatif, Stack Overflow berhasil menghubungkan nilai konten lamanya ke sumber pendapatan baru
Bergeser dari iklan ke solusi perusahaan dan lisensi data
- Dulu Stack Overflow bergantung pada iklan dari forum yang aktif, tetapi sekarang sumber pendapatan utamanya telah berubah menjadi solusi perusahaan
- “Stack Internal” menyediakan add-on AI generatif yang dibangun di atas jutaan pertanyaan dan jawaban yang terkumpul selama bertahun-tahun
- Stack Internal saat ini digunakan oleh 25.000 perusahaan di seluruh dunia
- Mirip Reddit, Stack Overflow juga menjual lisensi data kepada perusahaan AI
- Reddit disebut sebagai platform yang menghasilkan lebih dari $200 juta pada 2024 dari lisensi konten buatan pengguna
Nilai kepercayaan yang dibangun komunitas lama
- Ceruk pasar baru Stack Overflow terletak pada kepercayaan yang dibangun oleh komunitas lama dan keahlian yang terakumulasi
- CEO Prashanth Chandrasekar menilai pada awal 2023 bahwa penurunan pertanyaan sebagian besar terjadi pada pertanyaan yang sangat sederhana, sementara pertanyaan yang kompleks masih tetap diposting di Stack Overflow
- Menurut Chandrasekar, jika LLM hanya sebaik data yang dikurasi manusia, maka Stack Overflow bisa menjadi salah satu tempat terbaik atau bahkan yang terbaik di bidang teknis
- Model bahasa besar menginginkan data tentang masalah coding dan cara penyelesaiannya, dan Stack Overflow memiliki gudang digital besar berisi data semacam itu
AI dan pengetahuan developer yang menjadi struktur siklik
- Data Stack Overflow penting bagi LLM, tetapi ketika pertanyaan developer berpindah ke jendela chat privat dengan LLM, jumlah tanya-jawab publik baru yang terakumulasi pun menurun
- LLM membutuhkan data dalam jumlah sangat besar untuk berfungsi, dan data Stack Overflow adalah aset yang dapat memenuhi kebutuhan itu
- Pada saat yang sama, data Stack Overflow juga makin menjadi aset yang menua
- Stack Overflow menunjukkan perubahan siklik dalam industri teknologi: AI melemahkan berbagi pengetahuan publik antar developer, tetapi pada saat yang sama kembali membutuhkan pengetahuan publik tersebut
1 komentar
Opini Hacker News
Rasanya memang pantas hilang
Saya juga sering memakainya seperti orang lain dan berkali-kali tertolong, tetapi masalah budayanya menjadi sangat serius dan tidak pernah hilang
Gamifikasi menarik orang-orang yang kaku dan terobsesi pada aturan, dan tampaknya mereka bahkan tidak sadar ketika melukai orang lain
Saya paham niatnya adalah menginginkan pertanyaan yang bagus dan jawaban yang berguna, tetapi itu tidak membenarkan perlakuan semena-mena terhadap orang hanya karena mereka mengajukan pertanyaan yang “salah”. Keangkuhan dan penolakan sinis yang saya lihat di sana sangat menyakitkan untuk disaksikan
Ditutup: duplikat dari pertanyaan ke-1234, “Bagaimana melakukan sesuatu yang agak mirip di Django 1.3?” dari Agustus 2011
Moderator di situs itu benar-benar menghilangkan kesenangan dalam berinteraksi. Kalau Anda menjalankan situs dengan moderator, Anda harus memastikan mereka tidak mengubah situs itu menjadi seperti Stack Overflow
Dari sudut pandang orang yang sering menjawab di antrean ‘New’, jumlah pelanggaran aturan, pertanyaan minim usaha, dan duplikat yang jelas benar-benar mengejutkan
Pada akhirnya 99% pertanyaannya tidak layak diajak berinteraksi, jadi saya berhenti menjawab dan hanya vote to close lalu lanjut
Menurut saya, pada akhirnya SO mati karena terlalu terkenal dan moderasi menjadi mustahil ditangani
Dulu CUDA adalah teknologi baru yang membuka kemungkinan menarik dalam komputasi ilmiah dan komputasi paralel, dan di Stack Overflow ada banyak pertanyaan menarik tentang cara menggunakan CUDA. Jadi dia mulai menjawab, menjawab hampir 700 pertanyaan, menjadi kontributor dengan reputasi tertinggi di tag CUDA, dan katanya itu cukup menyenangkan
Tetapi ketika CUDA makin matang, hampir semua pertanyaan bagus sudah pernah ditanyakan dan dijawab, dan yang masuk ke Stack Overflow sekarang kebanyakan hanya sisa-sisa, jadi dia lebih banyak menghabiskan waktu untuk mengedit, downvote, dan menutup daripada menjawab
Akibatnya, sebagian besar pertanyaan CUDA akhirnya didownvote dan dihapus. Anehnya, itu tetap terjadi meskipun CUDA terus berkembang
Kalau Anda sedang mengalami kesulitan dalam hidup dan mencari bantuan secara online, itu benar-benar pengalaman yang mematahkan semangat
Sekarang mereka bukan cuma menutup pertanyaan, tetapi juga menghapus seluruhnya meskipun ada informasi berguna di dalamnya
Saya pernah kembali ke pertanyaan lama yang sudah ditutup untuk mencari tautan yang ditinggalkan seseorang di komentar, lalu melihat bahwa seorang moderator menghapus pertanyaan itu tanpa alasan meskipun ada isi yang nyata di sana
Saat itu saya benar-benar muak, lalu fokus ke domain dan situs web saya sendiri, dan jika saya mengunggah sesuatu lagi di sana, itu akan selalu dalam bentuk tautan ke situs saya sendiri. Tujuannya agar deletionism mereka tidak bisa menjangkaunya
Stack Overflow mungkin yang terbaik sebagai gudang pengetahuan umat manusia tentang pemrograman
Tetapi menurut saya kegunaannya terbatas pada pengetahuan yang sudah terakumulasi. Sebagai layanan atau komunitas, sudah cukup buruk sejak lama
Bagi pengguna baru yang ingin belajar pemrograman, itu mungkin salah satu sumber paling beracun. Saya hampir tidak pernah memposting pertanyaan sejak 2019
Yang bisa diharapkan pengguna rata-rata hanyalah balasan ketus dari orang yang bahkan tidak benar-benar membaca tulisanmu, atau moderator yang menghapusnya dengan alasan ada pertanyaan yang mirip, entah ada jawaban memuaskan atau tidak
Pada titik tertentu, semua pertanyaan yang bermakna sudah pernah diajukan. Situs itu tidak lagi ada untuk membantu variasi dari masalah yang sudah ada, melainkan untuk mengumpulkan masalah baru
Pengaruh homogenisasi industri ke beberapa framework juga sering diremehkan. Fakta bahwa masa puncak Stack Overflow bertepatan dengan naiknya React terasa cukup sugestif
Belakangan dioptimalkan untuk kerapian, dan itu merusak situsnya, sambil dalam prosesnya terutama menyiksa dan mengusir pengguna baru
Saya dulu sering memposting pertanyaan matematika/statistika sederhana di math SE dan stats SE, dan dalam beberapa jam, kadang hanya beberapa menit, saya mendapat jawaban yang akurat
Dan tidak ada mekanisme untuk mempertahankan dan memberi penghargaan pada keramahan
Jeff Atwood kemudian banyak memikirkan hal ini saat membuat Discourse, dan mencoba mendorong anggota komunitas untuk saling memperlakukan dengan baik
Penulis menandai COVID dan peluncuran ChatGPT di grafik, tetapi tidak menyebut bahwa Stack Overflow diakuisisi oleh firma private equity Belanda, Prosus, pada Juni 2021
Menurut saya, titik waktu itu cukup cocok dengan keseluruhan tren penurunan
Penjualan itu sendiri lebih merupakan gejala daripada penyebab
Mereka tampaknya bukan pihak yang “diakuisisi”, melainkan lebih seperti pihak yang diwariskan
Selama periode itu StackOverflow sendiri tidak banyak berubah, dan perubahan pada penggunanya kemungkinan disebabkan oleh faktor eksternal
Stack Overflow punya banyak kekurangan, tetapi pada masa puncaknya itu adalah sesuatu yang menakjubkan di internet
Khususnya di masa awal, orang-orang mengejar karma, dan apa pun yang Anda tanyakan, Anda akan mendapat semacam jawaban. Tidak selalu benar, tetapi selalu ada jawaban
LLM mungkin rata-rata bisa memberi jawaban yang jauh lebih baik, tetapi saya merasa bagian manusianya yang hilang dari sana layak untuk benar-benar diingat dan dihargai
Ironisnya, StackOverflow hampir membunuh forum-forum seperti itu, dan pada akhirnya ia sendiri menjadi korban gelombang berikutnya
Saya rasa ini memang layak dikhawatirkan
Orang menggunakan Stack Overflow dan dalam prosesnya menciptakan pengetahuan baru
Tanpa medium diskusi seperti itu, bagaimana kita bisa memberi model pengetahuan terbaru yang berkualitas tinggi?
Semacam tempat untuk mengunggah solusi atas masalah yang ditemukan LLM setelah melakukan banyak riset
Sayangnya, LLM terkonsentrasi pada segelintir penyedia seperti OpenAI, Anthropic, dan Google, jadi masing-masing kemungkinan akan membuat Stack Overflow privat dan tertutup mereka sendiri
Dengan memanfaatkan Stack Overflow privat itu, LLM mereka masing-masing bisa menghindari penalaran kompleks dan menghemat token, waktu, serta biaya
Misalnya, kalau ada bug pada suatu library yang memerlukan workaround umum, model bisa belajar dari kode open source yang memakai workaround itu
Ada lingkungan reinforcement learning, data sintetis, data beranotasi manusia, dan juga data penggunaan dari codex/claude code/cursor
Dalam coding, sebagian besar kemampuan model datang bukan dari pretraining melainkan dari post-training
Bisa dibilang LLM mendapat keuntungan dengan “mencuri” konten buatan pengguna dari masa sebelum ada LLM
Di era LLM, tidak akan ada Stack Overflow baru yang lahir untuk melatih LLM ke depannya
Banyak akun di Twitter juga makin mendekati teori internet mati di mana isinya pada dasarnya adalah LLM. Reddit juga tampaknya akan jadi masalah besar. Akan banyak akun yang farming karma, ikut kampanye pengaruh, atau mengejar pendapatan iklan
Pada akhirnya, korpus untuk melatih LLM sendiri akan mencapai titik di mana isinya penuh dengan sampah buatan LLM. Apakah masa depan kita adalah sampah yang saling menguatkan sendiri?
Masalahnya bukan cuma SO mencekik dirinya sendiri, tetapi juga mesin pencari besar kini beralih ke jawaban AI alih-alih menampilkan blog-blog kecil
Persyaratan penulisan pertanyaan yang ketat memang membantu mendefinisikan masalah dengan jelas, dan setelah menulis pertanyaan dengan benar, saya sering kali justru menemukan jawabannya sendiri
Tapi dalam beberapa tahun terakhir, sekadar mem-posting pertanyaan di sana terasa nyaris traumatis. Bahkan kalau mem-posting pertanyaan yang sepenuhnya sah, kemungkinan besar tetap kena downvote dan ditutup; kalau ada sedikit saja masalah pada pertanyaannya, hasilnya lebih parah lagi
Dulu rasanya seperti “saya mem-posting pertanyaan lalu jadi bisa menjawabnya sendiri, dan seseorang mengatakan itu lewat komentar”, tapi sekarang berubah total menjadi “apa pun pertanyaannya, seluruh situs akan menyerbu untuk melenyapkannya”
Meski mungkin terdengar aneh, kadang saya menemukan solusi yang lebih baik di Stack Overflow daripada cara yang terus dipaksakan Claude Code
Dalam jangka panjang, saya tidak yakin apakah dunia tanpa SO benar-benar lebih baik
LLM sangat bagus dalam mengeluarkan solusi yang terkenal, bukan solusi terbaik untuk suatu masalah
Karena cara kerjanya mengambil sampel token dari distribusi probabilitas LLM, ekor panjang dari berbagai solusi pada umumnya hilang
Cara yang pernah membantu adalah meminta, misalnya, 10 solusi berbeda untuk suatu masalah lalu memilih salah satunya. Saat ternyata memang tidak ada 10 solusi yang berbeda, kadang justru muncul solusi yang hampir kreatif
Kadang solusi “terbaik” justru berupa kode yang sulit dibaca, dan melihat orang-orang berdebat seperti monyet marah sambil menyelesaikannya dengan berbagai cara bisa membuat kita lebih memahami masalahnya
Tentu saja, kadang situasinya juga benar-benar buruk
Hanya saja, budaya situs itu sudah terasa bermasalah sejak cukup lama
Saya mencurahkan banyak usaha untuk mengedit tanya jawab di ServerFault, yang merupakan bagian dari SO, tetapi sekarang rasanya waktu itu terbuang sia-sia
Mereka tampaknya sudah lama ingin menjual situs itu dan tidak lagi terlalu peduli. Mereka membiarkan beberapa editor bersikap jahat terlalu lama, dan itu membuat mereka jadi kelewatan. Andai usaha itu bisa saya tarik kembali
Bahkan bisa dibuat lelucon bahwa seluruh internet lainnya hanya berfungsi mengencerkan ruang laten final yang sudah dibatasi oleh Jon Skeet
Saya tahu Stack Overflow akan kesulitan karena AI, tetapi tetap sulit dipercaya bahwa jumlah pertanyaan bulanan turun dari 200 ribu sebelum chatbot menjadi kira-kira 1.000
Tentu saja, saya sendiri juga sama sekali tidak ke sana selama 4 tahun terakhir
https://data.stackexchange.com/stackoverflow/revision/193252...
Sekarang memang sudah benar-benar tidak ada alasan untuk memakai Stack Overflow. Walaupun LLM punya kekurangan, sebagai cara mendapatkan jawaban untuk masalah coding, LLM jauh lebih baik
Kurang lebih rasanya seperti, “Terima kasih untuk postingan ini, tetapi pilihan katanya salah di sini, dan ada 13 jawaban lain yang memuat beberapa kata yang sama namun sebenarnya tidak menjawab pertanyaan, jadi sudah dihapus. Dan kalau postingan ini tetap ada, jumlah view untuk jawaban saya yang meleset akan berkurang”
Forum itu mati bukan hanya karena satu alasan
Moderasi yang ketat, suka atau tidak, memang bagian dari platform itu, dan kalau LLM tidak menghilangkan 99,9% kebutuhan akan forum tanya-jawab coding, model seperti itu mungkin masih bisa bertahan jauh lebih lama
Karena itu mereka membutuhkan jawaban yang “kanonis”, dan dalam jangka panjang inilah yang membunuh situs tersebut
Dalam jangka pendek, ini bekerja sangat baik, dan para pendirinya memang pantas menghasilkan banyak uang
Hanya saja, sekitar setahun lalu saya sempat mem-posting beberapa pertanyaan dan sama sekali tidak mendapat respons
Yang meninggalkan SO bukan cuma para penanya, tetapi juga para penjawab. Ini mungkin masalah ayam-dan-telur, yakni pembalikan efek jaringan
LLM lebih baik daripada dukungan manusia yang lambat untuk debugging atau tugas bergaya helpdesk, dan sejak awal pertanyaan seperti itu juga tidak terlalu disambut di SO
Stack Overflow masih sangat bagus untuk pertanyaan kanonis, banyak jawaban, dan diskusi antarmanusia yang terbuka serta dioptimalkan untuk pencarian
Namun, bagi perusahaan yang dimiliki private equity dan ingin mengubah investasi 1,8 miliar dolar menjadi 100 kali lipat, itu mungkin tidak akan cukup
Semoga suatu hari situs Q&A klasik ini bisa dipisahkan setelah kerugiannya dibereskan, lalu dikelola oleh yayasan seperti Wikimedia yang tertarik melestarikan situs Q&A aslinya dan tidak menginginkan pertumbuhan atau transformasi
Saya setuju bahwa yayasan seperti Wikimedia adalah cara terbaik untuk mempertahankan tujuan awalnya