Kemerosotan Stack Overflow

• Notebook data Observable yang melacak dengan data deret waktu fenomena penurunan trafik sekitar 35% di Stack Overflow selama satu setengah tahun terakhir; sumber datanya adalah stackoverflow.com/site-analytics
• Awalnya diukur sebagai penurunan sekitar 50%, tetapi sekitar 15% dari kehilangan yang teramati tampaknya terkait dengan reklasifikasi cookie Google Analytics sekitar Mei 2022, sehingga grafik direvisi agar hanya menyertakan data setelah perubahan tersebut
• Penurunan trafik juga tercermin sama pada penurunan sekitar 50% jumlah pertanyaan dan jawaban serta berkurangnya jumlah suara yang diterima postingan
• Grafik menampilkan penggunaan sebagai rata-rata bergerak 49 hari; cakupan dataset dari 2008-07-31 hingga 2023-07-23
• Isi artikel terdiri dari banyak sel grafik, sehingga grafik tidak dirender dalam teks yang disediakan, dan hanya angka tabel mentah dari tiga dataset traffic / posts / votes yang dapat dilihat

---

Ringkasan perubahan utama

• Selama satu setengah tahun terakhir, trafik Stack Overflow turun sekitar 35%
  • Angka awalnya adalah penurunan sekitar 50%, tetapi kemudian direvisi
  • Sekitar 15% dari kehilangan yang teramati tampaknya terkait dengan reklasifikasi cookie Google Analytics sekitar Mei 2022 (perubahan yang mendefinisikan dan menyimpannya sebagai strictly necessary)
  • Grafik diperbarui agar hanya menyertakan data setelah perubahan tersebut
• Penurunan trafik juga tercermin sama pada metrik penggunaan situs
  • Jumlah pertanyaan dan jawaban turun sekitar 50%
  • Jumlah suara yang diterima postingan tersebut juga menurun
• Penggunaan pada grafik dinyatakan sebagai rata-rata bergerak 49 hari
• Sumber data adalah stackoverflow.com/site-analytics

Data trafik (traffic)

• Dataset traffic_2008Jul31_2023Jul23, berukuran 418 baris
• Terdiri dari tanggal dan tiga metrik bilangan bulat; rentang nilainya kira-kira 3M–22M / 1,5M–9,5M / 120k–520k
• Periode yang ditampilkan adalah angka harian mulai 2022-06-01
  • 2022-06-01 → 18.524.758 / 7.945.523 / 351.184
  • 2022-06-14 → 20.002.931 / 8.485.223 / 390.082
  • Beberapa tanggal seperti 2022-06-04 mencatat nilai sekitar 6.346.105, lebih rendah dibanding hari kerja

Data postingan (posts)

• Dataset posts_2008Jul31_2023Jul23, berukuran 1.992 baris
• Terdiri dari tanggal dan tiga kolom bilangan bulat; rentang nilainya kira-kira 4k–23k / 2k–12k / 1,5k–12k
• Periode yang ditampilkan adalah angka harian mulai 2018-02-08
  • 2018-02-08 → 21.397 / 10.148 / 11.249
  • 2018-02-22 → 21.631 / 10.356 / 11.275

Data suara (votes)

• Dataset votes_2008Jul31_2023Jul23, berukuran 1.991 baris
• Terdiri dari tanggal dan empat kolom bilangan bulat; rentang nilainya kira-kira 400–3.600 / 10k–75k / 10k–65k / 2.000–9.500
• Periode yang ditampilkan adalah angka harian mulai 2018-02-08
  • 2018-02-08 → 3.347 / 65.834 / 57.278 / 8.556
  • 2018-02-21 → 3.206 / 66.063 / 57.693 / 8.370

[GN⁺]

Komentar Hacker News

• Angka-angka ini menunjukkan trafik yang turun tajam dan permanen dalam beberapa hari pada Mei 2022. Kunjungan baru harian turun dari sekitar 1 juta menjadi 300 ribu, total pageview harian dari sekitar 20 juta menjadi 14 juta, dan sesi harian dari sekitar 9,4 juta menjadi 6,1 juta.
  Namun pada periode yang sama, tidak ada penurunan yang sepadan pada jumlah postingan atau vote, dan hingga keduanya anjlok pada Februari 2023, angkanya relatif stabil kecuali variasi musiman. Data trafik berasal dari Google Analytics, sedangkan data postingan/vote berasal dari perhitungan internal StackOverflow, jadi penurunan tajam pada Mei 2022 tampaknya bisa saja merupakan artefak pengukuran akibat Google Analytics tiba-tiba mengubah cara melacak trafik/pengunjung.
  https://i.imgur.com/qMj7Lge.png
  https://news.ycombinator.com/item?id=36856249

  • Jika melihat komentar pada jawaban ini https://meta.stackexchange.com/a/391625/136010, tampaknya para staf juga setuju dengan penjelasan bahwa perubahan pada Mei 2022 adalah dampak dari peluncuran formulir persetujuan cookie yang layak. Tanpa cookie performa, SO tidak bisa menghasilkan data analitik dengan benar.
    Staf bernama Catija juga menjawab, “antara April dan Mei 2022, angka ‘trafik’ turun 40 juta per minggu, dan saat itu pelacakan cookie berubah. Setelah itu kembali normal hingga Desember. Trafik sebelum perubahan cookie sekitar 140–150 juta per minggu. Namun kami mengetahui hal ini dan telah ‘mengoreksinya’.”
  • Penurunan tajam seperti itu biasanya disebabkan oleh cara pelacakan bot, perubahan algoritma Google, atau perubahan desain internal besar.
  • Masuk akal. “Kunjungan baru” adalah pengguna yang datang pertama kali, kemungkinan besar developer muda yang mencari jawaban dari mesin pencari. Mereka menemukan apa yang dicari di Stack Overflow, mungkin mengklik iklan, atau langsung pergi.
    Mereka kemungkinan besar tidak banyak memberi vote atau membuat postingan, jadi penurunan mendadak bisa berarti ada sesuatu yang sangat buruk terjadi pada trafik pencarian organik. Misalnya perubahan Google, strategi optimisasi mesin pencari baru yang buruk, atau penghentian pembelian iklan. Rasio konten baru sudah lama menurun dengan laju yang suram dan stabil, tetapi beberapa bulan awal 2023 sangat parah.
  • Atau situs yang mengikis StackOverflow mengambil pengguna yang hanya mencari solusi cepat, sementara orang-orang yang punya akun SO mungkin tetap memposting dan memberi vote.
  • Bisa jadi bulan itu adalah puncak adopsi GitHub Copilot. Kalau ingatan saya benar, ekstensi VS Code-nya keluar pada akhir Maret.

• Untuk pertanyaan yang belum ada di SO, hal yang justru paling membantu saya adalah ketegasan mereka. Dalam proses menulis pertanyaan berkualitas tinggi dengan contoh reproduksi minimal, alur pikir yang jelas, dan hal-hal yang sudah dicoba, sebagian besar masalah terselesaikan sendiri sebelum diposting.

  • Itu rubber duck debugging.
    https://en.m.wikipedia.org/wiki/Rubber_duck_debugging
  • Meski begitu, semoga tetap diposting dan dijawab sendiri.

• Akun SO saya sudah hampir 12 tahun dan reputasinya sedikit di atas 2 ribu, tapi saya tidak terlalu peduli. Saya masih menjawab sebagian pertanyaan dasar di tag pengembangan mobile, dan satu-satunya keluhan saya terhadap SO adalah permusuhan dari sebagian moderator bereputasi tinggi.
  Beberapa orang tampaknya menikmati itu, dan lupa bahwa reputasi tidak berarti keahlian. Selama 12 tahun, masalah ini belum terselesaikan. Setiap hari saya melihat pengguna baru mengajukan pertanyaan yang sangat valid lalu tidak pernah merespons lagi. Dulu pertanyaan sederhana dan mendasar pun diberi upvote dengan cukup murah hati, tapi sekarang tidak lagi.

  • Seiring meningkatnya push notification, sepertinya orang tidak lagi datang langsung ke situs untuk memeriksa notifikasi. Pengguna baru mungkin tidak membangun kebiasaan kembali ke SO dan ikut berpartisipasi.
    Kemunduran forum juga tampaknya terkait dengan ini. Reddit masih berjalan karena aplikasinya mengirim 200 notifikasi sehari, tetapi tanpa itu mungkin tidak akan sepopuler sekarang. SO terasa bermusuhan untuk berpartisipasi jika Anda bukan ahli, jadi dari sudut pandang pemula, tidak banyak yang bisa dilakukan selain bertanya atau mengintip. Rasanya seperti tidak memenuhi syarat.
  • Lucu melihat orang-orang bereputasi tinggi mengira diri mereka jonskeet. Reputasi di Stack Overflow sekarang tidak berarti dan sudah menggelembung.
    Banyak orang mendapatkan reputasi lebih dari 100 ribu dengan menanyakan atau menjawab pertanyaan dasar seperti JavaScript, Python, pandas, atau Git.

• Setiap kali memposting di SO atau situs SE lain, saya selalu harus menulis dengan jelas, “Saya tahu A mungkin bukan ide bagus dan B mungkin solusi yang lebih baik, tetapi dalam situasi spesifik saya, saya benar-benar ingin melakukan A.”
  Meski begitu, orang-orang tetap mencoba menutup pertanyaan itu sebagai duplikat dari B.

  • Saya bahkan pernah menuliskan kata kunci pencarian yang saya pakai untuk memastikan itu bukan duplikat. Di kesempatan lain, saya juga menjelaskan mengapa itu jelas bukan duplikat. Tetap saja ditutup sebagai duplikat.
  • Orang-orang hanya melewati bagian itu. Alurnya adalah membaca judul, melihat sekilas contoh kode, lalu memposting jawaban.
    Lalu ketika saya bilang mereka sepenuhnya mengabaikan apa yang saya tulis, justru saya yang disalahkan karena dianggap menggiring dengan buruk dan mendapat downvote. Begitulah cara SO bekerja.

• Masalahnya tampaknya Google sedang kalah dalam perang melawan spammer. Sudah cukup lama kita harus menambahkan stackoverflow ke kata kunci pencarian untuk menghindari situs konten hasil scraping

  • Google tidak “kalah” dalam perang apa pun. Google sengaja membiarkan spam berkembang
    Spam itu bisa memuat Google Ads/Analytics, dan ketika pengguna mengklik spam lalu kembali ke halaman hasil pencarian dan mencoba hal lain, engagement meningkat. Salah satunya mungkin hasil iklan. Semua ini berkontribusi pada pendapatan Google
  • Aku juga melihatnya begitu. Google mungkin mengirim mayoritas besar trafik SO
    Beberapa tahun lalu, kalau mencari hal terkait pemrograman, Stack Overflow adalah hasil pertama atau kedua. Sekarang, di 2–3 posisi teratas sangat sering muncul sampah spam
  • Di antara situs konten hasil scraping, tautan YouTube khususnya parah. Sayangnya, aku tidak akan heran kalau orang-orang seperti ini menjadi “pembuat konten” hanya dari hasil pencarian Google dan menghasilkan cukup banyak pendapatan iklan
  • Dalam pengalamanku, situs scraping seperti ini sering kali berperingkat lebih tinggi daripada sumber aslinya
  • Jauh lebih masuk akal kalau melihat Google bukan lagi mesin pencari, melainkan mesin rekomendasi. Menyedihkan, tapi begitu adanya

• Dulu aku pernah menjawab pertanyaan serupa, tetapi tidak ingat, lalu menulis jawaban baru dalam 2 menit dan dihujani downvote, jadi aku meninggalkan SO. Waktu untuk mencari jawabanku yang lama pasti jauh lebih lama daripada waktu menulis jawaban baru
  Ketika aku bilang tanggung jawab menemukan duplikat ada pada penanya, bukan penjawab, aku diberi tahu bahwa aku tetap harus meluangkan waktu, atau jangan menjawab sama sekali

  • Terutama kalau tahu bahwa kamu pernah menjawab hal yang sama sebelumnya, kamu seharusnya mencari jawaban aslinya
    Semua pengguna adalah moderator. Ada juga moderator eksplisit, tetapi mereka tidak sering menutup atau memberi downvote; mereka menangani masalah lain. Di situs kecil, mereka sebatas memberi suara dan menutup dengan hak pengguna biasa
  • Karena itu kebanyakan developer sekarang lebih memilih ChatGPT. Jauh lebih cepat dan nyaman. Rasanya seperti mesin pencari yang sangat pintar
    SO akan tetap menjadi pustaka untuk masalah yang belum pernah dilihat sebelumnya, dan memang cocok untuk peran aslinya itu

• Bagiku, tulisan ini tampak seperti tulisan tentang munculnya ChatGPT, tetapi aku juga setuju bahwa moderasi berlebihan adalah masalah besar
  Aku pernah mengalami masa sulit saat belajar OpenGL di gamedev StackExchange dan menemui jalan buntu. Seorang moderator langsung menandai pertanyaanku sebagai duplikat berdasarkan pertanyaan serupa tentang OpenGL ES, padahal OpenGL ES memang terkait tetapi API yang berbeda. Aku mencoba membantah, tetapi diabaikan. Tidak lama kemudian aku menyerah pada game yang sudah kubuat selama bertahun-tahun, dan keputusan moderator itu juga ikut berpengaruh. Rasanya seperti ada tembok di depan jalan menuju jawaban. Moderasi berlebihan bukan sekadar ketidaknyamanan; itu bisa merusak kemampuan pengguna untuk menyelesaikan pekerjaannya

  • Grafik dalam tulisan menunjukkan penurunan trafik mulai sekitar Mei 2022, beberapa bulan sebelum ChatGPT dirilis. Penyebabnya tampaknya lebih mungkin perubahan algoritma Google
    Sebagian besar saat aku masuk ke Stack Overflow juga karena aku mengetik pertanyaan di mesin pencari
  • Di sisi yang berpengalaman pun ada masalah yang sama. Kadang aku ingin mengajukan pertanyaan tingkat lanjut di SO dan berinteraksi dengan orang-orang terampil lainnya, tetapi agar pertanyaanku tetap terbuka, aku harus bertarung dengan para moderator yang jelas-jelas tidak memahami pertanyaanku

• Sekitar 2013 aku mencoba belajar pengembangan front-end, dan masih ingat terpesona oleh responsive web design serta Twitter Bootstrap. Aku mengunggah beberapa pertanyaan di situs itu, tetapi beberapa kali diejek karena pertanyaanku dianggap amatiran, jadi aku tidak pernah memakai situs itu lagi dan pada akhirnya tidak belajar front-end

  • Aku mengalami masalah sebaliknya. Ada bidang yang sebenarnya cukup kukenal, tetapi aku tidak punya cukup karma untuk menjawab pertanyaan, jadi aku tidak pernah bisa menjawab
  • Memang ada sedikit hambatan masuk. Temanku, yang jauh kurang terampil sebagai developer dibanding aku, jauh lebih mahir dalam “teknologi” bernama SO itu sendiri. Aku hanya membaca tanpa ikut serta dan menyelesaikan masalahku sendiri
  • Universitas tempatku kuliah pada dasarnya melemparkan manual ilmu komputer kepada kami dan berkata RTFM. Aku hampir gagal, tetapi akhirnya belajar
    Di SO aku hanya punya pengalaman baik, tetapi bagaimanapun aku berharap orang-orang tidak patah semangat hanya karena orang-orang yang kemampuannya di bawah rata-rata dan tidak punya taktik

• Ada juga neraka moderasi, tetapi alasan utama aku berhenti menjawab pertanyaan SO adalah ini: menulis jawaban yang bagus butuh waktu, sementara jawaban cepat hasil salin-tempel tetap mendapat upvote meski salah, dan orang yang memilih jawaban diterima dari sekian banyak jawaban biasanya adalah penanya yang tidak punya pengetahuan untuk menilainya
  Selain itu, jawaban sering tidak ditandai sebagai diterima, seolah penanyanya sudah tidak peduli lagi. Ada reaksi balik kuat terhadap tulisan lama yang mengubah kompetisi skor SO menjadi semacam game, tetapi alih-alih mencoba memperbaiki sistem yang rusak, SO tetap seperti itu. Sama seperti SO dulu merupakan gerakan yang menjauh dari Experts Exchange dan sejenisnya, sekarang adalah waktu yang baik bagi komunitas untuk memulai situs Q&A pasca-SO

  • Kalau mengajukan pertanyaan bodoh tentang framework JS yang sedang tren, kamu akan mendapat ratusan suara
    Sebaliknya, kalau menjawab bagian sulit dari perangkat lunak yang dokumentasinya hampir tidak ada, misalnya di ranah low-level, paling banyak hanya beberapa suara. Kalau diterima, itu sudah beruntung. Di tag SO yang sulit dan obscure ada beberapa pahlawan tak dikenal. Mereka menghabiskan banyak waktu, tetapi imbalannya hampir tidak ada. Apa pun yang muncul setelah SO harus menemukan cara untuk memperbaiki hal ini

• Masalah yang saya rasakan di Stack Overflow sulit diringkas menjadi beberapa poin saja, tapi kira-kira begini. Dulu Google cukup baik menampilkan hasil SO yang sangat relevan, tetapi pada satu titik mulai tidak lagi, dan moderasi SO menjadi makin mengerikan
  Tak terhitung berapa kali saya menemukan pertanyaan aneh yang persis saya cari, tetapi hanya ada satu komentar yang mungkin berisi jawaban, lalu moderator menutupnya secara agresif dengan alasan seperti “tidak sesuai topik”. Akibatnya jawaban yang tepat sering terkubur di komentar dan mendapat respons negatif. Hal-hal seperti ini menumpuk sehingga informasi yang diinginkan makin sulit disaring dari kebisingan, dan solusinya lebih mudah ditemukan di komentar GitHub atau blog acak

  • Poin pertama tampaknya yang paling penting. SO mungkin sekarang buruk, tetapi ada jawaban-jawaban bagus dari beberapa tahun lalu yang sudah menumpuk selama bertahun-tahun. Lalu mengapa sekarang tidak terlihat?
    Google sekarang merekomendasikan w3schools, atau lebih buruk lagi geeks4geeks, semacam content farm, dan itu selalu lebih buruk daripada Stack Overflow. Saya tidak tahu algoritmanya sedang melakukan apa, tetapi yang jelas tampaknya mereka berusaha membunuh Google Search secepat mungkin. Mencari “[bahasa] [simbol]” lalu diarahkan ke content farm seperti ini alih-alih dokumentasi juga terasa seperti lelucon. Sekarang benar-benar sulit menemukan hal yang berguna lewat Google
  • Saya juga sering mencari “bagaimana melakukan X?” lalu menemukan pertanyaan SO yang menanyakannya. Namun para penjawab tidak mau menjawab sampai penanya menjelaskan mengapa ingin melakukan X, lalu akhirnya menjelaskan dengan baik bahwa sebenarnya yang harus dilakukan adalah Y
    Tapi saya benar-benar membutuhkan X, jadi jawaban-jawaban itu tidak berguna. Lalu ketika saya menemukan pertanyaan lain yang menanyakan cara melakukan X, para moderator menutupnya sebagai duplikat dari pertanyaan sebelumnya. Bahkan ketika penanya menegaskan “saya benar-benar membutuhkan X, jadi ini bukan duplikat pertanyaan itu”, tetap ditutup
  • Thread SO yang tipikal seperti ini. Penanya: “Bagaimana melakukan X dengan Y?” Jawaban dengan upvote terbanyak: “Saya tidak akan melakukan X dengan Y. Pertimbangkan Z sebagai gantinya. Z melakukan semua hal yang dilakukan X dengan Y, dan juga tambahan ini”
    Subkomentar yang terkubur di bawah jawaban dengan upvote terbanyak: “Itu bukan pertanyaannya. Untuk melakukan X dengan Y, caranya begini” Lalu orang yang benar-benar menjawab pertanyaan diserang dalam 10 komentar karena tidak mengikuti cara jawaban dengan upvote terbanyak
  • Secara pribadi, pengaruh membaiknya dokumentasi resmi cukup besar. Sekitar 12–13 tahun lalu, saat SharePoint 2013 keluar, saya harus membuat sesuatu untuk SharePoint 2010
    Saya bukan developer SharePoint dan itu pertama kalinya, tetapi saya terbiasa dengan cara lama memahami sistem dengan membaca manual atau spesifikasi. Saya pernah menangani format bitmap, inverter surya, software konstruksi embedded, dan sebagainya, jadi SharePoint seharusnya mudah, tetapi tanpa StackOverflow saya tidak akan bisa melakukannya. Ketika pada 2023 saya perlu mengerjakan SharePoint lagi, dokumentasi resminya sudah sangat baik sampai tidak perlu yang lain. Ini contoh yang terisolasi, tetapi hampir semua hal yang saya tangani belakangan ini terasa serupa. Pengalaman saya memang bertambah 10 tahun, tetapi saya juga melihat industri kini jauh lebih baik mengelola kanal resmi. Ketika ada masalah, sekarang orang pergi ke StackOverflow, atau ke tempat seperti issue GitHub?
  • Ada pola tipikal yang berulang kali saya lihat dalam berbagai bentuk. Judul pertanyaannya sangat jelas: “F dalam konteks X”, dan isinya menyatakan “ini bukan menanyakan F dalam konteks Y, juga bukan menanyakan libT yang bisa diperoleh sesuai standar U. Apakah F bekerja untuk libS dalam konteks X?”
    Namun A1, yang mendapat lebih dari 100 upvote, bounty 50, dan dipilih otomatis, mengatakan “bekerja” sambil panjang lebar menjelaskan hanya sebagian F yang konteksnya dihapus, untuk libS dalam konteks Y. Di komentar ada yang menulis “ini bukan jawaban yang benar, lihat A15”, lalu komentar lain mengeluh bahwa dasar terkait U di A15 berasal dari situs sekunder sehingga tidak bisa dipercaya. A2–A7 mengulang A1, A8 menyebutnya duplikat sambil memberi tautan ke pertanyaan konteks Y, dan A9–A14 memberi contoh libT yang berperilaku berbeda lalu mengatakan “bekerja”. Hanya A15 yang mengatakan “pertanyaannya menanyakan F untuk libS dalam konteks X dan secara eksplisit menyatakan bukan Y, jadi dilihat dari konteks X milik libS, ini tidak bekerja. Alasannya foo”, sambil menautkan dokumentasi atau kode sumber libS serta contoh. Setelah F dalam konteks X ditambahkan di libS vN+1, beberapa tahun kemudian ada komentar “jawaban ini tidak berlaku lagi”. Setelah itu menyusul jawaban-jawaban acak