Bot, Terlalu Banyak Bot

Bot, Terlalu Banyak Bot

Awal

• ProductHunt memiliki lebih dari 1 juta pendaftaran pengguna
• Di antaranya, lebih dari 60% adalah bot

Awalnya seperti ini

• Telah menggunakan ProductHunt sejak 2014
• Belakangan ini, sebagian besar komentar tampaknya dibuat dengan ChatGPT

Tes sederhana

• Meluncurkan produk setelah menyisipkan prompt LLM ke dalam deskripsi produk
• Memastikan bahwa hampir semua komentar bersifat otomatis

Bisakah membedakan bot?

• Membalas komentar adalah pemborosan waktu
• Jika banyak bot meninggalkan komentar, kemungkinan mereka juga melakukan upvote
• Ada juga orang yang membeli upvote dengan uang

Analisis data

• Menganalisis daftar pengguna, peluncuran, upvote, dan komentar di ProductHunt
• Ada lebih dari 1 juta pendaftaran pengguna, lebih dari 300 ribu peluncuran, 2,5 juta komentar, dan 20 juta upvote
• Setiap produk memiliki peringkat harian, yaitu skor setelah 24 jam berdasarkan tengah malam PDT setiap hari

Deteksi akun bot

• Mendeteksi bot itu sulit
• Mencoba mencari tren dengan menganalisis waktu komentar pengguna
• Misalnya, ada pengguna yang mendaftar 677 hari lalu, menulis 2009 komentar, dan memberi 4649 upvote
• Ini menggunakan otomatisasi, tetapi bukan bot
• Pengguna bot mendaftar 140 hari lalu, menulis 173 komentar, dan memberi 246 upvote
• Komentar bot muncul dalam interval yang teratur, dan grafiknya tidak halus melainkan berbentuk kotak
• Memberikan skor risiko kepada pengguna berdasarkan berbagai kriteria
• Komentar yang dihasilkan ChatGPT lebih sering menggunakan kata-kata seperti "game-changer"
• Komentar bot mencakup karakter atau nama produk yang tidak mudah diketik
• Clustering cukup efektif sampai batas tertentu, tetapi banyak akun bot dibuang setelah digunakan
• Pada akhirnya terdeteksi bahwa lebih dari 60% pendaftaran pengguna adalah akun bot otomatis

Perjalanan aktivitas bot dari waktu ke waktu

• Sejak 2018, pengguna bot dibuat lebih banyak daripada pengguna nyata
• Sejak akhir 2022, komentar bot meningkat tajam
• Pada 2022 juga, upvote bot melampaui upvote nyata
• Bot membentuk vote ring, dan para pembuat membeli upvote
• Sebagian besar produk yang diluncurkan hanya menerima beberapa upvote nyata
• Untuk meraih peringkat 1 harian, diperlukan 15% upvote bot
• Lebih dari 60% upvote bot bahkan gagal meraih peringkat 1

Pemikiran akhir

• Ingin membuat daftar peluncuran dengan upvote bot yang dihapus, tetapi karena kekurangan waktu ditunda ke posting blog berikutnya

Ringkasan GN⁺

• Lebih dari 60% pengguna ProductHunt adalah akun bot
• Komentar dan upvote bot mendistorsi aktivitas pengguna nyata
• Deteksi bot itu sulit, tetapi bisa dilakukan dengan memberi skor risiko berdasarkan berbagai kriteria
• Seiring meningkatnya aktivitas bot, keandalan ProductHunt dapat menurun
• Produk lain dengan fungsi serupa adalah Hacker News

[GN⁺]

Komentar Hacker News

• Analisis yang dimulai dari klasifikasi sewenang-wenang tentang apakah pengguna adalah bot atau bukan itu bermasalah. Jika klasifikasi ini salah, seluruh analisis ikut salah

  • Misalnya, pada akhir 2022 komentar bot melonjak tajam. Ini bertepatan dengan mulai meluasnya penggunaan ChatGPT
  • Komentar yang dibuat ChatGPT sering menggunakan kata-kata seperti "game-changer". Komentar bot juga memasukkan apa adanya karakter atau nama produk yang tidak mudah diketik
  • Karena itu, pengguna yang bertingkah seperti ChatGPT diklasifikasikan sebagai bot, lalu dianggap bahwa pengguna semacam ini meningkat setelah peluncuran ChatGPT. Tapi mungkin saja sebenarnya sudah ada banyak bot sebelumnya

• Penasaran apakah ProductHunt memakai solusi CAPTCHA

  • CAPTCHA masih berguna untuk mencegah serangan spam
  • Kritik yang umum adalah masalah kegunaan, aksesibilitas, dan privasi. Pengguna tidak menyukainya
  • Dalam beberapa tahun terakhir, muncul CAPTCHA yang bekerja tanpa input pengguna dan melindungi privasi
  • Bot canggih bisa dengan mudah melewati CAPTCHA. Tetapi teknik tradisional juga berguna untuk memblokir bot kelas rendah. Bot canggih bisa dilawan dengan teknologi yang lebih maju seperti ML
  • CAPTCHA tidak efektif terhadap serangan yang memakai manusia sungguhan. Ini memerlukan mekanisme lain

• Saat memposting produk di ProductHunt 5 tahun lalu, saya menerima puluhan pesan yang menjamin posisi pertama. Sekarang mungkin lebih parah

• Saya penasaran siapa yang ada di ProductHunt. Pelanggan? Mungkin tidak. Indiehackers? Mungkin. Saya bertanya-tanya kepada siapa sebenarnya orang menjual, dan apakah peluncuran di ProductHunt memang layak

• Upaya dan hasil dari seseorang yang saya kenal secara pribadi terlihat jelas. Kerja bagus

• Ini adalah perkembangan dari "teori internet mati". Untuk menjamin interaksi yang nyata, dibutuhkan identitas yang kuat dan tepercaya dengan konsekuensi bila disalahgunakan

  • Identitas ini harus diimplementasikan oleh pemerintah. Perusahaan teknologi besar belum berhasil menyelesaikannya, dan diragukan apakah mereka punya niat untuk menyelesaikannya
  • Misalnya, jika Google menindak ini dengan keras dan ternyata 60-80% trafik YouTube berasal dari bot, pendapatannya akan hilang

• Ada beberapa postingan di Reddit, dan kadang bot berbasis GPT meninggalkan komentar seperti "topik? wow! benar-benar menggugah pikiran, saya penasaran kenapa ini penting"

  • Bisa jadi Reddit menjalankan bot seperti ini untuk mendorong engagement

• Banyak orang mungkin tidak menyadari bahwa mereka sedang berbicara dengan GenAI

  • Sudah menjadi masalah ketika orang yang sama berpura-pura menjadi orang lain lewat beberapa akun. GenAI memungkinkan manipulasi narasi dengan murah lewat bot
  • Ini adalah masalah di semua jejaring sosial. Memverifikasi bahwa seseorang itu manusia adalah satu-satunya solusi
  • Saya sedang membangun jejaring sosial di mana hanya manusia sungguhan yang bisa memberi upvote/downvote dan berkomentar

• Saya punya akun X yang berumur 1 tahun dan belum pernah berkomentar sekali pun. Tapi 35 perempuan menarik mengikuti saya. Tidak ada laki-laki atau perempuan yang tidak menarik. Ini bukan karena daya tarik likes saya

  • Ini adalah versi mini dari web secara keseluruhan

• Seseorang harus menjual kaus "me good LLM"