Bot, Terlalu Banyak Bot

• ProductHunt adalah platform peluncuran produk dengan lebih dari 1 juta pendaftar, tetapi analisis data publik mengklasifikasikan lebih dari 60% pendaftar sebagai akun bot otomatis
• Saat sebuah produk diluncurkan langsung dengan menyisipkan LLM prompt injection di deskripsi produk, hampir semua komentar tampak otomatis, dan banyak komentar terbaru juga terlihat seperti dibuat oleh ChatGPT
• Karena sulit memastikan apakah suatu akun bot hanya dari data publik, penilaian dilakukan dengan skor risiko yang menggabungkan masa aktif, pola upvote, tumpang tindih dengan bot lain, dan isi komentar
• Sejak 2018, pendaftaran bot melampaui pendaftaran pengguna nyata, dan pada 2022 upvote bot melampaui upvote nyata, sehingga kemungkinan vote ring memengaruhi peringkat menjadi lebih besar
• Meluncurkan produk di ProductHunt masih bisa memberi peluang eksposur, tetapi lebih realistis untuk menyiapkannya secara singkat dan tidak menghabiskan terlalu banyak waktu alih-alih berharap pada respons komentar atau efek SEO

---

Aktivitas bot yang terungkap di ProductHunt

• Sejak awal 2014, ProductHunt berguna untuk mengecek peluncuran produk teknologi terbaru, mencari alat serupa lewat komentar, atau mengumpulkan umpan balik untuk produk sendiri
• Belakangan, sebagian besar komentar produk terlihat seperti komentar buatan ChatGPT, sehingga penulis mencoba meluncurkan produk sendiri dengan menyisipkan LLM prompt injection sederhana di deskripsi produk
• Setelah peluncuran, hampir semua komentar ternyata otomatis, sehingga makin muncul pertanyaan apakah membalas komentar sebagai peluncur di ProductHunt hanyalah buang waktu
• Email yang menawarkan upvote berbayar terus berdatangan, dan di Reddit juga ada contoh orang yang mengaku dua kali membeli upvote ProductHunt

Data publik yang digunakan dalam analisis

• Daftar pengguna, peluncuran, upvote, dan komentar ProductHunt yang dapat diakses publik dianalisis
• Skala datanya sebagai berikut
  • Pendaftaran pengguna: lebih dari 1 juta
  • Peluncuran: lebih dari 300 ribu
  • Komentar: 2,5 juta
  • Upvote: 20 juta
• Setiap produk memiliki peringkat harian berupa skor 24 jam setelah tengah malam PDT pada tanggal peluncuran
  • Peringkat 1 memiliki daily rank 1
  • Beberapa produk memiliki rank null, yang bisa disebabkan penghapusan, pelaporan, atau belum dirilis

Cara mengidentifikasi akun bot

• Sulit mendeteksi bot hanya dari data publik, jadi satu kriteria saja tidak cukup
• Awalnya dicoba menganalisis rentang waktu komentar pengguna untuk mencari pola
  • Seorang pengguna tercatat aktif selama 677 hari, dengan 2.009 komentar dan 4.649 upvote, sehingga tampak seperti power user yang memakai otomatisasi, tetapi tidak diklasifikasikan sebagai bot
  • Pengguna lain aktif selama 140 hari, dengan 173 komentar dan 246 upvote; jarak antar komentarnya teratur, dan grafiknya tidak mulus melainkan terlihat berbentuk kotak
• Pada akhirnya, beberapa sinyal digabungkan untuk memberi skor risiko kepada setiap pengguna
  • Masa aktif akun
  • Pola upvote dari waktu ke waktu
  • Jumlah upvote yang dibagikan dengan bot lain
  • Isi komentar
• Dalam komentar buatan ChatGPT, kata-kata seperti game-changer lebih sering muncul
• Komentar bot umumnya memuat karakter seperti em-dash yang sulit diketik secara biasa, atau menyisipkan nama produk yang sangat panjang maupun mengandung ™ apa adanya
• Beberapa akun bot menyalin nama dan perkenalan LinkedIn orang nyata, tetapi orang-orang tersebut menjawab bahwa mereka tidak pernah membuat akun ProductHunt
• Clustering cukup membantu, tetapi banyak akun bot dibuang setelah dipakai sehingga sering kali hanya satu dari beberapa voting acak yang tumpang tindih dengan bot lain
  • Karena metode yang dibutuhkan di GPU belum diimplementasikan di cupy dan cudf, clustering hanya dijalankan pada dataset kecil
  • Jika ditangani orang yang lebih berpengalaman, deteksi bot mungkin bisa ditingkatkan
• Hasil analisis mendeteksi lebih dari 60% pendaftaran pengguna sebagai akun bot otomatis
  • Ini angka konservatif karena tidak semua bot berhasil ditangkap
  • Jika ada data internal ProductHunt, aktivitas bot akan lebih mudah ditemukan dengan lebih akurat

Perubahan aktivitas bot dari waktu ke waktu

• Pendaftaran pengguna

  • Sejak 2018, lebih banyak pengguna bot dibuat dibanding pengguna nyata

• Komentar

  • Sejak akhir 2022, komentar bot meningkat tajam
  • Waktu ini mirip dengan saat ChatGPT mulai tersedia luas
  • Lonjakan pada 2024 mungkin terjadi karena akun bot dihapus seiring waktu
  • Akun yang lebih baru kemungkinan belum dihapus, sehingga komentarnya lebih mudah diakses

• Upvote

  • Pada 2022, upvote bot melampaui upvote dari pengguna nyata
  • Bot membentuk vote ring untuk meningkatkan peluang masuk newsletter ProductHunt

• Peringkat

  • Sebagian besar peluncuran hanya menerima sedikit upvote nyata
  • Karena bot melakukan voting secara acak agar terlihat menyatu, garis tren upvote bot lebih mulus daripada upvote pengguna nyata

Hubungan antara peringkat harian dan upvote bot

• Peluncuran peringkat 1 di ProductHunt diperkenalkan dalam newsletter harian dan mingguan
• Untuk meraih posisi 1, 15% suara bot tampak seperti tingkat yang aman
• Peluncuran dengan lebih dari 60% suara bot tampaknya, karena alasan tertentu, tidak naik ke posisi 1
• Jika hanya melihat peluncuran sejak 2020, bot mengambil porsi upvote yang lebih besar pada postingan teratas belakangan ini
• Peluncuran yang membeli upvote kemungkinan bukan produk berkualitas tinggi, sehingga lebih sering bertahan di 5 besar daripada meraih posisi 1

Efektivitas peluncuran di ProductHunt

• Meski sebagian besar komentar dan upvote adalah bot, kemungkinan masih ada sebagian pengguna nyata di ProductHunt
• Jika membayar bot lalu masuk newsletter, ada kemungkinan lebih banyak orang nyata melihat produk tersebut
• Peluncuran ProductHunt tidak memberi efek SEO backlink
  • Agar dihitung Google sebagai backlink, elemen link a yang mengarah ke produk tidak boleh memiliki nofollow
  • Link produk di ProductHunt menyertakan nofollow, sehingga mesin pencari tidak menghitungnya sebagai backlink
  • Jika hanya satu link dimasukkan ke produk, yang muncul bukan link nyata melainkan elemen button yang membuka halaman produk lewat JavaScript
  • Situs agregasi lain bisa saja mengambil peluncuran itu dan memberi link, tetapi ProductHunt sendiri tidak dihitung sebagai backlink
• Di antara investor, ada kelompok yang menganggap penting badge #1 ProductHunt, sehingga ini bisa membantu saat berbicara dengan investor
• Secara keseluruhan, peluncuran di ProductHunt masih layak dicoba, tetapi sebaiknya tidak menghabiskan lebih dari beberapa menit untuk persiapan dan tidak membuang waktu membalas komentar

Analisis lanjutan dan proyek terkait

• Ada keinginan membuat daftar peluncuran tanpa suara bot untuk melihat apakah produk peringkat 1 hari itu akan berubah jika upvote bot dihapus
• Karena tidak ingin menunjuk peluncuran dengan banyak upvote bot padahal mungkin tidak membayar, dan juga tidak ingin memberi promosi tambahan pada peluncuran yang memang membayar, analisis itu ditunda ke tulisan berikutnya
• Diskusi terkait ada di HN
• Sebagai upaya memperbaiki masalah ProductHunt, wonderful.dev dan wonderful.dev/alan juga diperkenalkan

[GN⁺]

Komentar Hacker News

• Saya penasaran apakah ProductHunt memakai solusi CAPTCHA apa pun
  CAPTCHA memang biasanya banyak dikritik, tetapi saya rasa nilainya masih besar untuk mencegah sebagian besar serangan spam seperti ini. Masalah kegunaan, aksesibilitas, dan privasi dalam beberapa tahun terakhir sudah membaik lewat cara yang bekerja tanpa input pengguna dan tetap melindungi privasi; kritik bahwa bot canggih bisa melewatinya pun tidak menghapus fakta bahwa teknik tradisional masih cukup berguna untuk menahan bot berupaya rendah. Untuk serangan yang memakai manusia sungguhan, CAPTCHA memang sejak awal bukan solusi yang tepat, jadi situs perlu punya pertahanan terpisah, tetapi saya rasa itu bukan penyebab utama spam yang kita lihat hari ini

  • Belakangan ini saya sedang memikirkan apakah mungkin membuat semacam sistem dengan taruhan untuk membuktikan bahwa seseorang kemungkinan besar manusia
    Misalnya, jika di situs “pembukti” seseorang sekali berdonasi 5 dolar ke badan amal pilihannya, ia mendapat token bukti bahwa ia sudah mengeluarkan uang, lalu situs mitra seperti HN bisa membakar token itu untuk menandai akun sebagai kemungkinan besar manusia, atau setidaknya bot yang pemiliknya akan rugi jika diblokir. Ini jauh lebih ramah privasi dibanding beberapa sistem pengecekan identitas nasional, dan meskipun terlihat seperti “membeli hak bicara dengan uang”, dalam praktiknya bisa lebih murah daripada waktu, biaya transportasi, dan urusan dokumen yang diperlukan dalam sistem gratis. Masalah besarnya tampaknya adalah pembayaran curang dengan kartu curian untuk membeli token, situs pembukti yang hanya mengambil uang lalu menghilang, situs tujuan yang diam-diam mengumpulkan token bukti, serta pemrosesan terdesentralisasi ketika banyak situs donasi dan situs akun masing-masing memercayai token yang berbeda
  • Industri layanan pemecahan CAPTCHA sudah ada, dan kebanyakan memakai manusia dari wilayah dengan biaya tenaga kerja murah
    Di salah satu layanan populer, biayanya sekitar $0.001–$0.002 per reCAPTCHA, jadi tidak butuh kemampuan teknis tinggi untuk memakainya. Bahkan jika CAPTCHA diperlukan untuk setiap komentar, dengan sekitar 50 dolar per tahun seseorang bisa men-spam satu situs dengan 100 komentar per hari; mungkin script kiddie rata-rata akan tersaring, tetapi jika spam bisa menghasilkan uang, ini mudah tetap menguntungkan. Sulit menyebut layanan seperti ini sebagai “edge case”
  • Operator situs web ingin membuka data, tetapi juga ingin data itu tidak bisa disalin
    Ini kontradiksi bawaan yang sama seperti DRM yang tidak bekerja. Para pengembang web juga menggembungkan situs dengan JavaScript berukuran megabita dan desain yang terlalu rumit, padahal memakai situs statis dan CDN saja bisa jauh lebih murah
  • Solusi yang hampir sempurna adalah meninjau semua kiriman secara manual
    Pakai sistem otomatis sebagai garis pertahanan pertama terhadap spam, lalu pekerjakan manusia untuk memeriksa satu per satu kiriman yang lolos. Bahkan untuk kiriman dari manusia pun, proses ini bisa menjamin standar kualitas tertentu. Kiriman sah yang tertangkap filter spam awal bisa mengajukan keberatan lewat email dan masuk ke antrean peninjauan manual. Ini tidak mudah dan bisa membuat penerbitan lebih lama, tetapi spam dan konten berkualitas rendah praktis bisa mendekati nol
  • Sebagai orang yang sudah sering terkena CAPTCHA karena memakai VPN, saya berharap jumlahnya tidak makin bertambah
    Kita perlu memikirkan berapa banyak waktu manusia yang terbuang untuk hal-hal seperti ini

• Sekitar 5 tahun lalu, saat saya memasang produk di ProductHunt, saya juga menerima puluhan tawaran promosi yang menjamin peringkat pertama
  Pesan berdatangan literally dalam satu jam setelah diposting, dan sekarang mungkin lebih parah

• Ada masalah ketika analisis dimulai dari klasifikasi arbitrer yang tidak punya cara untuk memverifikasi apakah pengguna itu bot atau bukan
  Jika klasifikasinya salah, seluruh analisisnya salah. Yang khususnya mencolok adalah bagian bahwa “sekitar akhir 2022, saat ChatGPT mulai banyak digunakan, komentar bot melonjak”; salah satu kriteria klasifikasinya adalah “komentar yang dibuat ChatGPT lebih sering memakai kata seperti game-changer, karakter yang sulit diketik seperti em dash atau ™, dan menyertakan nama produk panjang apa adanya”. Dengan kata lain, mereka mengklasifikasikan orang yang bertingkah seperti ChatGPT sebagai bot, lalu menganggap bertambahnya pengguna seperti itu setelah peluncuran ChatGPT sebagai temuan menarik. Bisa saja sebelum itu juga sudah banyak bot, tetapi mereka memakai perangkat lunak lain sehingga berperilaku berbeda dan karena itu tidak terdeteksi

  • Itu benar, tetapi jika klasifikasi bot yang memakai ChatGPT akurat, fakta bahwa komentar buatan ChatGPT benar-benar melonjak tetap patut diperhatikan
    Dan jika klasifikasi itu benar, meskipun total jumlah bot dihitung terlalu rendah karena belum mencakup bot yang tidak memakai ChatGPT, tetap penting bahwa komentar buatan bot jauh melampaui jumlah komentar manusia sungguhan. Tentu saja seperti yang dikatakan, ada cukup banyak “jika” di sini, dan kalau premisnya runtuh, kesimpulannya juga runtuh
  • Tulisan itu dimulai dengan uji prompt injection, dan premisnya disertai bukti
    Jika tidak setuju, perlu mengusulkan metode klasifikasi alternatif; kalau tidak, itu terlihat berniat buruk dan tidak membantu
  • Metode statistik semacam ini bisa akurat untuk menilai apakah kolom komentar dipenuhi bot, tetapi jauh kurang akurat untuk menentukan apakah satu komentar individual berasal dari bot

• Pertanyaan kuncinya adalah siapa yang ada di ProductHunt
  Apakah pelanggan? Meragukan. Apakah indie hacker? Mungkin. Kita perlu mempertimbangkan kepada siapa sebenarnya kita menjual, dan apakah meluncurkan di PH memang ada gunanya sejak awal

  • Poin yang sangat bagus
    Kami meluncur di PH dan menjadi peringkat 1 hari itu serta peringkat 1 minggu itu, tetapi hampir tidak ada kenaikan pelanggan baru; sebaliknya, kami mendapat banyak inbound dari investor. Jika sedang fundraising, itu bernilai, tetapi jika tidak, pergilah ke tempat pelanggan berada. Pelanggan kami bukan pengguna PH

• Analisisnya bagus, tetapi fakta bahwa ProductHunt adalah situs web “sungguhan” justru lebih mengejutkan
  Dulu sekali saya memblokir PH dengan ublacklist, karena terlihat seperti promosi SEO/sampah dan terlalu mirip dengan situs tipe “VS/perbandingan/5 aplikasi terbaik” yang nyaris tidak punya konten. Situs seperti itu bermunculan lebih cepat daripada kemampuan kita memfilternya secara manual. Bahkan setelah saya mengecek lagi dan mengetahui bahwa itu bukan konten generatif murni, jika menemukannya secara kebetulan di hasil pencarian, saya tetap tidak memahami proposisi nilainya

  • Saya tahu beberapa perusahaan yang cukup menganggap penting mendapat peringkat bagus di PH, tetapi reaksi saya sama saja
    Apakah pengguna akhir atau perusahaan sungguhan benar-benar peduli dengan tempat itu?

• Tren bot dan manusia agak meresahkan
  Manusia yang terdeteksi tampaknya makin lama makin sedikit memberikan vote dan komentar, sementara bot justru meningkat. Apakah ini tanda lain bahwa dead internet theory benar?

  • DIT diberi nama yang keliru
    Karena ini belum terjadi tetapi akan terwujud di masa depan, istilah dead internet prophecy mungkin lebih tepat
  • Terkait itu, manusia sungguhan di HN dibatasi 5 komentar per 6 jam, tetapi pelaku jahat cukup membuat ratusan akun untuk menghindari batas ini

• Dulu pernah ada Web of Trust (WOT) untuk memberi suara pada situs web
  Bisakah web of trust untuk manusia membantu pertahanan dari bot? Jika ada belasan akun yang bisa menjamin bahwa saya adalah manusia sungguhan, dan orang lain juga bisa memberi suara untuk saya, sebuah jaringan kepercayaan bisa dibuat. Tentu saja perlu seed, tetapi ini relatif mudah dibangun lewat akun terverifikasi atau koneksi serta interaksi media sosial. X dan Meta kemungkinan cukup yakin mengetahui akun mana yang bot, tetapi tampaknya tidak tertarik menyediakan pengetahuan ini sebagai layanan

  • AI akan terus menjadi lebih baik
    Tidak lama lagi akan muncul AI yang tujuannya membangun keberadaan online yang membuat orang percaya ada manusia sungguhan di baliknya. Sosok palsu bahkan bisa mengunggah video generatif yang memperlihatkan aktivitas biasa. Pada akhirnya kita akan membutuhkan web of trust, pembuktian, dan skor reputasi agen; tampaknya ini harus mencakup unsur seperti interaksi tatap muka di dunia nyata, dukungan tertentu dari pemerintah, serta kamera yang dapat mengautentikasi rekaman dan metadata. Orang yang mengonsumsi konten dan ingin memeriksa keasliannya harus ikut dalam sistem ini atau tetap mengandalkan media lama, dan sebagian negara mungkin membuat undang-undang untuk membantu warga mengonsumsi berita yang benar. Namun, menurut saya tidak ada cara membangun jaringan kepercayaan yang cukup kuat tanpa benar-benar mengetahui identitas pihak lain. Karena itu, jaringan kepercayaan ini juga akan dipakai penjahat dan pemerintah untuk menemukan target. Biaya sosial dari membiarkan AI berpura-pura menjadi manusia terlalu besar, sehingga legislasi untuk melarangnya mungkin bernilai
  • Pada akhirnya, perlu diingat bahwa Anda bukanlah pelanggan; pengiklan tertentulah pelanggannya
    Fungsi utama layanan-layanan seperti ini adalah menggelembungkan jumlah pengguna demi menjual lebih banyak iklan
  • Sistem semacam itu akan tersapu dan terdistorsi sesuai tujuan kenyamanan negara

• Ada beberapa postingan di Reddit yang tidak punya banyak komentar, tetapi kira-kira setiap minggu bot berbasis GPT datang dan meninggalkan pertanyaan yang sangat klise seperti “Wah! Benar-benar bahan untuk dipikirkan, saya penasaran mengapa ini penting”
  Bagi saya ini tampak seperti upaya membuat saya memasukkan lebih banyak data ke dalam sistem. Saya tidak akan heran kalau Reddit sendiri menjalankan bot seperti ini untuk mendorong keterlibatan

  • Lihat saja sejarah Reddit
    Sebelum bot memungkinkan, kurasi dilakukan dengan akun palsu yang dikelola manusia secara langsung, dan sekarang setelah bot memungkinkan, saya sangat percaya bahwa sebagian besar komentar dan postingan di subreddit populer adalah bot. Saya rasa cukup banyak di antaranya dioperasikan langsung oleh Reddit