- Analisis terbaru terhadap pola komentar akun baru di Hacker News menunjukkan perbedaan yang jelas dibanding pengguna lama
- Di antara komentar akun baru, 17,47% menggunakan simbol khusus seperti EM dash (—) dan panah, sekitar 10 kali lebih tinggi daripada akun lama yang hanya 1,83%
- Selain itu, akun baru memiliki kemungkinan 18,67% menyebut kata-kata terkait AI dan LLM, lebih tinggi daripada 11,8% pada akun lama
- Analisis ini membandingkan sekitar 700 sampel berdasarkan data dari
/newcomments dan /noobcomments
- Statistik ini mengisyaratkan kemungkinan meningkatnya akun otomatis (bot) di komunitas HN
Pengamatan tanda-tanda aneh dalam komentar HN
- Dalam beberapa bulan terakhir, terlihat fenomena yang tampaknya menunjukkan lonjakan bot di HN
- Beberapa akun hanya memposting string atau angka yang tidak bermakna
- Contohnya termasuk teks aneh seperti “13 60 well and t6ctctfuvuh7hguhuig8h88gd…” atau komentar satu karakter seperti “1662476506”, “Аё”
- Selain akun-akun seperti itu, juga ada banyak komentar yang tampak biasa tetapi canggung atau tidak sesuai topik
Metode pengumpulan dan analisis data
- Halaman
/newcomments (komentar terbaru) dan /noobcomments (komentar akun baru) di-scrape lalu dianalisis secara komparatif
- Dari tiap grup, dikumpulkan sekitar 700 sampel komentar untuk menghitung statistik sederhana
Hasil statistik utama
- 17,47% komentar akun baru mengandung simbol khusus seperti EM dash dan panah, sekitar 10 kali dibanding 1,83% pada akun lama
- Signifikansi statistik p = 7e-20
- 18,67% komentar akun baru mencakup penyebutan AI atau LLM, lebih tinggi daripada 11,8% pada akun lama
- Signifikansi statistik p = 0.0018
Interpretasi dan pertanyaan
- Pengguna manusia juga bisa memakai EM dash, tetapi tingkat penggunaan berlebihan pada akun baru sulit dijelaskan
- Perbedaan ini mengisyaratkan kemungkinan adanya akun yang dibuat secara otomatis di antara akun baru HN
Referensi
- Kode sumber dan data yang digunakan dalam analisis dipublikasikan di repositori GitHub (vlofgren/hn-green-clankers)
- Marginalia.nu memublikasikan penelitian ini sebagai bagian dari seri “Weird AI Crap”
1 komentar
Opini Hacker News
Dulu orang sering memakai em dash dan en dash di HN
Itu cuma karena suka tipografi, jadi terbiasa memakai dash alih-alih titik koma
Aku menyiapkan shortcut keyboard dengan AHK, dan sekarang justru karena itu tulisanku disalahpahami seperti ditulis LLM
Sudah beberapa kali dikira AI, jadi agak disayangkan kalau selera tipografi yang dulu menyenangkan sekarang malah dipandang negatif
Padahal cuma ada orang yang peduli pada kalimat lengkap, ejaan, tata bahasa, dan huruf kapital, tapi sekarang itu malah terlihat seperti AI
Belakangan ini rasanya menulis agak berantakan dengan sengaja justru jadi sinyal manusia. Mungkin chatbot masa depan juga akan mempelajarinya
Kalimatnya jadi agak canggung, tapi justru terasa otentik seperti buatan tangan, dan aku suka itu
Tapi soal dua spasi di akhir kalimat, itu sama sekali tak bisa kutinggalkan. Guru mengetikku pada 1993 bilang kalimat juga butuh ruang untuk bernapas
Sudah dari dulu terbiasa mengetiknya di Mac dengan option+8, dan sekarang itu pun terlihat seperti gaya LLM
Aku membandingkan statistik kata yang sering dipakai di komentar pengguna baru HN
Kata seperti “ai”, “actually”, “code”, “real”, “built” muncul jauh lebih sering di akun baru
Semuanya dirangkum rinci di tabel data
Secara akademis itu tidak tepat, tetapi di sini masih bisa dilihat sebagai wawasan yang menarik
Sebagai gantinya, kalau menghitung ukuran efek seperti Cohen’s d, kita bisa tahu seberapa besar perbedaan nyatanya
Itu kebanyakan hanya kata pengisi yang tidak bermakna dan malah mengurangi kejelasan tulisan
Muncul hipotesis bahwa mungkin ada bot yang secara artifisial mengangkat topik terkait AI
Aku sudah lama senang memakai em-dash, dan sekarang sayang rasanya jadi tak bisa memakainya karena takut dikira AI
Di Mac itu mudah diketik dengan
alt+shift+-, dan rasanya seperti kebiasaan tipografi yang baik jadi ikut tercemarKalau itu ada, tanda baca apa pun tetap akan terasa manusiawi
Untuk mengembalikan tipografi yang baik, kubagikan panduan Alt code untuk Mac
Pada akhirnya cara berekspresi yang khas dari manusia akan tetap terlihat
Datanya dibuka sebagai SQLite DB di repositori GitHub
Dengan Datasette Lite, kita bisa langsung menjalankan kueri SQL di browser
Kalau melihat daftar pengguna yang banyak memakai em-dash, kebanyakan tampak sebagai akun normal
sourceke kueri, akun green yang banyak memakai em-dash jadi terlihat menonjolRasanya ini bukan cuma soal HN, tapi krisis dalam seluruh wacana anonim online
Kalau kepercayaan runtuh, platformnya sendiri ikut runtuh
Verifikasi identitas tampak seperti satu-satunya solusi, meski itu pun tidak sempurna
Ide itu kujelaskan di tulisan blogku
Sepertinya kita akan masuk ke zaman ketika orang harus membuktikan bahwa mereka manusia
Jika nilai sebuah komentar dibuktikan lewat jumlah komputasi hash, kepercayaan bisa ada tanpa identitas
Kalau bot tak bisa mempertahankan karma positif, mereka tak akan mendapat hak istimewa, jadi pertahanan tetap mungkin tanpa verifikasi identitas penuh
Belakangan terlihat pola komentar di HN yang formal tapi hambar
Strukturnya berulang seperti “this is [ringkasan] / not just x, it’s y / punchy ending”
Contohnya terlihat jelas pada akun snowhale
Bisa jadi ini strategi untuk membangun jaringan voting dan memanipulasi narasi
Di hasil pencarian, beberapa akun mengulang kalimat yang sama
Banyak balasan yang tampaknya tidak membaca konteks percakapan, dan terasa anehnya seperti terpisah
Ia berpura-pura netral seperti manusia, tetapi di dalamnya tetap ada bias dari data pelatihan
Mungkin netralitas sempurna memang cuma ilusi
Tambahkan saja ke prompt: “bicara seperti aku, jangan menulis seperti AI, tulis ringkas”, dan setengah masalah selesai
Justru karena kontroversi ini, banyak orang baru pertama kali tahu soal em-dash
Sekarang cukup banyak pengguna manusia baru yang menaruh em-dash di hampir setiap kalimat
Sebagian besar akun bot yang kutangkap hampir tidak memakai em-dash
Misalnya aplomb1026 memposting dua komentar panjang dengan jeda 30 detik
Lihat komentar pertama dan komentar kedua, sudah cukup jelas
Kalau konfigurasinya tidak sampai salah seperti ini, kemungkinan besar kebanyakan orang tidak akan menyadarinya
Bot lain yang disebut antara lain dirtytoken7 dan fdefitte
Mereka yang belajar sastra Inggris sudah lama memakai em-dash, tetapi sekarang jadi menahan diri karena takut terlihat seperti AI
Kalau AI sampai mulai memakai diaeresis ala New Yorker, rasanya bisa benar-benar bikin gila
Meski begitu, aku tetap memakainya secara internal
Bagaimana kalau, alih-alih “tidak terlihat seperti AI”, kita memilih membaur dalam pemberontakan robot?
Aku mengusulkan ⸻ (U+2E3B dash)