Belum lama ini ada topik yang ramai dibicarakan di Hacker News.
Itu adalah artikel blog tentang bagaimana mendeteksi AI Slop Text dengan ML klasik ternyata lebih efektif daripada yang dibayangkan.
https://news.ycombinator.com/item?id=48936880
https://blog.lyc8503.net/en/post/llm-classifier/
Pendekatan ini memang sudah banyak didiskusikan, tetapi karena masih valid dan efisien, saya juga mencoba membuatnya untuk bahasa Korea.
- Teks dibagi per kalimat, lalu dinilai dengan ensemble char/word n-gram TF-IDF + linear SVM, dan keseluruhan dokumen ditentukan berdasarkan rasio kalimat yang mencurigakan.
- Inferensi seluruhnya menggunakan JavaScript, sehingga berjalan hanya sebagai halaman statis tanpa server, API, atau GPU. Modelnya sekitar 1,4 MB, dan teks yang ditempelkan tidak dikirim ke mana pun.
Tentu saja, keterbatasannya juga jelas. Karena menggunakan ML klasik seperti SVM, beberapa tulisan yang sangat terasa seperti AI cenderung terdeteksi dengan cukup pasti, tetapi untuk tulisan yang ambigu atau akademis hasilnya bisa kabur.
Meski hasilnya menunjukkan AI, belum tentu itu pasti AI; namun sepertinya berguna untuk memeriksa tulisan yang mungkin dibuat oleh AI.
1 komentar
Saya membandingkannya dengan tulisan yang saya buat sendiri: yang benar-benar saya tulis sendiri terdeteksi 0%, yang ditulis dengan AI lalu sebagian diedit 51%, dan yang ditulis sepenuhnya oleh AI 100%, jadi ternyata pendeteksiannya cukup bagus, lebih baik dari yang saya kira hehe
Ini cuma ide, tapi sepertinya akan lebih praktis kalau ada ekstensi browser Chrome yang mengidentifikasi konten dengan kriteria seperti https://github.com/mozilla/readability lalu menampilkan hasil deteksinya seperti lampu lalu lintas
(akan bagus juga kalau hanya domain halaman yang didaftarkan yang dideteksi otomatis, dan sisanya berjalan manual seperti fitur terjemahan)