SlopGuard – Aplikasi GitHub yang memberi skor dan mengarantina PR/issue slop AI (tidak menutup otomatis)

Sudah menjadi masalah yang umum belakangan ini bahwa para maintainer open source kewalahan menghadapi PR/issue berkualitas rendah yang dibuat AI. Dalam 30 detik pertama sering terlihat meyakinkan, jadi sulit untuk langsung diabaikan, dan jika harus menyaringnya satu per satu, waktu pun habis terkuras. Tapi kalau hanya melihat polanya lalu langsung ditutup, ada risiko mengusir kontributor pertama yang benar-benar asli.

SlopGuard adalah aplikasi GitHub. Setelah dipasang dengan sekali klik (tanpa perlu Action YAML), aplikasi ini memberi skor 0–100 pada PR dan issue yang masuk, menandai karakteristik sumbernya, lalu jika melewati ambang batas akan menambahkan label slop-quarantine beserta komentar berisi alasannya. Aplikasi ini sama sekali tidak pernah menutup secara otomatis. Keputusan seperti melepas karantina/menolak tetap dilakukan langsung oleh maintainer melalui komentar /slop approve dan /slop reject.

Tier gratis (hosting) hanya memakai heuristik. Tidak memerlukan kunci LLM, dan pada set evaluasi yang dipublikasikan mencatat presisi 100% serta recall 92% (mereka juga jujur menyebut ukuran set evaluasinya kecil, dan metodologinya dipublikasikan di repo). Tier berbayar menambahkan penilaian LLM untuk menangani kasus-kasus yang lebih samar.

Sumber kodenya dibuka (MIT + Commons Clause), jadi bisa dibaca langsung dan di-self-host untuk kebutuhan sendiri.

Sumber: https://github.com/Blue-B/slopguard