repo-slopscore: Deteksi kontribusi AI/LLM di repositori Git melalui analisis riwayat commit

• repo-slopscore diperkenalkan sebagai alat untuk mendeteksi kontribusi AI/LLM dengan menganalisis riwayat commit repositori Git
• Layanan ini menyediakan beranda, pemindaian repositori, dan tautan kode sumber, dengan kode sumber dipublikasikan di codeberg.org/polyphony/repo-slopscore
• Jumlah total repositori yang telah dipindai ditampilkan sebagai 3058 repositori, dan daftar pemindaian terbaru menampilkan URL repositori beserta waktu analisis dalam UTC
• Target pemindaian mencakup bukan hanya GitHub, tetapi juga berbagai hosting Git seperti Codeberg, Bitbucket, SourceHut, git.kernel.org, chromium.googlesource.com, dan lainnya
• Beberapa repositori memiliki entri duplikat karena perbedaan seperti slash atau sufiks .git, sehingga saat menafsirkan daftar perlu mempertimbangkan perbedaan normalisasi URL

---

Poin utama

• repo-slopscore diperkenalkan sebagai layanan yang mendeteksi kontribusi AI/LLM di repositori Git berdasarkan analisis riwayat commit
• Halaman publiknya menyediakan fitur pemindaian repositori, daftar repositori yang baru dipindai, serta tautan kode sumber
• Jumlah total repositori yang dipindai ditampilkan sebagai 3058 repositori
• Daftar pemindaian terbaru mencakup helix-editor/helix, Agoric/Agoric-sdk, FiloSottile/age, github/copilot-cli, fish-shell/fish-shell, tmux/tmux, httpie/cli, dan lainnya
• Setiap tautan hasil pemindaian dibentuk dengan menambahkan alamat repositori asli yang telah di-URL-encode di bawah slopscan.ava.pet/repo/

Konteks penting

• Target pemindaian tidak terbatas pada GitHub, tetapi mencakup banyak domain hosting seperti Codeberg, Bitbucket, SourceHut, git.kernel.org, chromium.googlesource.com, gcc.gnu.org, gerrit.wikimedia.org, dan git.ffmpeg.org
• Daftar tersebut mencakup proyek open source terkenal seperti OpenRGB, coreboot, gentoo/gentoo, guix/guix, wlroots, forgejo, ziglang/zig, FFmpeg, FreeCAD, WebKit, dan NixOS/nixpkgs
• Repositori yang terkait dengan keamanan, sistem, dan infrastruktur yang ditampilkan mencakup Mbed-TLS/mbedtls, OpenVPN/openvpn, WireGuard/wireguard-windows, Yubico/yubikey-manager, NationalSecurityAgency/ghidra, dan ReFirmLabs/binwalk
• Daftar ini juga memuat repositori dengan nama yang terkait AI atau slop, termasuk anthropics/claude-code, anthropics/claudes-c-compiler, codeberg.org/brib/slopfree-software-index, dan codeberg.org/jruz/slop-detector
• Waktu analisis tersebar dari awal Mei 2026 hingga rentang UTC pukul 00 pada 14 Juni 2026, dan daftar pemindaian terbaru menampilkan entri dari 2026-06-13 23:22:37 +0000 hingga 2026-06-14 00:36:00 +0000
• Ada kasus di mana proyek yang sama muncul sebagai entri terpisah dalam bentuk URL yang berbeda, seperti aur.archlinux.org/yay dan aur.archlinux.org/yay.git, serta TeamNewPipe/NewPipe dan TeamNewPipe/NewPipe/

[GN⁺]

Komentar di Lobste.rs

• Saya tidak ingin bicara buruk tentang sesuatu yang dibuat orang lain, tetapi proyek ini terasa seperti bertujuan untuk menjadi negatif
  Ini terlihat seperti alat untuk mengotomatiskan penghinaan terhadap proyek perangkat lunak yang dibuat dengan alat atau cara yang tidak disetujui, atau yang menerima kontribusi semacam itu
  Penilaiannya juga tidak berguna. nixpkgs gets a 0 (F) score mendapat nilai 0 karena ada 228 “sinyal commit” yang mengindikasikan penggunaan AI, tetapi repositori nixpkgs saat ini memiliki 1,016,046 commit. Artinya, hanya 0.022% dari keseluruhan sudah cukup untuk menjadi nilai 0
  Bevy gets a 97 (A+) score juga tidak mendapat nilai 100 hanya karena ada satu pull request dengan catatan “co-authored by Claude”. Tidak tercermin apakah PR itu bagus, apakah maintainer tidak melihat catatan “co-authored by” saat menggabungkannya, atau bahwa Bevy punya kebijakan kontribusi AI yang masuk akal
  Intinya, alat ini membuang konteks dan nuansa. Saat ada kekhawatiran, kebutuhan untuk manusia benar-benar melihat proyeknya, memahami apa yang dipikirkan maintainer, dan alasan serta perasaan orang-orang yang membuat proyek itu jadi hilang. Masukkan URL, lalu keluar skor
  Karena konotasi kata “slop” dan penilaiannya yang keras, ini terasa sengaja dibuat negatif, dan juga terasa tidak manusiawi karena meratakan penilaian dan unsur manusia yang masuk ke produksi perangkat lunak—termasuk saat ada bantuan AI—menjadi satu skor tunggal. Jika ini proyek yang sangat peduli pada perangkat lunak yang dibuat orang lain dan cara pembuatannya, alat dan proses pembuatannya tampak kurang berempati dan kurang dipikirkan matang-matang

  • Saya khawatir orang-orang akan mengganggu saya gara-gara ini. Tahun ini saja sudah cukup berat
  • Sinyalnya tampak bergantung pada kriteria yang cukup rapuh. Saya mencoba memasukkan repositori dengan kode buatan LLM dan kode manusia 50:50, tetapi karena tidak ada commit dengan tanda tangan bersama, yang terdeteksi hanya agents.md dan hasilnya 95
    Saya berharap pendekatannya mendekati semacam deteksi jejak LLM dari kode aktual, hampir seperti pangram
  • Tujuan proyek ini adalah membuat datanya transparan. Yaitu data tentang “apakah ada jejak penggunaan LLM yang terlihat dalam riwayat commit atau source tree?”
    Tidak ada alat yang sempurna, tetapi ini memudahkan penemuan informasi tersebut. Bagaimana informasi itu digunakan terserah penggunanya. Saya setuju bahwa istilah “slop” memang bermasalah, tetapi saya tidak setuju dengan kritik lainnya
  • Sangat menyedihkan melihat sebagian besar komunitas open source berubah menjadi seperti hal yang dulu mereka lawan sampai belum lama ini
    Alat seperti ini mengabaikan semuanya lalu menyebut segalanya slop atau vibe coding, dan memicu reaksi yang melecehkan pemilik proyek. Cukup mengejutkan melihat agresivitas kubu anti-AI dari orang-orang yang saya kira menghargai empati, pengertian, dan pikiran terbuka
  • Membuat beberapa vibe coder tersinggung itu bukan apa-apa dibandingkan dampak manusia dari industri AI
    Meskipun LLM yang men-scrape codebase ini mungkin akan sangat tersinggung karenanya :(

• Apakah ada cara untuk opt-out agar proyek saya tidak ditampilkan dalam daftar ini? Saya khawatir akan pelecehan, jadi saya ingin menghilangkan peluang itu sebelum benar-benar terjadi

• “Saya penulis alat ini jadi ini promosi diri” lebih dekat ke pengungkapan daripada disclaimer
  Dan karena centang “I am the author” terlihat, tampilannya menjadi “authored by ava”, bukan “via ava”. Jadi rasanya tidak perlu menuliskannya lagi di isi

  • Itu terjadi karena hambatan bahasa. Saya masih cukup baru di komunitas ini, jadi saya pikir lebih aman untuk berhati-hati. Terima kasih sudah memberi tahu, saya akan mengingatnya

• Entri curl itu lucu, dan tampak seperti penilaian yang hampir sepenuhnya tidak akurat

  • Betul. Poin utamanya adalah mekanismenya sangat sederhana. Meski begitu, tetap membantu bahwa sinyal yang ditandai benar-benar ditampilkan
    Kita tidak harus percaya mentah-mentah pada hasil alatnya; kita bisa langsung melihat, “oh, ini false positive.” Bahkan untuk proyek yang dulu memakai AI tetapi sekarang tidak lagi, informasi seperti “yang ini memang benar, tapi commit itu dari 2 tahun lalu” memberi dasar tambahan untuk menilai

• Sedih sekali melihat LibAFL ada di daftar ini. Bukan karena salah, tetapi karena saya gagal meyakinkan para co-maintainer agar jangan memasukkan slop ke codebase
  Itu alasan besar mengapa keinginan saya untuk memperbaikinya jadi berkurang

• Tidak ada tag vibe coding

  • Agar konsisten dengan posting lain terkait vibe coding, kita perlu tag vibe coding

• Saya khawatir jika proyek-proyek mulai tidak mengungkapkan penggunaan alat LLM agar tidak mudah diidentifikasi, deteksi akan jadi jauh lebih sulit
  Untuk mencegah adopsi, halaman yang merangkum dengan baik alasan mengapa alat LLM sebaiknya tidak digunakan, lengkap dengan referensi, mungkin akan lebih efektif daripada mempermalukan orang. Banyak maintainer kemungkinan lebih sering terpapar konten pro-AI sehingga sudut pandang mereka terbentuk ke arah itu, dan mungkin mereka belum melihat gambaran besarnya

• Ada posting yang agak terkait dari belum lama ini: https://lobste.rs/s/avubpi/can_we_measure_software_slop_experiment
  Ada juga situs web serupa: https://slop-o-meter.dev/. Yang khusus saya suka dari implementasi ini bukan hanya desainnya yang lucu dan main-main, tetapi juga bahwa parameter algoritme penilaiannya bisa disesuaikan sesuka hati. Masuk akal, karena standar yang sama tidak akan berlaku persis sama untuk semua repositori. Ironisnya, implementasinya sendiri juga slop :/