AI-SLOP Detector — Alat analisis dan deteksi 'kode palsu yang dibesar-besarkan' buatan AI

(github.com/flamehaven01)

2 poin oleh flamehaven01 2026-01-09 | Belum ada komentar. | Bagikan ke WhatsApp

Alat ini berawal dari pengalaman kegagalan pribadi saya.

Beberapa hari lalu, saya dengan penuh percaya diri
merilis sebuah repositori dengan nama besar
“HRPO-X v1.0.1 – implementasi framework optimasi inferensi hibrida”.
Itu adalah proyek yang saya yakini mengimplementasikan arsitektur berdasarkan paper terbaru.

Namun, reaksi pertama yang muncul tepat setelah dirilis menghancurkan harapan saya.

“Saya masuk untuk mengecek, dan seperti yang diduga.
Repo AI Slop yang dibuat dari gumpalan halusinasi.”

Awalnya saya kira itu sekadar komentar jahat.
Tetapi ketika saya membuka ulang kodenya dan membedahnya satu per satu,
kritik itu terasa menyakitkan karena sangat tepat.

Masalahnya bukan “niat”, melainkan “kepadatan”

Proyek tersebut bukan demo sederhana,
melainkan hasil riset tentang proses memindahkan paper ke arsitektur production.

Ada desain arsitektur
Struktur folder tertata
Ada file konfigurasi (Config)
Definisi kelas dan antarmuka lengkap
Algoritma audit internal juga lolos dengan normal

Sekilas semuanya tampak sempurna.
Bahkan linter yang ada maupun pemeriksaan integritas struktural semuanya lolos.

Namun saat menelusuri penyebabnya lebih dalam,
saya menemukan masalah yang fatal.

“Integritas struktural (Structural Integrity) memang sempurna, tetapi
kepadatan isi (Content Density) mendekati 0.”

Artinya,

cangkangnya tampak meyakinkan
tetapi logika implementasi sebenarnya kosong atau hanya berisi pass
dan dipenuhi komentar yang terlalu dikemas secara berlebihan

Saya pun tidak punya pilihan selain mengakui bahwa ini adalah
pola sampah yang khas dari kode yang dihasilkan AI,
yaitu “AI Slop”.

Karena itu saya membuat alat ini: AI-SLOP Detector

Maka lahirlah AI-SLOP Detector.

Tujuannya sederhana.

bukan menilai seberapa baik kode itu berjalan
melainkan seberapa besar jarak antara kode dan penjelasannya
dengan mengamatinya secara statis

Untuk itu, alat ini menggunakan metrik berikut.

Apa yang dideteksi

Pola AI Slop yang didefinisikan di README secara garis besar ada tiga.

1. Empty Function Slop (fungsi kosong)

Penjelasannya rumit
tetapi implementasi nyatanya hanya setingkat pass

2. Buzzword Inflation (inflasi istilah)

Terlepas dari kompleksitas kode,
istilah seperti neural, transformer, quantum, enterprise
digunakan secara berlebihan

3. Overhyped Comments (komentar yang dibesar-besarkan)

Pada logika yang sederhana,
komentar berisi ungkapan seperti “revolusioner” atau “state-of-the-art” berulang kali muncul

Cara analisis (ringkasan)

AI-SLOP Detector berbasis Python AST
dan menghitung berbagai metrik secara paralel untuk menghasilkan Deficit Score (0–100).

Metrik inti

LDR (Logic Density Ratio)

Rasio bagian logika nyata dalam keseluruhan kode
Ambang: di bawah 45% diklasifikasikan sebagai CRITICAL(F)

Inflation Score

Kepadatan buzzword dalam dokumentasi/komentar dibandingkan dengan kompleksitas kode
Ambang: 2,0x atau lebih diklasifikasikan sebagai CRITICAL

DDC (Dependency Density Check)

import yang tidak digunakan
Rasio dependensi yang tidak bermakna

Pattern Registry

empty function
bare except
penyalahgunaan TODO / FIXME
mendeteksi banyak pola yang khas pada kode buatan AI

Nilai-nilai ini kemudian digabungkan dan diklasifikasikan ke status berikut.

CLEAN
SUSPICIOUS
INFLATED
CRITICAL

Status proyek

Python 3.8+
Menyediakan CLI dan Python API
34 pengujian lulus
Versi terbaru: v2.5.0 (2026-01-09)

Untuk siapa alat ini

Orang yang menggunakan alat no-code / low-code
Developer yang harus meninjau kode yang dihasilkan AI
Orang yang sering berhadapan dengan “repositori yang terlihat meyakinkan tetapi terasa mencurigakan”

Tujuannya adalah memberi mereka
sinyal yang bisa menjelaskan “mengapa kode ini terlihat aneh”.

Terakhir

HRPO-X v1.0.1 yang disebutkan di atas telah melalui refactor menyeluruh,
dan kini ditata ulang secara lebih realistis sebagai versi edukasi.

Semoga tulisan dan alat ini
bisa sedikit membantu mereka
yang sedang menghadapi kegelisahan serupa.

Semangat untuk semua developer!