Menemukan kerentanan senilai $2.418 dengan prompt seharga $5

nuremberg · 2025-12-04T14:47:04+09:00

Ringkasan satu baris keseluruhan Dengan pipeline murah yang menggabungkan prompt LLM dan bundling source code, ditemukan 3 kerentanan denial-of-service di Django dan FastAPI (Starlette) (CVE-2025-64458, CVE-2025-64460, CVE-2025-62727) Ringkasan Saat melihat tim-tim papan atas di DEF CON LiveCTF dan DARPA AIxCC membobol biner dengan LLM dan bahkan menemukan 0-day baru, muncul keyakinan bahwa di ranah offensive research nyata pun LLM bisa menunjukkan efisiensi yang lebih baik daripada manusia Dengan membedah arsip GitHub dan desain RoboDuck dari tim peserta AIxCC (Team Atlanta, Theori), terasa bahwa pendekatan "mencari bug dengan LLM alih-alih fuzzing" bisa diadopsi ke workflow penemuan kerentanan Dengan memanfaatkan konteks yang terkumpul dari pelaporan berbagai isu keamanan di Django, DRF, dan Python, tujuan awal yang jelas ditetapkan: menggunakan LLM untuk menemukan kerentanan baru kelas denial-of-service di framework Django Berbeda dari model peserta AIxCC yang mengotomatisasi seluruh proses hingga analisis biner dan patching, untuk Django yang berbasis skrip dirancang struktur yang hanya mengotomatisasi tahap "mengumpulkan kandidat segmen kode yang tampak rentan", sehingga biaya dibatasi pada level beberapa dolar Dengan memberi LLM peran sebagai "peneliti keamanan yang mencari kerentanan keamanan di Django", dibuat prompt panjang yang menggabungkan diff CVE contoh DoS, batasan , dan contoh format output, agar usulan patch yang tidak perlu dapat dicegah dan rasio false positive dapat diturunkan Source code Django dibundel per direktori yang sama dalam XML lalu dipecah menjadi bagian-bagian di bawah 40K token untuk diberikan ke GPT-5, sehingga biaya eksekusi tetap sekitar 5 dolar meskipun seluruh framework dipindai satu putaran penuh dengan cara ini Saat meninjau kandidat false positive yang ditemukan dalam workflow, pola rentan yang terlewat selama bertahun-tahun juga berhasil ditemukan. Bahkan dalam proses validasi, LLM menunjukkan kemampuan unggul dalam menjelaskan root cause isu keamanan dan menulis PoC Setelah itu, alih-alih OpenAI API, prompt AGENTS.md dipasangkan ke Codex CLI agar secara aktif menelusuri source code Django, dan hasilnya ditemukan kerentanan DoS O(n²) pada penanganan hostname URL di HttpResponseRedirectBase yang kemudian didaftarkan sebagai CVE-2025-64458 Ketika prompt yang sama diterapkan ke FastAPI (lebih tepatnya Starlette), terungkap bahwa logika penggabungan header Range di FileResponse dapat memicu ReDoS melalui pemrosesan O(n²) berbasis regex; ini dipublikasikan sebagai CVE-2025-62727 dan dinilai CVSS 8.7 (High) menurut Snyk

(new-blog.ch4n3.kr)

46 poin oleh nuremberg 2025-12-04 | 5 komentar | Bagikan ke WhatsApp

Ringkasan satu baris keseluruhan

Dengan pipeline murah yang menggabungkan prompt LLM dan bundling source code, ditemukan 3 kerentanan denial-of-service di Django dan FastAPI (Starlette) (CVE-2025-64458, CVE-2025-64460, CVE-2025-62727)

Ringkasan

Saat melihat tim-tim papan atas di DEF CON LiveCTF dan DARPA AIxCC membobol biner dengan LLM dan bahkan menemukan 0-day baru, muncul keyakinan bahwa di ranah offensive research nyata pun LLM bisa menunjukkan efisiensi yang lebih baik daripada manusia
Dengan membedah arsip GitHub dan desain RoboDuck dari tim peserta AIxCC (Team Atlanta, Theori), terasa bahwa pendekatan "mencari bug dengan LLM alih-alih fuzzing" bisa diadopsi ke workflow penemuan kerentanan
Dengan memanfaatkan konteks yang terkumpul dari pelaporan berbagai isu keamanan di Django, DRF, dan Python, tujuan awal yang jelas ditetapkan: menggunakan LLM untuk menemukan kerentanan baru kelas denial-of-service di framework Django
Berbeda dari model peserta AIxCC yang mengotomatisasi seluruh proses hingga analisis biner dan patching, untuk Django yang berbasis skrip dirancang struktur yang hanya mengotomatisasi tahap "mengumpulkan kandidat segmen kode yang tampak rentan", sehingga biaya dibatasi pada level beberapa dolar
Dengan memberi LLM peran sebagai "peneliti keamanan yang mencari kerentanan keamanan di Django", dibuat prompt panjang yang menggabungkan diff CVE contoh DoS, batasan <tips>, dan contoh format output, agar usulan patch yang tidak perlu dapat dicegah dan rasio false positive dapat diturunkan
Source code Django dibundel per direktori yang sama dalam XML lalu dipecah menjadi bagian-bagian di bawah 40K token untuk diberikan ke GPT-5, sehingga biaya eksekusi tetap sekitar 5 dolar meskipun seluruh framework dipindai satu putaran penuh dengan cara ini
Saat meninjau kandidat false positive yang ditemukan dalam workflow, pola rentan yang terlewat selama bertahun-tahun juga berhasil ditemukan. Bahkan dalam proses validasi, LLM menunjukkan kemampuan unggul dalam menjelaskan root cause isu keamanan dan menulis PoC
Setelah itu, alih-alih OpenAI API, prompt AGENTS.md dipasangkan ke Codex CLI agar secara aktif menelusuri source code Django, dan hasilnya ditemukan kerentanan DoS O(n²) pada penanganan hostname URL di HttpResponseRedirectBase yang kemudian didaftarkan sebagai CVE-2025-64458
Ketika prompt yang sama diterapkan ke FastAPI (lebih tepatnya Starlette), terungkap bahwa logika penggabungan header Range di FileResponse dapat memicu ReDoS melalui pemrosesan O(n²) berbasis regex; ini dipublikasikan sebagai CVE-2025-62727 dan dinilai CVSS 8.7 (High) menurut Snyk

5 komentar

kdy1234 2025-12-06

Aksi nyatanya luar biasa.. keren sekali

princox 2025-12-05

Ini contoh yang cukup bagus sampai layak dikutip dalam materi presentasi eksternal. Sepertinya harus saya simpan.

heycalmdown 2025-12-04

Dari sudut pandang modal, saya pikir semakin tinggi konteks suatu pekerjaan dan semakin memerlukan prompt yang rumit serta panjang, semakin lambat pula waktunya untuk tergantikan.

Menurut saya, bagian ini juga merupakan insight yang sangat bagus.

gguimoon 2025-12-04

Saya juga baru sebatas tertarik dan belum benar-benar mendalaminya, tetapi tulisan ini memberi motivasi sekaligus wawasan. Saya merekomendasikan tulisan yang bagus ini.