Halo, kami adalah tim yang membuat Naeildo.
Kini semakin banyak orang yang membangun layanan dengan cepat menggunakan alat coding AI seperti Cursor dan Claude Code. Kami juga termasuk salah satunya, dan suatu hari kami mulai bertanya, "Apakah kode ini benar-benar aman?"
Kami memutuskan untuk memeriksanya sendiri. Kami menganalisis 28 layanan startup di Korea berdasarkan OWASP Top 10, dan hasilnya berbeda dari yang kami perkirakan.
- Kerentanan keamanan ditemukan pada 45% kode yang dihasilkan AI
- Skor keamanan rata-rata 28 layanan: 19,4 dari 100
- Kerentanan yang paling umum: hardcoding API key, JWT tanpa waktu kedaluwarsa, CORS diizinkan sepenuhnya
Karena ingin menyelesaikan masalah ini, kami membuat Naeildo.
Bagaimana cara kerjanya
Saat Anda memasukkan URL, 9 agen AI akan dibagi menjadi 3 tim untuk melakukan analisis.
- Tim Guard (3 agen): analisis kode statis, audit dependensi, pemeriksaan keamanan infrastruktur
- Tim Analyst (3 agen): pengujian keamanan dinamis, verifikasi autentikasi/kontrol akses, analisis pola kode AI
- Tim Verifier (3 agen): pemeriksaan kepatuhan standar OWASP, verifikasi compliance, validasi silang seluruh hasil
Setelah tiap agen menganalisis secara independen, hasilnya divalidasi silang melalui dua jalur (pengumpulan sinyal eksternal dari URL + integrasi server MCP). Strukturnya dirancang agar bagian yang terlewat oleh satu agen bisa ditangkap oleh agen lain.
Anda tidak perlu mengirimkan kode secara langsung. Sistem mengumpulkan dan menganalisis sinyal yang bisa diamati dari URL seperti header, TLS, CORS, DNS, dan metadata konten.
Hasil analisis
- Daftar kerentanan + klasifikasi tingkat keparahan
- Panduan perbaikan bertahap: cukup ikuti berurutan mulai dari langkah 1 sampai selesai (termasuk contoh kode perbaikan)
- Laporan PDF: hasil pemeriksaan keamanan dirangkum dalam dokumen yang bisa dibagikan
- Format Markdown: bisa langsung dijalankan oleh developer
Alasan kami membuatnya
Menurut survei KISIA, 67,4% perusahaan di Korea tidak menjalankan organisasi keamanan sendiri, dan rata-rata tenaga khusus keamanan per perusahaan hanya 0,8 orang. Artinya, meski ingin melakukan pemeriksaan keamanan, sulit untuk memulainya tanpa tenaga ahli atau bantuan pihak eksternal.
Kecepatan membangun layanan dengan alat coding AI memang meningkat, tetapi kami merasa masih kurang sarana yang mudah diakses untuk memverifikasi kode tersebut. Ide ini berawal dari pemikiran bahwa akan sangat membantu jika analisis bisa langsung dijalankan hanya dengan satu URL.
Tech stack
- Aplikasi web berbasis Next.js
- Arsitektur Multi-AI Agent (3 tim, 9 agen: Guard / Analyst / Verifier)
- Pipeline validasi silang multimodel berbasis URL
Jika Anda punya masukan atau pertanyaan, silakan tinggalkan komentar. Pertanyaan teknis juga sangat kami sambut. Kami akan menjawab dengan aktif.
5 komentar
Katanya Mythos juga punya banyak sekali false positive, jadi saya juga penasaran apakah memang sudah ditinjau oleh manusia..
Kalau keunggulan objektifnya dibanding tool yang sudah ada belum bisa dibuktikan, verifikasi eksternal itu kan bahkan orang dalam pun bisa melakukannya, jadi agak aneh juga kalau dibicarakan seolah memverifikasi dari luar adalah sebuah kelebihan. “Bukan sekadar membaca kode” ya... jangan-jangan karena tidak bisa melihat kodenya, jadinya cuma bisa memeriksa dari luar saja, bukan...
Sebagai contoh, tingkat masalah keamanan yang disebut sebagai "ditemukan oleh Naeildo" juga agak mengejutkan. Kalau targetnya memang orang yang bahkan tidak tahu hal seperti itu, saya masih bisa memahami, tetapi ada juga pertanyaan apakah orang-orang seperti itu sejak awal memang akan tertarik pada keamanan.
Kerentanan keamanan ditemukan pada 45% kode yang dihasilkan AI
Bagaimana mereka bisa mengetahui bahwa kode tersebut dihasilkan oleh AI?
Kalau seseorang membuat sesuatu dengan AI, bukankah orang itu juga bisa memakai AI untuk menemukan dan memperbaiki masalah keamanan? Dibanding cara seperti itu, layanan ini punya keunggulan apa?
Bertanya tentang kode kepada AI serbaguna berarti pemeriksaan di level source code. Namun, sebagian besar kerentanan nyata muncul bukan pada kode, melainkan pada runtime, konfigurasi, infrastruktur, penanganan autentikasi/sesi, dan lingkungan deployment. Layanan kami sejak awal dirancang sebagai multi AI agent yang dikhususkan untuk keamanan agar dapat menangani area ini. Bukan sekadar membaca kode, tetapi memeriksa langsung layanan yang benar-benar telah di-deploy dari luar, sehingga bisa menemukan masalah yang tidak akan terlihat jika hanya melihat kode.