Pipeline verifikasi yang menangkap 55 bug aplikasi iOS dalam sehari dengan 180 agen AI

Ini adalah catatan tentang pembuatan pipeline yang mengaudit aplikasi SNS iOS (sekitar 130 ribu baris kode) yang beroperasi dalam 21 bahasa dengan agen LLM, lalu menjalankannya selama sehari.

• Peran pencari bug dan verifikator dipisahkan, dan kriteria penentuan tidak memakai suara mayoritas melainkan "gagal dibantah", sehingga menghasilkan 0 positif palsu
• Laporan temuan diterima dengan output wajib berbasis skema JSON untuk secara struktural memblokir laporan halusinasi
• Daftar bug yang sudah diketahui disuntikkan ke prompt untuk mencegah penemuan berulang, dan digunakan kondisi penghentian yang mengulang ronde sampai jumlah temuan baru menjadi 0
• Hasil: 6 ronde, sekitar 180 agen, 55 bug terkonfirmasi diperbaiki, 3 perbaikan setengah jadi yang tertangkap pada tahap verifikasi

Bersama keputusan desain seperti dengan lensa apa fan-out dilakukan, dan mengapa kode yang sudah diperbaiki dibuat untuk dibantah lagi, artikel ini juga merangkum hal-hal yang tidak bisa dilihat oleh audit statis (keterbatasannya).