- Claude Opus 4.6 menemukan 22 kerentanan di Firefox melalui kolaborasi dengan Mozilla, dengan 14 di antaranya diklasifikasikan sebagai berisiko tinggi
- Ini membuktikan bahwa model AI dapat dengan cepat mendeteksi kerentanan zero-day pada perangkat lunak yang kompleks, dan perbaikannya telah diterapkan pada Firefox versi 148.0
- Claude menganalisis ribuan file, termasuk area kode mesin JavaScript, dan mengajukan 112 laporan; Mozilla kemudian melakukan perbaikan berdasarkan temuan tersebut
- Dikonfirmasi bahwa AI sangat unggul dalam mendeteksi kerentanan, tetapi kemampuannya untuk menulis eksploit (kode serangan) yang benar-benar berfungsi masih terbatas
- Anthropic mengusulkan model kolaborasi riset keamanan berbasis AI dan menyerukan penguatan keamanan yang berfokus pada pihak bertahan melalui kerja sama dengan ekosistem open source
Gambaran umum kolaborasi dengan Mozilla
- Claude Opus 4.6 menemukan 22 kerentanan Firefox dalam dua minggu analisis, dan Mozilla mengklasifikasikan 14 di antaranya sebagai berisiko tinggi
- Ini setara dengan sekitar 20% dari kerentanan berisiko tinggi yang diperbaiki di Firefox pada 2025
- Perbaikannya disertakan dalam Firefox 148.0 dan didistribusikan ke ratusan juta pengguna
- Mozilla memverifikasi laporan dari Anthropic sambil membagikan standar dan proses bug report, membangun sistem verifikasi kolaboratif
- Kolaborasi ini disajikan sebagai contoh model kerja sama antara peneliti keamanan berbasis AI dan maintainer
Proses deteksi kerentanan dengan memanfaatkan model AI
- Anthropic membangun dataset Firefox CVE untuk pengujian yang lebih realistis, melampaui benchmark CyberGym
- Firefox adalah proyek open source yang kompleks dan sangat aman, sehingga cocok untuk memverifikasi kemampuan deteksi AI
- Setelah mereproduksi CVE terdahulu, Claude kemudian mencoba mendeteksi kerentanan baru pada versi terbaru
- Dalam 20 menit pertama, Claude menemukan kerentanan memori Use After Free, lalu melaporkannya ke Mozilla setelah verifikasi independen
- Setelah itu, Claude menganalisis sekitar 6.000 file C++ dan mengajukan 112 laporan unik
- Sebagian besar masalah telah diperbaiki di Firefox 148, sementara sebagian lainnya dijadwalkan selesai pada versi mendatang
Eksperimen eksploitasi kerentanan
- Untuk mengevaluasi batas atas kemampuan keamanan Claude, dilakukan eksperimen apakah kerentanan yang ditemukan dapat diubah menjadi kode serangan nyata
- Ratusan kali pengujian dan sekitar biaya API 4.000 dolar AS digunakan
- Hasilnya, hanya 2 kasus yang berhasil dieksploitasi, sehingga kemampuan pembuatan serangan jauh lebih rendah dibanding kemampuan deteksi
- Eksploit yang berhasil hanya berjalan di lingkungan uji, dengan fitur keamanan sandbox browser nyata dalam keadaan dinonaktifkan
- Sistem pertahanan berlapis Firefox dapat memitigasi serangan semacam ini
- Melalui eksperimen ini, Anthropic memperingatkan potensi AI untuk secara otomatis menghasilkan alat serangan
Praktik terbaik riset keamanan berbasis AI
- Melalui riset patching agent, Anthropic mengembangkan cara agar LLM dapat melakukan perbaikan bug dan verifikasi
- Alat bantu bernama Task verifier digunakan untuk memverifikasi hasil AI secara real-time
- Pengujian otomatis dilakukan untuk memastikan kerentanan benar-benar dihapus dan fungsi program tetap terjaga
- Tiga komponen utama dari laporan yang dipercaya Mozilla adalah sebagai berikut
- kasus uji reproduksi minimum
- Proof-of-Concept yang rinci
- kandidat kode patch
- Peneliti dianjurkan untuk menyertakan bukti yang dapat diverifikasi dan direproduksi saat mengirim laporan kerentanan berbasis LLM
Prospek ke depan dan kebutuhan penguatan keamanan
- Claude Opus 4.6 juga menemukan kerentanan di proyek-proyek utama seperti kernel Linux, selain Firefox
- Saat ini, kemampuan AI untuk mendeteksi dan memperbaiki masih lebih unggul daripada kemampuan menghasilkan eksploit, yang menguntungkan pihak bertahan
- Namun, mengingat kecepatan perkembangan model, kesenjangan kemampuan serangan dapat menyempit dengan cepat
- Melalui Claude Code Security, Anthropic kini menyediakan kemampuan deteksi kerentanan dan patching bagi peneliti dan maintainer
- Anthropic mendorong para pengembang untuk memanfaatkan golden time penguatan keamanan, dengan rencana untuk
- kolaborasi pencarian kerentanan
- pengembangan alat klasifikasi bug report
- perluasan fitur usulan patch otomatis
2 komentar
Mozilla Foundation Security Advisory 2026-13
Ini benar-benar luar biasa.
Ini tampaknya menjadi contoh yang sekali lagi mengingatkan betapa pentingnya test case yang ketat.
Komentar Hacker News
Jika kamu bertanggung jawab atas pemeliharaan keamanan proyek open source, ada baiknya mencoba meminta audit keamanan dengan Claude Code
Untuk proyek besar seperti Firefox mungkin sulit, tetapi untuk sebagian besar proyek biaya tokennya sekitar $3
Kemungkinan besar para penyerang sudah melakukan audit semacam ini, jadi tidak melakukannya sendiri bukan lagi sikap yang bertanggung jawab
Saat mengaudit codebase inti Zulip, saya meminta model untuk meninjau sendiri setiap hasilnya, dan dalam proses itu sebagian besar false positive berhasil dihapus
Setelah itu, masalah yang tersisa hampir hilang saat diaudit ulang dengan menambahkan komentar kode untuk memperjelas maksud model keamanan
Permintaan seperti “kerjakan sesuatu yang butuh seminggu hanya dalam beberapa detik” secara realistis tidak mungkin
Hasilnya mungkin terlihat meyakinkan, tetapi bisa berbeda dari kenyataan
Jika memperlakukan AI seperti magang, kamu tidak akan kecewa — apakah kamu akan menyerahkan audit keamanan seluruh program besar kepada seorang magang?
Dalam beberapa kasus hasilnya sangat bagus, tetapi dalam kasus lain sama sekali tidak berguna
Perbedaannya tampaknya pada kualitas context engineering dan test harness
Kasus ini juga menarik, tetapi saya berharap ada penjelasan yang lebih konkret
Saya juga baru-baru ini merilis proyek sebagai open source, dan seorang pengguna Reddit menjalankan audit keamanan penuh dengan Claude lalu menemukan 15 kerentanan
Ada FTS injection, LIKE wildcard injection, tidak adanya autentikasi API, kelalaian privasi, dan banyak hal lain yang saya lewatkan
Yang mengejutkan, hasilnya sangat sistematis — mencakup klasifikasi tingkat keparahan, jalur file dan nomor baris, bahkan ketidaksesuaian antara dokumentasi dan kode aktual
Analisis “perbedaan antara spesifikasi dan kenyataan” sangat berguna
Nilai nyata audit keamanan LLM bukan menemukan zero-day baru, melainkan menggantikan pemeriksaan berulang dan detail yang sering dilewati manusia karena malas
Tidak banyak orang yang memahami kompleksitas masalah kerentanan browser seperti Firefox
Hanya untuk meningkatkan UAF sederhana menjadi shellcode wasm saja bisa butuh beberapa hari
Persaingan kemampuan siber AI masih relatif tenang, tetapi sepertinya akan berubah tahun ini
Saya juga, seperti Anthropic, pernah memberi Claude VM dan verifier lalu memintanya melakukan pembuatan exploit, dan itu bekerja cukup baik di lingkungan kctf-eval
Namun masih belum jelas apakah model benar-benar “memahami” sesuatu, atau hanya meniru sesuai sinyal reward
Menarik bahwa Mozilla memperbarui advisory keamanan
Saya penasaran siapa yang menemukan 22 kerentanan dalam satu rilis, dan sekarang akhirnya terungkap
Jika hanya sebatas menjatuhkan file mungkin bukan ancaman besar, tetapi hal seperti pencurian data sesi jauh lebih menarik
Aneh bahwa rincian spesifik bug tidak disebutkan
Saya ingin tahu apakah ini hanya edge case sederhana atau masalah yang benar-benar berarti
LLM pandai menemukan pola kegagalan yang familiar, tetapi itu tidak selalu penting
Saya bukan ahli keamanan, tetapi rasanya ini bukan sesuatu yang bisa dianggap remeh hanya karena “ini LLM”
Hasil saya memakai agen AI terasa campur aduk
Ia berguna untuk memperluas cakupan pengujian, menyiapkan fuzz test, dan mengatur alat analisis statis
Tetapi kadang ia dengan yakin menyatakan sesuatu “sangat aman” padahal batas keamanan sebenarnya tidak ada
Ia bagus dalam mendeteksi bug lokal, tetapi hampir tidak bisa menangkap kerentanan kompleks yang muncul dari interaksi beberapa fitur
Pada akhirnya, klaim keamanan dari model selalu perlu diverifikasi
Nilai pendekatan kali ini adalah menyediakan test case yang bisa diverifikasi
Ini jauh lebih efisien daripada laporan analisis biasa
Dulu benar bahwa ia hanya bagus menemukan “bug lokal”, tetapi situasinya berubah berkat SDK agentic
Jika coverage sudah tinggi, bagian yang tersisa pada dasarnya memang area yang sulit
Bahkan dalam beberapa kasus mampu menemukan kerentanan logika bisnis
Bug lokal mudah terlihat, tetapi batas keamanan yang tidak lengkap sering kali pada awalnya tampak memadai
Alasan Anthropic memilih Firefox cukup jelas
Karena ini open source yang didistribusikan luas sekaligus proyek dengan verifikasi keamanan yang aktif
Chromium memakai Gemini milik Google, dan Safari sulit diajak kolaborasi karena budaya pengembangannya tertutup
Menurut artikel Anthropic, exploit yang ditulis Claude hanya bekerja di lingkungan pengujian
Karena fitur sandbox browser sungguhan telah dihapus
Jadi defense in depth Firefox kemungkinan akan memitigasi serangan semacam ini
Chrome juga mengikuti kebijakan serupa
Dokumentasi terkait bisa dilihat di Security Severity Ratings
Sandbox escape juga mungkin terjadi, jadi semua bug tetap harus diperbaiki
Penyerang bisa menumpuk partial zero-day semacam ini lalu menggabungkannya
Perbaikan kali ini jelas merupakan hasil peningkatan keamanan yang mengurangi risiko tersebut
Saya juga menjalankan agen AI semalaman untuk menulis pengujian, dan pernah meminta Claude mencoba formal verification
Sepertinya Anthropic juga memakai pendekatan serupa
Ke depan saya berencana menambahkan prompt untuk mengotomatiskan property testing dan fuzz testing
Saya merasa masalah yang saya tangani tidak membutuhkan pendekatan seberat itu, tetapi mungkin saya salah menilainya
Suatu saat sepertinya akan ada sistem audit keamanan otomatis untuk proyek open source inti seperti OSS-Fuzz milik Google
Anthropic sudah memberi akses Claude gratis kepada maintainer OSS
Berkat LLM, program bug bounty memang jadi dibanjiri laporan palsu, tetapi model terbaru kini sudah mencapai tingkat yang mampu membedakan kerentanan nyata
Jika dinilai dengan model gratis atau murah, kualitasnya memang akan terasa rendah
Sebaliknya, jika menjalankan program audit keamanan dengan LLM kelas atas, kualitas bisa dijamin
Untuk menyelamatkan bug bounty, mungkin bisa diterapkan biaya partisipasi atau verifikasi berbasis LLM
Tautan terkait
Misalnya dengan menyalakan VM lalu membiarkan agen menjalankan uji reproduksi