OpenAI merilis Codex Security sebagai open source

• OpenAI merilis CLI dan alat terkait Codex Security sebagai open source sehingga bisa digunakan di lingkungan pengembangan lokal dan CI
• Menganalisis repositori yang memiliki izin untuk mendeteksi kerentanan keamanan dan memverifikasi kemungkinan eksploitasi nyata, serta menyajikan kode terkait beserta buktinya
• Dapat memeriksa seluruh repositori, atau memilih hanya jalur tertentu/perubahan antar commit/isi pekerjaan yang belum di-commit
• Mendukung mode deep yang meninjau cakupan lebih luas daripada pemeriksaan biasa, serta basis pengetahuan yang mencerminkan arsitektur/model ancaman/kebijakan keamanan proyek
• Menyediakan tingkat keparahan/tingkat keyakinan/bukti/cara perbaikan dari temuan secara terstruktur, dan dapat membandingkan riwayat pemeriksaan atau menghubungkannya ke kebijakan CI

---

Deteksi dan verifikasi kerentanan

• Tidak berhenti pada sekadar mencantumkan pola kode yang mencurigakan, tetapi menganalisis alur kode dan konteks sekitarnya untuk memverifikasi apakah itu benar-benar masalah keamanan
• Untuk setiap temuan, informasi berikut disediakan
  • Jenis kerentanan dan tingkat keparahan
  • Tingkat keyakinan terhadap penilaian
  • File yang terdampak dan lokasi kode
  • Dasar penilaian bahwa itu merupakan kerentanan
  • Jalur serangan atau eksploitasi yang memungkinkan
  • Metode perbaikan yang direkomendasikan

Pemilihan cakupan pemeriksaan

• Cakupan analisis dapat dibatasi sesuai tujuan pekerjaan
  • Pemeriksaan seluruh repositori
  • Pemeriksaan hanya direktori atau paket tertentu
  • Pemeriksaan perubahan antara commit acuan dan commit saat ini
  • Pemeriksaan perubahan lokal yang sudah di-stage atau belum di-commit
• Hanya kode yang baru ditambahkan atau dimodifikasi yang bisa diperiksa, sehingga dapat dimanfaatkan untuk code review dan pemeriksaan sebelum deployment

Mode deep

• Meninjau repositori secara luas dengan menggunakan lebih banyak waktu dan proses analisis dibanding pemeriksaan biasa
• Digunakan untuk menganalisis kerentanan kompleks yang memerlukan pelacakan hubungan antar banyak file dan komponen, atau masalah yang sulit ditemukan lewat pemeriksaan pola permukaan
• Dapat diterapkan tidak hanya pada seluruh repositori tetapi juga pada jalur yang ditentukan

Penerapan pengetahuan proyek

• Tidak hanya menganalisis kode secara terpisah, tetapi juga dapat menerapkan konteks yang diberikan proyek ke dalam pemeriksaan
• Menilai risiko yang spesifik pada proyek berdasarkan dokumen arsitektur/model ancaman/kebijakan keamanan/aturan internal
• Bahkan kode yang tampak normal menurut aturan keamanan umum tetapi melanggar prinsip desain sistem tersebut dapat dimasukkan ke dalam cakupan pemeriksaan

Laporan hasil dan kelengkapan pemeriksaan

• Mencatat bukan hanya kerentanan yang ditemukan, tetapi juga area mana yang benar-benar diperiksa
• Laporan dapat mencakup status pemeriksaan berikut
  • Cakupan yang dianalisis
  • Area yang dikecualikan dari pemeriksaan
  • Pekerjaan yang belum selesai dan ditunda
  • Pertanyaan yang memerlukan konfirmasi tambahan
• Dengan ini, bukan hanya daftar hasil yang bisa dilihat, tetapi juga sampai sejauh mana repositori telah ditinjau

Pemeriksaan keamanan berkelanjutan

• Dapat membuka kembali hasil pemeriksaan sebelumnya atau menjalankan ulang pemeriksaan yang sama untuk melacak perubahan pada temuan
• Dengan membandingkan hasil sebelum dan sesudah perubahan kode, dapat dipastikan apakah kerentanan baru muncul atau sudah diperbaiki
• Dapat dihubungkan ke pemeriksaan sebelum commit/code review/pemeriksaan massal beberapa repositori/pemeriksaan kebijakan keamanan di pipeline CI

[GN⁺]

Komentar Hacker News

• Saya Michael, salah satu pendiri Promptfoo dan sedang mengembangkan Codex Security CLI di OpenAI. Terima kasih sudah melaporkan masalah autentikasi; karena baru saja dirilis sebagai open source, masih banyak yang perlu diperbaiki dan produknya akan berkembang cepat
  Silakan dicoba, lalu beri tahu bagian yang berjalan baik dan apa yang perlu ditingkatkan; saya juga akan menjawab pertanyaan
  Dokumentasi CLI: https://learn.chatgpt.com/docs/security/cli
  Kami juga sedang merekrut orang untuk ikut mengembangkan: https://openai.com/careers/full-stack-software-engineer-cybe...

  • Di aplikasi Codex, saat memakai 5.6 Sol, kadang muncul bahwa ia menemukan kerentanan tetapi tidak bisa memberi tahu isinya; saya penasaran bagaimana guardrail deteksi kerentanan saat ini menanganinya
  • Saya ingin tahu kapan sebaiknya memakai alat ini dibanding plugin Codex yang, setahu saya, juga bisa dipanggil dari CLI
  • Saya ingin tahu apakah pemanggilan OpenAI API wajib, atau apakah bisa dipakai dengan endpoint LLM kompatibel OpenAI yang dibangun secara lokal
  • Inilah alasan saya tidak percaya promosi tentang “model luar biasa yang menangani semuanya sekaligus sehingga programmer tak lagi dibutuhkan.” Berlawanan dengan klaim yang terus dikemukakan lab LLM, bahkan produk yang mereka buat sendiri pun berulang kali menunjukkan cacat seperti masalah autentikasi
    Produk internal lab itu sendiri membantah klaim tersebut, jadi semoga makin sedikit orang yang memercayainya

• Saya menjalankannya di repositori kecil, lalu hampir satu jam kemudian prosesnya berhenti dan menghabiskan setengah kuota mingguan paket Pro
  Saya menjalankan npx codex-security scan . untuk memindai dengan maksimal 8 slot worker, tetapi setelah 52 menit muncul error bahwa HEAD repositori berubah selama pemindaian sehingga hasil tidak bisa disimpan, dan saya harus memulai pemindaian baru

• Pemindainya sendiri justru bagian yang paling tidak menarik; produk yang sebenarnya adalah sistem eksekusi di sekelilingnya yang menangani deduplikasi antar-run, pelacakan false positive, kontrol anggaran, dan penentuan lulus/tidaknya CI. Inovasi paling menarik juga kemungkinan akan muncul di lapisan ini
  Saat membuat AQ, sistem eksekusi coding untuk tim, saya melihat pola yang sama. Awalnya saya pikir model mentah itu sendiri adalah jawabannya, tetapi saya segera berubah pikiran, dan sistem eksekusi yang dirancang untuk tujuan tertentu ternyata jauh lebih kuat dari perkiraan

• Sangat menjengkelkan karena terus muncul error bahwa ia mencoba melakukan operasi yang tidak diizinkan. Saya ingin tahu di jenis proyek seperti apa ini bekerja, dan bagaimana kepemilikan kode diverifikasi
  Misalnya, apakah ini memang sama sekali tidak akan bekerja di kernel Linux, meskipun ada patch yang saya tulis di dalamnya?

• Alat keamanan dari perusahaan AI terasa seperti kantor pemadam kebakaran yang dijalankan oleh pembakar. Tetap berguna, tetapi sulit untuk tidak memikirkan siapa yang diuntungkan dari begitu banyak kebakaran

• Sepertinya ini sebelumnya juga sudah tersedia sebagai plugin Codex; kabar utamanya adalah OpenAI kini menjadikannya open source dan pengembangannya berlangsung cepat

• Hampir tidak ada informasi menarik di output CLI selama pemindaian. Akan bagus kalau ditampilkan info seperti penggunaan token atau progres

• Alibaba juga merilis alat code review berbasis CLI sebagai open source: https://github.com/alibaba/open-code-review

  • Keduanya adalah produk yang sepenuhnya berbeda

• Saya penasaran apakah alat ini mengunggah kode ke ChatGPT untuk analisis. Di beberapa proyek perusahaan, pengiriman kode ke luar mungkin tidak diizinkan

  • Jika perusahaan melarang penggunaan ChatGPT, kemungkinan besar alat analisis keamanan ChatGPT juga tidak bisa dipakai
  • Sebagai cara memakai model GPT tanpa mengirim data ke OpenAI, bisa memilih Amazon Bedrock

• Saya penasaran apakah alat seperti ini akan membuat perusahaan seperti Snyk gulung tikar. Di tempat kerja kami memakai Snyk, tetapi saya kurang puas dengannya

  • Artinya standar persaingan naik, dan keahlian spesialis yang berkelanjutan juga harus berkembang mengikuti itu
  • Saya ragu bagaimana beberapa potong kode bisa sampai membuat Snyk gulung tikar