Curl: Kami Belum Pernah Melihat Laporan Keamanan Valid yang Ditulis dengan Bantuan AI

• Proyek curl memperkenalkan kebijakan untuk langsung memblokir pelapor yang menggunakan AI akibat penyalahgunaan laporan keamanan berbasis AI
• Mulai sekarang, semua pelapor keamanan harus menjawab dengan jelas pertanyaan "Apakah Anda menggunakan AI?", dan akan menerima pertanyaan verifikasi tambahan jika menggunakan AI
• Pihak proyek menegaskan bahwa laporan yang ditulis AI sebagian besar hanyalah "AI slop" yang tidak bernilai, dan hingga kini belum ada satu pun contoh laporan yang benar-benar valid
• Mereka menilai laporan penyalahgunaan AI melalui HackerOne sudah keterlaluan, dan menganggapnya sebagai tindakan pengganggu setingkat serangan DDoS
• Contoh yang memicu masalah ini adalah https://hackerone.com/reports/3125832, dan laporan tersebut menjadi pemicu perubahan kebijakan respons

[sagee]

Kurang lebih pemikiranku juga mirip

[imnotarobot]

Apakah Anda robot?

[GN⁺]

Komentar Hacker News

• Saya menangani laporan untuk program bug bounty bernilai jutaan dolar

  • Spam AI sangat parah
  • Belum pernah menerima laporan valid melalui LLM
  • Orang-orang memasukkan kembali alasan laporan bug mereka tidak valid ke LLM lalu mendapatkan hasil yang lebih membingungkan
  • Tidak layak ditanggapi selain dengan "ditutup sebagai spam"
  • Saya percaya suatu hari akan ada alat keamanan kode yang hebat, tetapi masalahnya adalah orang-orang percaya hari itu adalah hari ini
  • Saya khawatir dengan orang-orang yang tidak bisa membedakan kebenaran dari sampah

• Bagi yang tidak ingin mengeklik tautan, <a href="https://hackerone.com/reports/3125832" rel="nofollow">https://hackerone.com/reports/3125832</a>; adalah contoh terbaru laporan curl yang salah

• Jika ingin menanam kerentanan di proyek open source besar, cara mudahnya adalah menggunakan AI untuk melakukan DDOS pada laporan kerentanan mereka sehingga laporan yang nyata sulit ditemukan

  • Laporan palsunya terlihat tidak seperti ditulis manusia sungguhan
  • Jika bukan untuk mencari pengakuan, saya penasaran kenapa orang melakukan hal seperti ini

• Jika membaca commit yang menjadi jerami terakhir, masalahnya dijelaskan dengan baik: <a href="https://hackerone.com/reports/3125832" rel="nofollow">https://hackerone.com/reports/3125832</a>;

  • Membongkar hal-hal seperti ini pasti sangat menjengkelkan
  • Saya penasaran apakah sistem reputasi bisa bekerja di sini
  • Saya mengusulkan sistem yang memberi reputasi kepada orang yang identitasnya telah diverifikasi dengan penyedia AML/KYC, lalu menaikkan reputasi mereka setiap kali menemukan kerentanan yang akurat
  • AI sedang mengubah ekonomi di bidang ini

• Bahkan tanpa mengeklik laporannya, kita sudah bisa tahu semuanya pasti halusinasi

  • File patch asli dan segfault-nya sama-sama salah
  • Mereka tampaknya mengirim hasil buatan AI secara acak tanpa verifikasi apa pun

• evilginx menaikkan tingkat keparahannya

  • Penulis laporan secara eksplisit mengatakan bahwa ia ingin direkrut
  • Saya penasaran apakah ia mencari orang yang akan menggunakan ChatGPT untuk membanjiri proyek AI-generated dengan spam

• Sebagian besar LLM, jika diminta mencari kerentanan keamanan dalam kode, akan mengarang sesuatu yang sepenuhnya fiktif

  • Kode yang salah menghasilkan "perbaikan" yang tidak berarti
  • Ketidakselarasan antara permintaan pengguna dan efektivitas sistem adalah masalah utama

• Hal yang mengecewakan dari interaksi dengan orang-orang yang banyak memakai AI adalah mereka sering memulai dengan "Saya bertanya ke ChatGPT dan katanya..."

  • Jika mereka memahami apa yang diajarkan chatbot itu, mereka seharusnya bisa menjelaskannya; jika mereka tidak paham atau tidak percaya, mereka seharusnya tidak mengatakannya

• Solusinya sederhana

  • Sebelum mengirim laporan keamanan, pelapor menitipkan $10 ke escrow, dan jika kirimannya adalah sampah buatan AI, uang itu dibayarkan kepada peninjau

• Sebagai pandangan sebaliknya, kami punya CVE, dan perbedaannya adalah salah satu co-founder kami adalah peneliti kernel yang agresif

  • Sistem kami disetel lebih baik daripada orang rata-rata
  • Jumlah laporan salah yang diterima curl sangat besar
  • Alatnya memang benar-benar bekerja, tetapi ada terlalu banyak orang yang ingin cepat menghasilkan uang sehingga kebisingan itu harus disaring