Laporan Keamanan curl yang Dihasilkan AI

Bug bounty

• Program bug bounty memberikan imbalan uang sungguhan ketika peretas melaporkan masalah keamanan.
• Sebagian orang berharap mendapat hadiah dengan mencari pola di kode sumber atau menjalankan pemindai keamanan dasar lalu melaporkan hasilnya tanpa analisis tambahan.
• Selama beberapa tahun menjalankan bounty, proporsi laporan sampah bukan masalah besar dan sebagian besar dapat dengan mudah dideteksi lalu diabaikan.
• Sejauh ini lebih dari 70.000 USD telah dibayarkan melalui bug bounty, dan dari 415 laporan kerentanan, 64 dikonfirmasi sebagai masalah keamanan nyata.

Sampah yang lebih baik itu lebih buruk

• Jika sebuah laporan terlihat lebih baik dan seolah memiliki poin, akan dibutuhkan lebih banyak waktu untuk menyelidiki dan membuangnya.
• Laporan keamanan perlu ditinjau oleh manusia yang meluangkan waktu untuk menilai maknanya.
• Laporan sampah tidak membantu proyek dan justru menyita waktu serta energi pengembang dari aktivitas yang produktif.

Laporan keamanan yang dihasilkan AI

• AI dapat melakukan banyak hal baik, tetapi juga bisa digunakan untuk hal yang salah.
• AI bisa digunakan secara bermanfaat untuk menemukan dan melaporkan masalah keamanan, tetapi sejauh ini belum ditemukan contoh bagus seperti itu.
• Saat ini para pengguna sedang giat memakai LLM untuk menganalisis kode curl dan mengirimkan hasilnya sebagai laporan kerentanan keamanan.

Deteksi sampah AI

• Para pelapor tidak selalu sepenuhnya fasih berbahasa Inggris sehingga terkadang sulit segera memahami maksud mereka.
• Kadang para pelapor memakai AI atau alat lain untuk membantu mengekspresikan maksud mereka atau menerjemahkannya.
• Adanya sebagian teks yang dihasilkan AI atau alat serupa tidak otomatis menjadi masalah.

Bukti A: pengungkapan perubahan kode

• Pada musim gugur 2023, diumumkan pemberitahuan publik untuk CVE-2023-38545.
• Sehari sebelum masalah itu diumumkan, seorang pengguna mengirim laporan ke Hackerone: perubahan kode kerentanan Curl CVE-2023-38545 telah dipublikasikan di internet.
• Laporan itu memunculkan bau halusinasi bergaya AI: menciptakan sesuatu yang baru tanpa kaitan dengan kenyataan.
• Pengguna tersebut mengatakan bahwa ia memakai Bard, AI generatif milik Google, untuk menemukan masalah ini.

Bukti B: kerentanan buffer overflow

• Ini masalah yang tidak terlalu jelas dan dibuat lebih rapi, tetapi tetap tidak lepas dari halusinasi.
• Pada pagi hari 28 Desember 2023, seorang pengguna mengirim laporan ke Hackerone: kerentanan buffer overflow dalam penanganan WebSocket.
• Laporan itu ditulis dengan rinci dalam bahasa Inggris yang layak, dan bahkan menyertakan usulan perbaikan.
• Setelah beberapa pertanyaan dan halusinasi, disadari bahwa ini bukan masalah nyata, dan pada sore harinya diputuskan untuk tidak memperbaikinya.

Larang para pelapor seperti ini

• Hackerone tidak memiliki fitur eksplisit untuk melarang komunikasi lanjutan dengan sebuah proyek.
• Ketika sebuah masalah tidak ditindaklanjuti, "reputasi" peneliti memang turun, tetapi jika itu hanya terjadi sekali pada satu proyek, perubahannya sangat kecil.

Masa depan

• Laporan seperti ini kemungkinan akan makin umum seiring waktu, dan kita bisa belajar mendeteksi sinyal AI dengan lebih baik lalu mengabaikan laporan berdasarkan itu.
• Ini bisa menjadi hal yang disayangkan ketika AI dipakai untuk tugas yang semestinya tepat.
• Diyakini bahwa alat yang benar-benar bekerja dengan memanfaatkan AI akan muncul di masa depan, dan AI belum tentu ide buruk untuk menemukan masalah keamanan.
• Jika dicampur dengan pemeriksaan manusia yang sangat kecil (dan cerdas), penggunaan alat-alat ini dan hasilnya akan jauh lebih baik.

Diskusi

• Hacker news

Kredit

• Gambar: Haider Mahmood by Pixabay
• AI
• cURL and libcurl
• hackerone
• Security

Pendapat GN⁺

• Perkembangan teknologi AI menghadirkan tantangan dan peluang baru juga di bidang keamanan. AI dapat membantu menemukan kerentanan keamanan, tetapi saat ini sering membuang waktu pengembang karena laporan yang tidak akurat.
• Mengidentifikasi dan menyelesaikan masalah keamanan dengan cepat sangat penting untuk menjaga keamanan perangkat lunak. Namun, seiring meningkatnya laporan yang dihasilkan AI, dibutuhkan pendekatan baru untuk mengelolanya secara efektif.
• Tulisan ini menekankan pentingnya penggunaan teknologi AI yang bertanggung jawab dan pengawasan manusia dengan memberikan contoh nyata tentang bagaimana AI dapat disalahgunakan di bidang keamanan.

[GN⁺]

Komentar Hacker News

• Ringkasan komentar Hacker News:

  • Pendapat tentang nada khas LLM (large language model):

    Tidak masalah jika LLM memiliki nada tertentu yang terdengar seperti pelayan robot, tetapi yang mengkhawatirkan adalah ketika orang mulai berbicara seperti LLM.

  • Pendapat tentang laporan kerentanan keamanan terkait curl yang dibuat oleh LLM:

    Awalnya dikira duplikat dari sesuatu yang pernah dilihat sebelumnya, tetapi ternyata itu adalah laporan palsu yang dibuat oleh LLM lain.

  • Kekhawatiran tentang LLM dan program bug bounty:

    Laporan palsu yang dikirim LLM ke program bug bounty bisa membuat program sulit dijalankan. Mungkin perlu pengelolaan yang lebih ketat agar hanya orang sungguhan dan peneliti keamanan yang benar-benar bisa berpartisipasi.

  • Kekhawatiran tentang pemborosan waktu engineering dibanding biaya LLM:

    Yang dikhawatirkan adalah LLM dapat membuang banyak waktu engineering yang berharga hanya dengan biaya yang sangat kecil.

  • Wawasan tentang masalah keandalan konten akibat LLM:

    Menulis, yang dulu menjadi cara untuk membuktikan upaya minimal, kini berubah menjadi sesuatu yang menuntut lebih banyak usaha karena LLM. Ini memengaruhi program bug bounty dan proses CVE, meningkatkan hambatan pengajuan, dan pada akhirnya bisa membuat lebih banyak kerentanan keamanan tidak ditemukan maupun tidak diperbaiki.

  • Analisis teknis terhadap kode curl:

    Sangat aneh mengeluhkan pemeriksaan panjang karena curl tidak menggunakan data yang diberikan pengguna dan ukurannya tetap saat waktu kompilasi. Selain itu, penasaran apakah ada orang yang lebih terbiasa dengan bahasa C yang bisa menjelaskan tujuan penggunaan variabel lokal keyval.

  • Kritik terhadap code review oleh LLM:

    dineshsec / dinesh_b mengajari Daniel cara menggunakan strncpy adalah buang-buang waktu, dan mereka berpendapat bahwa menggunakan memcpy lebih baik daripada strcpy atau strncpy. Rekomendasi dari LLM itu sendiri sebenarnya tidak direkomendasikan.

  • Pendapat tentang masalah AI di bidang keamanan siber:

    Sampai baru-baru ini, keamanan siber cukup kebal terhadap informasi sampah, tetapi sekarang AI memudahkan para penipu menjalankan tipu daya. Masalahnya bukan pada AI itu sendiri, melainkan pada etika, dan laporan keamanan bisa lolos asalkan tampak "sah".