Potensi masalah yang ditemukan di curl dengan alat AI

• Joshua Rogers menemukan daftar besar potensi masalah dalam codebase curl menggunakan rangkaian alat berbasis AI miliknya sendiri
• Daftar ini mencakup bukan hanya cacat gaya kode yang sepele, tetapi juga bug kecil dan celah keamanan potensial
• Sebagian besar masalah yang ditemukan adalah bug kecil, tetapi 1–2 di antaranya bisa merupakan cacat keamanan yang kritis
• Karena ini adalah masalah yang sebelumnya tidak terdeteksi, hasilnya benar-benar sangat bernilai
• Berdasarkan laporan tersebut, 22 perbaikan bug sudah selesai dilakukan
• Masih ada lebih dari dua kali lipat isu yang belum terverifikasi, sehingga peninjauan dan perbaikan terus berlangsung
• Masalah rinci ditandai sebagai "Reported in Joshua's sarif data", dan jika tertarik, Anda dapat memeriksa data tersebut secara langsung

[GN⁺]

Komentar Hacker News

• Ini menurut saya adalah wujud ideal dari "pendamping coding AI"
  Daripada menulis atau memperbaiki kode secara langsung, saya ingin AI berperan memberi tahu bagian kode yang mencurigakan dan lokasi yang perlu saya periksa lebih detail
  Saat saya meminta Claude mencari bug di library C saya yang panjangnya 20 ribu baris, ternyata ia memecah file lalu melakukan grep terhadap pola kode tertentu, dan pada akhirnya hanya menampilkan komentar FIXME saya sendiri (haha)
  Sebenarnya itu setara dengan yang bisa dilakukan skrip bash sederhana, jadi cukup mengecewakan
  ChatGPT malah lebih tidak berguna lagi, hanya mengulang "semuanya terlihat bagus! hebat sekali! tos dulu~"
  Sejauh ini, static analysis tradisional jauh lebih membantu untuk menemukan bug nyata, tetapi hasil static analysis yang bersih tidak berarti tidak ada bug logika
  Justru di titik inilah saya pikir LLM seharusnya benar-benar bersinar
  Jika untuk mendapatkan informasi bug potensial yang lebih berguna dari LLM kita harus membangun lingkungan yang sangat dikustomisasi, maka pada akhirnya kegunaannya juga akan turun, sama seperti alat static analysis yang jarang dipakai saat butuh konfigurasi rumit
  • Ada hal yang hampir tidak pernah dibahas: banyak programmer suka merancang dan menulis kode sendiri, terutama selain kode yang repetitif, tetapi tidak suka melakukan code review
    Arah bahwa AI menulis kode lalu programmer hanya melakukan review terasa seperti alur yang keliru
    Tentu saya paham kenapa pendekatan itu dijual dengan gaya "jumlah baris kode meningkat~"
  • Saat hasil dari Claude mengecewakan seperti yang disebutkan, sering kali cukup efektif untuk langsung "bertanya ke Claude sendiri prompt seperti apa yang akan efektif"
    Misalnya, bertanya "Prompt seperti apa yang harus saya pakai agar Claude Code menyusun rencana untuk mereview bug logika secara efektif sambil mengabaikan komentar seperti FIXME dan TODO?"
    Prompt hasilnya terlalu panjang untuk ditulis di sini, tetapi bisa dilihat pada contoh yang dibagikan lewat gist
    Berdasarkan hasil itu, kita juga bisa terus menyempurnakannya dan menjadikannya agen
  • Cursor BugBot cukup cocok untuk peran seperti ini
    Setelah masa uji coba gratis, alat itu populer di tim pengembangan kami sehingga kami mengadopsinya secara resmi
    Selain kasus salah deteksi sesekali, alat ini sangat berguna
    Baik penulis PR maupun reviewer sama-sama banyak menghemat waktu
  • Saya pernah bertanya ke Claude, "Ada bug yang membuat respons lambat di endpoint tertentu, tetapi tidak berkaitan dengan penggunaan CPU/memori maupun DB. Apa penyebabnya?" Setelah beberapa iterasi, saya benar-benar mendapat petunjuk tentang bug yang sangat sulit ditemukan
    Masalah yang sebelumnya mungkin butuh berjam-jam bisa saya selesaikan setelah mendapat petunjuk
    Saya sangat antusias dengan kemungkinan pemanfaatan AI seperti ini
  • GPT-5 dalam situasi seperti ini jauh lebih tidak suka menjilat dibanding model-model sebelumnya
    Agak mengejutkan kalau ada respons seperti "semuanya terlihat bagus"
    Saat dipakai di Codex CLI, model ini sering mengajukan pertanyaan atau keraguan
    Gemini 2.5 Pro juga lumayan baik di bagian ini
• Saya benar-benar tidak menyangka akan muncul kisah positif tentang curl dan AI
  Mungkin ada baiknya melihat riwayatnya: tautan pencarian HN terkait curl+AI
  • Saya rasa luar biasa bahwa Daniel Stenberg tetap bersikap lapang dada kali ini, meski sebelumnya ia sudah mengalami berbagai masalah terkait laporan bug AI
• Poin pentingnya tampak ada pada fakta bahwa ini adalah sebuah "set alat". Bukan disalahartikan sebagai autopilot, tetapi benar-benar dipakai sebagai kombinasi alat yang membentuk sistem
  • Sepertinya penulis tamu menjelaskan lebih banyak detail di artikel aslinya blog rujukan (sebutan Mastodon: tautan terkait)
  • Saya menyayangkan pembahasannya dipersempit menjadi dikotomi seperti "self-driving vs. serba dibiarkan"
    Pada akhirnya, sudut pandang yang lebih tepat tampaknya adalah perbedaan antara orang yang benar-benar paham cara memakainya dan orang yang hanya coding mengikuti vibe
  • Stenberg menggambarkannya sebagai set alat, tetapi saya juga penasaran dengan pemikiran kontributor yang benar-benar memakai alat tersebut
• Di repositori curl ada 55 PR tertutup yang menyebut "sarif data", dan PR yang dibahas kali ini termasuk kelompok itu
  Ini kontras dengan masa lalu ketika Daniel Stenberg dibuat pusing oleh isu keamanan palsu berkualitas buruk yang dibuat AI
  Terkait HackerOne: "Pelapor isu sampah buatan AI langsung saya ban. Praktis setara serangan DDoS. Rasanya sampai ingin menagih waktu yang terbuang"
  Lihat juga tulisan blog Daniel pada Januari tahun ini: The I in LLM stands for Intelligence?
  • Beberapa bug, misalnya penggunaan penentu format printf yang salah untuk size_t, sebenarnya bisa terdeteksi hanya dengan mengatur flag warning compiler dengan benar
    Akan cukup berguna jika AI bisa memberi saran seperti, "flag peringatan compiler penting Anda belum diaktifkan"
    Sepertinya sebagian PR mungkin karena kecocokan dependabot, dan jika mencari "Joshua sarif data" Anda bisa melihat daftar PR yang lebih spesifik tautan
  • Model yang dipakai saat itu tampaknya sudah banyak berkembang
    Saya menduga itu alasan kesan Daniel Stenberg ikut berubah
• Di antara pemindai SAST komersial memang ada yang bagus, tetapi kebanyakan tidak memuaskan
  Banyak yang mendorong adopsi teknologi SAST berbasis AI dan produk terkait juga sudah dirilis, tetapi mayoritasnya masih di bawah ekspektasi
  Kalau hanya mengecewakan mungkin masih untung, masalahnya bisa berbahaya jika sampai menimbulkan rasa aman yang keliru terhadap keamanan
  Pandangan kritis dan alasannya terhadap pemindai SAST berbasis AI diperkenalkan di sini
• Sulit untuk langsung memahami alat AI spesifik apa yang digunakan
  Dalam situasi ketika berbagai alat sebelumnya gagal menemukan bug, saya penasaran kenapa strategi kali ini lebih efektif
  • Ada sedikit informasi tambahan di blog yang memiliki bab tentang produk
    Tautan Mastodon tampaknya dipakai untuk mengonfirmasi bahwa meskipun ada cuplikan kode yang salah, bug-nya memang nyata
• Sebagai isu terkait, ada contoh kasus "orang melakukan sesuatu dengan AI lalu tidak memahami apa yang sebenarnya sedang dilakukan" You did this with an AI and you do not understand what you're doing here