Mythos menemukan kerentanan di curl

• Mythos dari Anthropic melaporkan 5 kerentanan di curl, tetapi pada akhirnya hanya 1 yang tersisa
• Hasil peninjauan tim keamanan curl: 3 merupakan positif palsu, 1 diklasifikasikan sebagai bug biasa
• Kerentanan yang terkonfirmasi akan menjadi CVE dengan tingkat keparahan rendah, dan dijadwalkan diumumkan pada akhir Juni bersama curl 8.21.0
• Laporan tersebut juga mencakup sekitar 20 bug, dan tim curl sedang memperbaiki item-item yang mereka setujui
• Daniel Stenberg menilai bahwa hanya dari hasil curl saja, buktinya masih lemah untuk menyimpulkan Mythos berada pada tingkat yang sangat berbahaya

---

Jalur akses Anthropic Mythos ke curl

• Pada April 2026, Anthropic menarik perhatian besar setelah menyimpulkan bahwa model AI baru Mythos “cukup bagus hingga berbahaya” dalam menemukan celah keamanan pada kode sumber
• Anthropic tidak langsung merilis Mythos ke publik, melainkan memilih memberi akses terbatas lebih dulu ke beberapa perusahaan agar mereka punya waktu memperbaiki masalah penting
• Sebagai bagian dari project Glasswing, Anthropic juga memberikan akses ke model AI terbarunya untuk “proyek open source” melalui Linux Foundation
• Linux Foundation kemudian menugaskan bagian ini ke Alpha Omega, dan tawaran tersebut diteruskan ke Daniel Stenberg, lead developer curl
• Perjanjian penggunaan memang sudah ditandatangani, tetapi akses aktual tertunda; akhirnya proses berjalan dengan cara orang lain yang memiliki akses ke Mythos memindai dan menganalisis curl lalu menyerahkan laporannya

Analisis keamanan AI curl yang sudah berjalan sebelumnya

• Bahkan sebelum laporan Mythos, curl sudah dianalisis oleh berbagai alat berbasis AI, dan juga terus menggunakan penganalisis kode statis umum, opsi compiler yang ketat, serta fuzzing selama bertahun-tahun
• Yang terutama memeriksa kode curl dengan AI adalah AISLE, Zeropath, dan OpenAI’s Codex Security
• Analisis dari alat-alat ini menghasilkan 200~300 perbaikan bug yang digabungkan ke curl dalam sekitar 8~10 bulan terakhir
• Sebagian item yang dilaporkan alat AI dipastikan sebagai kerentanan nyata dan dipublikasikan sebagai CVE, jumlahnya “mungkin lebih dari 12”
• GitHub Copilot dan Augment code juga digunakan untuk meninjau pull request, membantu memperbaiki masalah yang ditunjukkan agar kode yang digabungkan menjadi lebih baik
• Review AI tidak menggantikan review manusia, tetapi digunakan sebagai sarana peninjauan tambahan dan berkontribusi meningkatkan kualitas hasil merge
• Para peneliti keamanan juga menggunakan AI secara luas dan efektif, sehingga banyak laporan keamanan berkualitas tinggi yang masuk
• Di proyek curl, keamanan adalah prioritas tertinggi, dan berbagai pedoman serta prosedur rekayasa perangkat lunak diterapkan untuk mengurangi cacat
• Pemindaian cacat hanyalah salah satu dari banyak tahap untuk menjaga curl tetap aman, dan tampaknya sulit menemukan proyek yang melakukan keamanan perangkat lunak sebanyak, atau lebih jauh dari, curl

Hasil analisis pertama Mythos pada 6 Mei 2026

• Laporan analisis kode sumber pertama yang dihasilkan oleh Mythos menjadi kesempatan untuk menemukan area peningkatan dan bug yang perlu diperbaiki di curl
• Pemindaian awal dilakukan terhadap repositori git curl dan commit terbaru tertentu pada branch master
• Target analisis mencakup 178 ribu baris kode di bawah subdirektori src/ dan lib/
• Laporan itu membahas secara rinci pendekatan dan metode yang dipakai untuk mencoba menemukan berbagai cacat
• Di bagian atas laporan disebutkan bahwa curl adalah salah satu codebase C yang paling banyak di-fuzz dan diaudit, dengan “OSS-Fuzz, Coverity, CodeQL, dan berbagai audit berbayar”, sehingga kemungkinan sulit menemukan sesuatu pada jalur inti HTTP/1, TLS, dan parsing URL
• Mythos memang tidak berhasil menemukan masalah nyata pada jalur inti tersebut

Skala codebase dan riwayat keamanan curl

• Saat ini, tanpa menghitung baris kosong, curl terdiri dari 176 ribu baris kode C
• Kode sumbernya terdiri dari 660 ribu kata, yaitu 12% lebih banyak daripada keseluruhan novel War and Peace versi bahasa Inggris
• Rata-rata satu baris kode sumber produksi curl telah ditulis lalu ditulis ulang sebanyak 4,14 kali
• Kode produksi lama yang masih tersisa di git master saat ini ditulis oleh 573 kontributor individual
• Sejauh ini, repositori git curl telah menerima perubahan yang diusulkan oleh total 1.465 kontributor
• Hingga kini curl telah mempublikasikan 188 CVE
• curl telah dipasang pada lebih dari 20 miliar instance
• curl berjalan di lebih dari 110 sistem operasi dan 28 arsitektur CPU
• curl berjalan di smartphone, tablet, mobil, TV, konsol game, dan server

“5 kerentanan terkonfirmasi” menyusut menjadi 1

• Laporan Mythos menyimpulkan bahwa mereka menemukan 5 “Confirmed security vulnerabilities”
• Setelah tim keamanan curl meninjau rinciannya selama beberapa jam, dari 5 itu hanya 1 yang tersisa sebagai kerentanan yang benar-benar terkonfirmasi
• Dari 4 sisanya, 3 dinilai sebagai positif palsu yang hanya menunjuk keterbatasan yang sudah didokumentasikan dalam dokumentasi API
• 1 sisanya dinilai bukan kerentanan, melainkan bug biasa
• Satu-satunya kerentanan yang terkonfirmasi akan menjadi CVE dengan severity low
• CVE tersebut direncanakan diumumkan pada akhir Juni, bertepatan dengan rilis curl berikutnya, 8.21.0
• Rincian kerentanan itu tidak akan dipublikasikan sebelum pengumuman resmi
• Laporan Mythos juga memuat berbagai bug yang pada akhirnya disimpulkan bukan kerentanan, dan tim curl sedang menyelidiki serta memperbaiki item yang mereka setujui satu per satu
• Di dalam laporan ada sekitar 20 bug yang tersusun rapi, dengan sangat sedikit positif palsu
• Berkat laporan ini curl memang membaik, tetapi jika dilihat dari jumlah temuan, alat AI yang dipakai sebelumnya justru menghasilkan lebih banyak perbaikan bug
• Ini juga mencerminkan bahwa alat-alat awal lebih dulu menemukan bug yang lebih banyak dan lebih mudah, sementara seiring berjalannya waktu masalah-masalah itu diperbaiki sehingga semakin sulit menemukan cacat baru
• Bug bisa kecil atau besar, jadi membandingkan hanya dari jumlah semata tidak selalu adil

Mythos tidak tampak berada pada tingkat yang secara khusus “berbahaya”

• Jika hanya melihat hasil analisis pada curl, kesimpulannya adalah perhatian besar di sekitar Mythos tampak terutama sebagai pemasaran
• Tidak terlihat bukti bahwa konfigurasi Mythos menemukan masalah pada tingkat yang secara khusus lebih tinggi atau lebih canggih dibanding alat sebelumnya
• Ada kemungkinan Mythos sedikit lebih baik, tetapi tampaknya tidak cukup lebih baik untuk membuat perbedaan besar dalam analisis kode
• Namun, penilaian ini terbatas pada hasil dari satu repositori kode sumber, yaitu curl
• Kemungkinan bahwa Mythos jauh lebih baik pada target lain tetap tidak dikesampingkan

Penganalisis kode AI tetap sangat kuat

• Penganalisis kode berbasis AI jauh lebih unggul daripada penganalisis kode tradisional di masa lalu dalam menemukan celah keamanan dan kesalahan pada kode sumber
• Model AI modern semuanya sangat cocok untuk tugas ini, dan siapa pun yang punya waktu serta kemauan bereksperimen dapat menemukan masalah keamanan
• Kekacauan berkualitas tinggi benar-benar sedang terjadi
• Proyek yang belum memindai kode sumbernya dengan alat berbasis AI kemungkinan besar bisa menemukan banyak cacat, bug, dan potensi kerentanan melalui generasi alat ini
• Bukan hanya Mythos, banyak alat AI lain juga dapat menghasilkan hasil seperti itu
• Jika suatu proyek tidak menggunakan penganalisis kode AI, itu memberi waktu dan peluang bagi penyerang serta aktor jahat untuk menemukan dan mengeksploitasi cacat yang belum ditemukan

Perbedaan penganalisis AI dibanding penganalisis lama

• Penganalisis AI bisa menemukan ketika komentar mengatakan satu hal tentang kode, tetapi perilaku kode sebenarnya berbeda
• Secara umum, ia juga dapat memeriksa kode pada platform dan konfigurasi tempat penganalisis biasa tidak bisa dijalankan
• Ia “mengetahui” detail library dan API pihak ketiga, sehingga dapat mendeteksi penyalahgunaan atau asumsi yang keliru
• Ia juga “mengetahui” detail protokol yang diimplementasikan curl, sehingga bisa menandai bagian yang tampak melanggar atau bertentangan dengan spesifikasi protokol
• Ia umumnya cukup baik dalam membuat ringkasan dan penjelasan cacat, sesuatu yang bisa membosankan dan sulit bagi penganalisis lama
• Ia dapat menghasilkan dan mengusulkan patch untuk masalah yang ditemukan, meski patch tersebut biasanya bukan perbaikan yang 100% lengkap

Rincian laporan Mythos

• Laporan Mythos menyimpulkan bahwa ada 0 kerentanan keamanan memori
• Secara metodologis, review ini adalah analisis yang dipimpin secara manual dengan memakai sub-agen LLM untuk membaca file secara paralel
• Sebelum dicatat, semua kandidat temuan diverifikasi ulang melalui inspeksi langsung kode sumber di sesi utama
• Pemetaan CVE dan pencarian variannya dibangun dari vuln.json milik curl sendiri
• Tidak ada alat SAST otomatis yang digunakan
• Hasil ini selaras dengan status curl sebagai salah satu codebase C yang paling banyak di-fuzz dan diaudit
• Infrastruktur pertahanan curl secara sistematis menutup jenis bug yang biasanya mudah menghasilkan temuan pada codebase sebesar ini
• Elemen pertahanan itu mencakup dynbuf yang dibatasi, curlx_str_number yang memakai nilai maksimum eksplisit untuk semua parsing angka, curlx_memdup0 dengan overflow guard, penegakan format string CURL_PRINTF, batas ukuran respons per protokol, serta batas baris 64KB pada pingpong
• Cakupannya meliputi semua protokol kecil, semua file parser, semua jalur verifikasi backend TLS, HTTP/1·2·3, keseluruhan kedalaman FTP, mprintf, x509asn1, DoH, semua mekanisme autentikasi, content encoding, connection reuse, session cache, alat CLI, kode spesifik platform, hingga CI·build supply chain

AI menemukan kembali jenis kesalahan yang sudah ada

• Alat AI sedang menemukan jenis kesalahan umum yang sudah dikenal dan mapan, hanya saja menemukan instance baru dari kesalahan-kesalahan itu
• Sampai saat ini, AI belum pernah melaporkan jenis kerentanan yang sepenuhnya baru atau tipe kerentanan yang sebelumnya belum ada
• AI tidak sedang menemukan ulang bidang keamanan dengan cara seperti itu
• Namun, AI memang menggali lebih banyak masalah dibanding alat mana pun sebelumnya

Pencarian cacat masih belum selesai

• Hasil kali ini bukan penemuan atau laporan bug yang terakhir
• Bahkan saat itu pun laporan tambahan tentang dugaan masalah masih terus masuk dari para peneliti keamanan
• Alat AI akan terus membaik, dan para peneliti bisa menemukan cara prompting baru yang berbeda untuk membuat AI yang ada menemukan lebih banyak masalah
• curl berharap terus menerima pemindaian berulang dengan Mythos dan AI lainnya, sampai benar-benar tiba pada titik ketika masalah baru tidak lagi muncul

[GN⁺]

Komentar Hacker News

• Kutipan: “Sulit menarik kesimpulan selain bahwa hype besar terhadap model ini terutama adalah pemasaran. Saya tidak melihat bukti bahwa konfigurasi ini menemukan masalah pada tingkat yang secara khusus lebih tinggi atau dengan cara yang lebih canggih dibanding alat-alat sebelum Mythos. Mungkin sedikit lebih baik, tetapi tidak terlihat cukup bagus untuk membawa perubahan yang berarti dalam analisis kode”
  Ini mengingatkan semua orang bahwa persaingan di bidang ini keras, dan banyak dibumbui pemasaran yang terang-terangan maupun halus

  • Tidak mengejutkan juga kalau Anthropic memakai pemasaran untuk meyakinkan orang bahwa model mereka lebih maju, dibuat lebih baik, bahwa AI adalah ancaman yang perlu diatur, dan bahwa jawaban atas itu hanya mereka
    Lebih serius lagi, sejauh ini saya belum banyak melihat sinyal bahwa Mythos lebih dari sekadar Opus yang dipasangi perangkat analisis kode berfokus keamanan. Tetap saja, fakta bahwa bug seperti ini bisa ditemukan secara otomatis sendiri adalah poin yang lebih penting, di luar iklan berlebihan
    Saya penasaran dengan tingkat kesalahan deteksinya. Kalau 90% salah dan kita cuma mendengar contoh yang layak dipakai untuk pemasaran, itu tidak banyak artinya
  • Hasilnya kurang lebih seperti yang diduga, tetapi petunjuk besarnya adalah bahwa alat berbasis LLM yang sudah ada sudah dipakai pada codebase yang diaudit secara luas
    Jadi pemasaran Anthropic mungkin berlebihan, tetapi memang sejak awal sudah tidak banyak yang tersisa, dan tulisan itu juga mengatakan hal tersebut
    Sulit menilai apakah ini kemajuan besar untuk jenis proyek lain, tetapi sekarang jadi jelas bahwa semua orang seharusnya memakai alat review kode AI untuk audit kode yang sudah ada, dan kenyataannya belum semua orang melakukannya
  • curl bukan data point yang bagus. Ini salah satu codebase yang paling banyak dibedah dari yang ada, dan praktik pengujian keamanannya juga sangat kuat
    Para peneliti yang memakai model yang mirip tapi tidak sepenuhnya sama dengan Mythos juga sudah punya cukup waktu untuk melaporkan bug. Daniel mungkin benar bahwa Mythos bukan alat yang mengubah permainan untuk curl, tetapi untuk hampir semua codebase lain prasyaratnya berbeda. Pemasaran yang sesungguhnya justru mungkin adalah kerendahan hatinya soal tingkat kematangan curl
  • Apakah Mozilla yang melakukan pemasaran untuk Anthropic?
    Sebagai bagian dari kolaborasi berkelanjutan dengan Anthropic, kami mendapat kesempatan menerapkan versi awal Claude Mythos Preview ke Firefox. Rilis Firefox 150 minggu ini mencakup perbaikan untuk 271 kerentanan yang teridentifikasi dalam evaluasi awal ini
    Ketika kemampuan seperti ini menjangkau lebih banyak pihak bertahan, banyak tim merasakan pusing yang sama seperti yang kami rasakan saat hasil awal mulai terlihat jelas. Satu bug seperti ini pada target yang sudah ditempa kuat saja sudah akan jadi alarm merah pada 2025, tetapi kalau muncul sebanyak ini sekaligus, kita jadi berhenti sejenak dan bertanya apakah mungkin untuk mengejarnya
    https://blog.mozilla.org/en/privacy-security/ai-security-zer...
  • Sangat mungkin hype itu terutama memang pemasaran
    Kemungkinan lainnya adalah curl memang cukup aman, sehingga jauh lebih sedikit yang bisa ditemukan dibanding proyek lain

• Saya setuju dengan ungkapan “acara pemasaran yang benar-benar luar biasa sukses”. Anthropic melakukannya dengan baik
  Itu bahkan sampai ke CISO organisasi semi-pemerintah kecil di Belanda, dan mereka sedikit panik dengan pengumuman tsunami kerentanan yang katanya datang bersama Mythos
  Berkat itu saya mendapat lebih banyak anggaran dan prioritas dari dewan. Ketakutan pemasaran yang bagus sayang kalau disia-siakan

  • Saya tidak setuju dengan “tsunaminya tidak terlihat”. Di Firefox ada lebih dari 100 bug dan lebih banyak proyek open source, lalu ada kerentanan remote code execution lama di OpenBSD/Linux yang belum pernah terlihat sebelumnya, dan bahkan di Linux sendiri dalam 2–3 minggu saja muncul beberapa eskalasi hak akses lokal
    Yang terlihat bagi saya bukan ketakutan pemasaran, melainkan lonjakan pengungkapan kerentanan berkualitas tinggi dengan false positive rendah. Rasanya seperti menyapu cepat laporan bug berkualitas tinggi untuk beberapa tahun hanya dalam hitungan minggu
  • Anthropic cepat merusak citra di mata pelanggan dengan mengulang taktik yang sama. Menurut saya pribadi ini pemasaran yang buruk sekali
    Ada perbedaan besar antara perusahaan meneliti ancaman keamanan siber dari LLM umum dan mengarahkan pembahasan ke “model baru kami terlalu kuat”. Terasa licin dan menjijikkan
  • Dia menjelaskan dengan rinci bahwa curl hampir mencapai batas rekayasa perangkat lunak yang dipoles. Apa kalian benar-benar mengira sebagian besar kode lain sudah dipoles setinggi itu?

• Kalau agen AI menemukan 0 bug di suatu utilitas perangkat lunak, kenapa itu harus diartikan bahwa AI tersebut kurang bagus dalam menemukan bug?
  Bagaimana kalau memang bug yang nyata jumlahnya 0?
  Ekspektasi bahwa “5 masalah terasa seperti bukan apa-apa bagi kami yang mengharapkan daftar panjang” mungkin saja tidak cocok dengan realitas. Tetapi alasannya tidak harus karena kemampuan Mythos lebih rendah dari yang diklaim. curl bisa jadi memang alat yang sudah diperkuat dengan baik dan saat ini tidak punya banyak kerentanan keamanan

  • Penulisnya juga mempertimbangkan hal yang sama tentang bug yang masih tersisa
    “Lebih banyak hal untuk ditemukan. Ini jelas bukan bug terakhir yang akan mereka temukan atau laporkan. Bahkan saat saya menulis draf tulisan blog ini, saya menerima lebih banyak laporan dari peneliti keamanan tentang masalah yang dicurigai. Alat AI akan terus membaik, dan para peneliti bisa menemukan cara prompt baru dan berbeda agar AI yang ada bisa menemukan lebih banyak. Kita belum mencapai akhir. Saya berharap kita bisa terus menjalankan pemindaian curl berulang kali dengan Mythos dan AI lain, dan meneruskannya sampai benar-benar tidak menemukan masalah baru lagi”
    Masuk akal. Menganggap hanya tersisa tepat 1 temuan yang benar-benar valid, dan kebetulan hanya Mythos yang menemukannya saat peluncuran Mythos sementara proyek-proyek lain sampai tepat sebelumnya sudah menyapu cepat semua temuan lain, menuntut kebetulan yang cukup besar. Mungkin saja, tetapi itu bukan titik awal paling aman saat mengajukan keraguan

• Sulit untuk tidak melihat curl sebagai alat yang relatif sederhana dan berbatas jelas secara sifat. Bandingkan saja dengan sistem operasi, web browser, database, atau codebase perusahaan bernilai puluhan miliar dolar
  Cukup masuk akal bahwa Mythos/ChatGPT 5.5 bisa jauh lebih baik pada kompleksitas yang tidak dimiliki curl. curl memang punya sangat banyak fitur sebagai “klien untuk apa saja”, tetapi kompleksitasnya tetap beberapa orde lebih rendah daripada perangkat lunak lain yang kita andalkan

  • curl jauh lebih kompleks daripada yang dibayangkan orang. Kebanyakan orang mengenalnya hanya sebagai alat command line yang memanggil endpoint HTTP(S) dan menampilkan output, tetapi sebenarnya ia mendukung hampir semua protokol transfer file dan merupakan library yang dirancang untuk proses yang berjalan lama
    Karena dirancang untuk proses yang berjalan lama, ia memakai berbagai teknik untuk mem-pipeline dan menggunakan ulang koneksi serta sumber daya. Ada juga API asinkron agar bisa diintegrasikan ke event loop yang sudah ada
    Apakah web browser atau database lebih kompleks? Tentu sangat mungkin. Mereka memang memecahkan masalah yang sangat besar. Tetapi curl jelas lebih kompleks daripada sebagian besar kode aplikasi yang memakainya
  • Saya setuju ini alat yang cukup mendasar, tetapi seperti disebut di tulisan, panjang kodenya lebih besar daripada War and Peace. Pada skala sebesar itu, tetap ada banyak ruang bagi kerentanan keamanan untuk muncul
  • Mengutip dari tulisan: “curl saat ini memiliki 176.000 baris kode C, tidak menghitung baris kosong. Kode sumbernya terdiri dari 660.000 kata, yaitu 12% lebih banyak kata daripada keseluruhan novel War and Peace versi bahasa Inggris”
    “curl terpasang di lebih dari 20 miliar instance. Ia berjalan di lebih dari 110 sistem operasi dan 28 arsitektur CPU. Ia berjalan di setiap smartphone, tablet, mobil, TV, konsol game, dan server di bumi”
    Sulit menyebut ini sederhana atau berbatas jelas. Sebagian besar sistem operasi atau web browser pun tidak berjalan di mobil atau TV

• Kesimpulan “tidak terlalu berbahaya” tampaknya tidak terlalu mengikuti. Seperti disebutkan, curl sudah dianalisis secara menyeluruh dengan semua alat yang tersedia, dan sebagian besar perangkat lunak tidak sampai level itu

  • Tetapi Mythos dipasarkan bukan sebagai alat yang sedikit lebih baik dalam melakukan hal yang sudah bisa dilakukan alat-alat yang ada, melainkan sebagai revolusi
  • Mythos itu berbahaya atau tidak berbahaya, salah satu. Di sini arti berbahaya didefinisikan sebagai “menemukan jauh lebih banyak kerentanan daripada bug yang ditemukan dengan alat yang tersedia”
    Kerentanan tambahan yang ditemukan Mythos hanya satu, dan x+1 tidak jauh lebih besar daripada x, jadi menurut definisi itu kesimpulannya Mythos tidak berbahaya
  • Benar, tetapi bukankah ini penilaian Mythos dibanding model lain?
    Kalau begitu, kesimpulannya tetap berlaku. “Sebagian besar perangkat lunak” belum dianalisis seperti curl, dan juga belum dianalisis dengan alat lain atau model lain. Kalau alat-alat itu bisa menghasilkan hasil yang hampir sama dengan Mythos, sulit menganggap Mythos secara khusus berbahaya
  • Bukankah “tidak terlalu berbahaya” itu merujuk pada kerentanan yang ditemukan? Mereka tampaknya cukup paham untuk menilai apa yang dianggap tingkat keparahan rendah
  • curl saat ini menerima jumlah laporan bug/kerentanan berkualitas tinggi yang memecahkan rekor. Ini alur yang cukup tajam berbeda dari banjir laporan berkualitas rendah di masa lalu, jadi bukan berarti sudah tidak ada lagi yang bisa ditemukan
    Banyak atau bahkan sebagian besar dari ini tampaknya ditemukan oleh pakar manusia dengan bantuan alat AI, tetapi kalau Mythos benar-benar revolusioner, seharusnya ia bisa menemukan masalah-masalah seperti ini sendiri
    https://daniel.haxx.se/blog/2026/04/22/high-quality-chaos/, ditautkan dari tulisan asli

• Bagian “satu kerentanan yang terverifikasi akan menjadi CVE dengan tingkat keparahan rendah, dan rencananya akan diungkap berbarengan dengan rilis curl berikutnya 8.21.0 yang dijadwalkan pada akhir Juni” terasa mengesankan
  Masih sulit memahami tingkat kualitas dan pemurnian yang masuk ke cURL. Ini contoh sempurna dari sesuatu yang dibuat begitu baik sampai orang hampir tidak memikirkannya dua kali

  • Mudah. Ini menunjukkan apa yang mungkin terjadi kalau standar kualitas yang tinggi diterapkan pada setiap baris kode yang di-commit, di-review, dan di-merge, tak peduli bahasa pemrogramannya
    Tetapi di era perlombaan menuju dasar, offshoring murah, dan kini generasi kode berbasis LLM, sebagian besar perusahaan tidak akan peduli pada kualitas seperti ini kecuali ada akuntabilitas yang dipaksakan
  • Curl dan SQLite adalah contoh favorit saya tentang “apa pun” yang direkayasa dengan benar dan diuji dengan ketat. Benar-benar filosofis
    Syarat kontribusi proyek-proyek ini menuntut keketatan seperti itu, dan para maintainer menegakkan syarat tersebut. Yang memungkinkan ini adalah dokumentasi yang tidak berada di bawah beban, yaitu dokumentasi yang bukan kode proyek itu sendiri. Ini mengingatkan pada eksperimen pikiran Einstein yang berujung pada proyek nyata seperti GPS, atau keyakinan Descartes bahwa semua masalah dapat diselesaikan dengan pemikiran rasional
  • Ironis melihat sesuatu dibuat sebaik itu lalu pada akhirnya orang menjalankan curl ... | bash tanpa merasa ada masalah sama sekali. Lalu mereka menghindar dengan istilah seperti “threat model”
    Saya akan melewatkan curl-bash, dan memakai installer paket yang ditandatangani secara kriptografis

• Saya tahu hype Mythos adalah bagian dari pemasaran Anthropic, tetapi kalau ini codebase yang sudah sangat ditinjau, bukankah mungkin memang tidak ada eksploit keamanan yang menonjol dalam kondisinya saat ini?
  Fakta bahwa tidak ditemukan apa-apa tidak harus menjadi bukti yang memberatkan. Apalagi kalau alat lain sebelumnya sudah mengidentifikasi ratusan kerentanan. Sekarang ini tampaknya benar-benar sudah dibedah habis

• Pemasaran memang selalu bercampur, dan orang harus bisa melihat pemasaran dalam konteksnya
  Selain itu curl adalah proyek open source, relatif kecil tetapi sangat penting, terkenal, dan dipakai di mana-mana. Selain library gambar, alat seperti curl, sudo, su, passwd juga akan jadi sasaran yang saya coba lebih dulu
  Apa sebenarnya yang bisa dilakukan Mythos masih sama sekali belum diketahui. Apa arti model 10 triliun parameter dari sisi biaya dan benchmark?
  Meski begitu, kalau LLM mulai jauh lebih baik daripada manusia dalam menemukan masalah seperti ini sekitar setengah tahun lalu, pada titik tertentu kita semua harus menghadapi masalah yang selama ini diabaikan. Hari ini kita memang harus menambahkan LLM ke pemindaian keamanan, dan kita harus menganggapnya serius
  Dalam skenario terburuk sekalipun, kita bisa memanfaatkan pemasaran Anthropic untuk mengatakan bahwa ini sekarang wajib dan memang ada sesuatu yang berubah

  • Menanggapi pertanyaan “Apa arti model 10 triliun parameter dari sisi biaya dan benchmark?”, bagi saya itu berarti kita sudah mencapai puncak kurva-S efek penskalaan
    Kalau pada skala sebesar itu alatnya tidak terasa jauh lebih baik, berarti kita jelas sudah masuk wilayah diminishing returns
  • “Apa yang bisa dilakukan Mythos masih sama sekali belum diketahui” memang keadaan yang disengaja. Tetap saja, kita bisa memikirkan apa yang orang-orang sudah percaya bisa dilakukannya
  • Ucapan bahwa “LLM sudah menjadi jauh lebih baik daripada manusia dalam menemukan masalah seperti ini” membuat saya memutar mata. Static analyzer umum pun selama puluhan tahun sudah lebih baik daripada manusia dalam tugas mekanis tertentu, dan menjadi lebih baik daripada manusia dalam tugas mekanis tertentu bukanlah hal yang terlalu besar
    Yang baru dan menarik adalah jenis potensi “bug samar” yang, seperti dijelaskan dalam tulisan itu, bisa diidentifikasi LLM. Misalnya kode yang tidak sesuai dengan penjelasan komentar, penggunaan library pihak ketiga yang tidak lazim, ketidakselarasan antara kode dan protokol yang diimplementasikan, atau kode yang secara umum tampak aneh sehingga seseorang perlu melihat lebih dekat. Ini menutup celah di kotak alat debugging tradisional, tetapi tidak seharusnya menggantikannya

• Bagi saya, pesan di sekitar Mythos adalah menyediakan keahlian pakar keamanan terbaik dan pakar tingkat tertinggi untuk bahasa, protokol, dan kode kepada siapa saja yang punya akses
  Risikonya adalah memberikan akses itu ke seluruh dunia sebelum pihak bertahan sempat mendapat akses ke tingkat keahlian tersebut
  Curl telah lama dilihat oleh pakar keamanan, protokol, dan bahasa karena ia berada di pusat segalanya. Fakta bahwa Mythos menemukan sesuatu memang menarik, tetapi itu bukan sinyal bahwa ini cuma hype pemasaran dan tidak berbahaya
  99,99% proyek kemungkinan tidak seaman curl, baik open source maupun closed source. LLM akan dengan senang hati men-decompile dan menjelajahi proyek closed source juga. Jika suatu proyek belum di-fuzzing dan ditinjau oleh alat AI yang ada serta para pakar, kita seharusnya sudah menganggapnya bisa ditembus. Itu sudah berlaku bahkan dengan alat yang ada sekarang, dan sesuatu seperti Mythos membuat kemampuan itu bisa diakses oleh basis pengguna yang lebih luas dengan tingkat keahlian yang lebih rendah

  • Setuju. Anthropic tidak pernah mengklaim kinerja supermanusia, mereka hanya mengklaim kecepatan dan skala
    Fakta bahwa mereka tidak menemukan banyak kerentanan baru dalam perangkat lunak yang sudah banyak diteliti tidak mengatakan apa-apa tentang potensi penyalahgunaan berbahaya secara umum

• Saya membacanya seperti, “curl adalah salah satu codebase C yang paling banyak di-fuzzing dan diaudit yang ada. Ada OSS-Fuzz, Coverity, CodeQL, dan beberapa audit berbayar. Sulit menemukan sesuatu di jalur panas seperti HTTP/1, TLS, dan inti parsing URL”
  Kalimat ini terdengar bukan seperti LLM mencoba dan gagal, melainkan seperti menyerah mencoba sejak awal. Saya sering melihat Claude bertindak begitu kalau tidak terus didorong agar menantang dirinya sendiri, jadi saya penasaran apa yang sebenarnya terjadi di sini

[GN⁺]

Opini di Lobste.rs

• Jika dilihat sendiri, ini memang tidak terlalu mengejutkan, tetapi hasil ini tampaknya lebih tepat dilihat sebagai: “setelah model-model sebelumnya keluar dan nyaris diserang setiap hari, sebuah isu keamanan ditemukan dalam sekali jalan pada salah satu aplikasi yang paling banyak ditinjau”

  • Hal seperti “terus menjalankan penganalisis kode statis biasa, memakai opsi kompiler yang paling ketat, dan melakukan fuzzing selama bertahun-tahun” ternyata jauh lebih jarang dilakukan di tempat lain daripada yang dibayangkan
    Mungkin kita harus bersiap menghadapi masa gelap ketika keamanan menurun atau hilang sampai semuanya ditulis ulang lagi
  • Memang benar LLM sudah semakin mahir menemukan kerentanan, tetapi saya tidak paham mengapa curl digambarkan sebagai salah satu aplikasi yang paling banyak diaudit
    curl memang punya program bug bounty dan sempat menarik cukup banyak riset, tetapi akibatnya Daniel juga sempat kewalahan oleh laporan sampah dari AI. Baik secara publik maupun privat, ini sama sekali bukan target riset kerentanan paling menarik di papan atas
    Ini juga bukan termasuk kategori “di sini mustahil menemukan apa pun”, apalagi jika Anda bisa menggelontorkan sumber daya komputasi berskala besar yang secara praktis disubsidi
  • Kerentanannya juga bertingkat keparahan rendah
    Menurut posting blog tersebut, “satu-satunya kerentanan terverifikasi akan menjadi CVE berkeparahan rendah yang akan diungkap bersamaan dengan rilis curl 8.21.0 berikutnya yang dijadwalkan pada akhir Juni”
    Disebutkan juga ada 4 positif palsu

• “Pada akhirnya, orang lain yang memiliki akses ke model tersebut menawarkan untuk menjalankan pemindaian dan analisis curl dengan Mythos atas nama saya lalu mengirimkan laporannya. Bagi saya, perbedaan itu tidak terlalu penting. Lagi pula saya juga tidak punya banyak waktu untuk mengeksplorasi berbagai prompt dan menggali lebih dalam.”
  Inilah persis cara kerja mesin hype yang hasilnya di bawah janji: “Coba produk kami! Maksudnya, bukan dipakai langsung oleh Anda. Kami yang akan menjalankannya untuk Anda!” lalu di belakang layar metode tradisional yang mahal tetap bekerja
  Saya tidak tahu apakah itu yang terjadi kali ini, tetapi menurut saya kemungkinannya tidak sekecil itu hingga bisa diabaikan. Saya jadi penasaran siapa lagi yang didekati untuk memakai Mythos tetapi pada praktiknya tidak benar-benar bisa memakainya dan hanya menerima hasilnya

  • Bisa saja mereka hanya membeli kerentanan pasar gelap lalu menyajikannya seolah ditemukan oleh Mythos. Kalau begitu itu cuma titik data yang dimuntahkan AI
    Bahkan mungkin sebagian besar temuan seperti ini adalah kelemahan yang sudah dibahas di forum gelap yang jarang dikunjungi para maintainer
    Ini bukan berarti AI tidak bisa membuat perangkat lunak lebih aman. Tetapi kalau perusahaan AI terlalu menyembunyikan kartunya, kita jadi tidak bisa tahu mana yang nyata
  • Saya penasaran apakah orang juga mencari penjelasan alternatif yang tidak sekadar menguatkan pandangan lama mereka tentang Anthropic

• Tiga bulan lalu saya melihat orang ini di panggung mengumumkan bahwa ia menutup program bug bounty karena laporan sampah dari AI
  Saya penasaran apakah alatnya memang sudah sejauh itu membaik, atau justru karena insentif keuangannya hilang maka orang-orang jadi lebih banyak meluangkan waktu untuk membedakan kerentanan nyata dari sampah

  • https://daniel.haxx.se/blog/2026/04/22/high-quality-chaos/ membahas hal itu. Namun memang tampaknya laporan sampah itu sudah berhenti

• Kalau melihat Mastodon, hasil seperti ini sangat mudah memicu bias konfirmasi
  Tetapi setelah bias konfirmasinya disingkirkan, ini tampaknya belum cocok untuk digeneralisasi. Meski begitu, tetap bagus bahwa titik data seperti ini dipublikasikan

  • Saya tidak tahu seberapa cocok ini untuk Mastodon secara keseluruhan, tetapi lingkungan saya terlalu anti-AI sehingga bahkan orang-orang berpengalaman pun melempar tautan GitHub ke antarmuka chat Claude lalu berusaha menunjukkan bahwa itu tidak berguna
    Padahal alat itu memang bukan untuk digunakan seperti itu. Sulit sekali menunjukkan hasil ke orang-orang kalau mereka hanya ingin menunjuk contoh kegagalan lalu menertawakannya

• Saya ingin melihat lebih banyak tulisan seperti ini
  Fakta bahwa di curl hanya ditemukan satu temuan berkeparahan rendah memang menggembirakan, tetapi pada saat yang sama ini tetap hanya satu kasus. Bisa saja curl memang sekadar lebih matang daripada pustaka-pustaka inti lainnya

• “Seluruh dunia tampak seperti kehilangan akal. Apakah ini akhir dari dunia yang kita kenal? Ini jelas sebuah aksi pemasaran yang sangat berhasil.”
  Saya tidak tertarik pada gaya penulisan seperti ini. Saya ingin melihat pemikiran yang jernih dan penalaran yang kokoh. Saya mencoba menafsirkannya dengan niat baik
  Tanpa bukti dan penalaran yang baik, mengatakan bahwa Glasswing adalah “aksi pemasaran” hanyalah spekulasi. Skeptisisme yang sehat bisa dipahami, tetapi skeptisisme yang sehat juga harus diarahkan ke dalam diri sendiri. Atas dasar apa orang bisa seyakin itu?
  Kalau sesuatu disebut aksi, apa sebenarnya maksudnya? Saat membaca kata “aksi”, nuansanya terdengar seperti ada niat untuk memanipulasi. Pihak yang paling langsung bisa berbicara tentang niat adalah “orang-orang yang ada di ruangan itu”. Yang lain paling banter hanya membuat prediksi, tetapi terlalu banyak orang bahkan tidak memperlakukan prediksi dengan serius dan malah menegaskannya seolah fakta
  Kalau seseorang tidak hadir di sana, lebih bijak menjelaskan penalarannya sendiri daripada berbicara seolah pasti
  Insentif bisa mengarah ke banyak arah. Saya tidak memandang ini secara naif. Saya berharap penulis yang serius menghormati kecerdasan pembaca dan keinginan mereka untuk memahami dunia
  Sudah lazim ahli di satu bidang melompat dengan terlalu percaya diri ke bidang lain lalu membuat kesalahan. Dasar apa yang kita miliki untuk menganggap maintainer curl memiliki standar epistemik yang baik tentang posisi proyeknya sendiri, atau tentang situasi secara umum? Orang sering punya insentif kuat untuk tidak ingin mesin lebih unggul daripada mereka. Ini bukan berarti Mythos sudah ada di posisi itu. Untuk bagian itu saya menahan penilaian. Tetapi jika hanya melihat penalaran yang tampak dalam tulisan ini, saya sulit merasa terkesan pada penulisnya

  • Saya tidak setuju bahwa menyebut Glasswing sebagai aksi pemasaran itu tergesa-gesa. Jika melihat apa yang muncul tepat setelah kalimat “aksi pemasaran yang berhasil”, menurut saya itu kritik yang adil
    “Sebagai bagian dari proyek Glasswing, Anthropic juga menyediakan akses ke model AI mutakhir bagi ‘proyek open source’ melalui Linux Foundation. Linux Foundation lalu meminta proyek Alpha Omega menangani bagian itu, dan para perwakilannya menghubungi saya. Sebagai pengembang utama curl, saya ditawari akses ke model ajaib itu dan dengan senang hati menerimanya. Tentu saja saya ingin melihat apa yang bisa ditemukan di curl.”
    Kesan saya setelah membaca keseluruhan tulisannya adalah penulis tidak mengatakan bahwa Glasswing semata-mata aksi pemasaran, melainkan bahwa sebagai aksi pemasaran itu jelas berhasil, sementara sejauh mana ia lebih dari itu masih belum pasti
    Sisa tulisan setelah kutipan itu menjelaskan bahwa ada sesuatu yang lebih dari sekadar pemasaran, dan menyimpulkan bahwa itu “masih sangat bagus”. Intinya, meski mungkin tidak memenuhi hype pemasaran yang bombastis sejauh ini, ini tetap kemungkinan akan berguna
  • OpenAI tidak lama kemudian merilis versi model baru sesuai pola peningkatan rutin mereka, dan menunjukkan kemampuan serupa di area ini, tetapi tanpa banyak gembar-gembor atau keributan
    Itu hanya GPT-5.5. Dalam konteks itu, saya cenderung melihat bahwa menyembunyikan Mythos karena apa yang disebut bahayanya mungkin dimaksudkan untuk memusatkan perhatian pada kasus penggunaan keamanan dan menciptakan permintaan baru di sana