Project Glasswing: Apa yang Ditunjukkan Mythos

 (blog.cloudflare.com)
2 poin oleh GN⁺ 1 jam lalu | 2 komentar | Bagikan ke WhatsApp
  • Mythos Preview di lebih dari 50 repositori Cloudflare tidak hanya mendeteksi bug individual, tetapi juga merangkai berbagai primitive menjadi rantai exploit
  • Bukan berhenti pada deteksi bug yang dicurigai, model ini berulang kali menulis kode pemicu, mengompilasi dan menjalankannya secara sementara, lalu merevisi hipotesis setelah gagal untuk menghasilkan bukti yang berfungsi
  • Bahkan dalam riset kerentanan yang sah, muncul penolakan spontan, tetapi hasilnya berubah tergantung konteks dan cara penyampaian sehingga kurang konsisten untuk dijadikan batas keamanan
  • Agen coding serbaguna memiliki keterbatasan dalam cakupan repositori besar dan eksplorasi paralel, sehingga Cloudflare membangun harness yang menjalankan tugas-tugas sempit secara paralel
  • Bagi tim keamanan, pemindaian dan patch yang lebih cepat saja tidak cukup; arsitektur yang membuat bug sulit dieksploitasi atau dijangkau menjadi semakin penting

Bagaimana Mythos Preview mengubah cara riset kerentanan

  • Dalam beberapa bulan terakhir, Cloudflare menguji LLM berfokus keamanan di infrastrukturnya sendiri, dan menerima Mythos Preview dari Anthropic sebagai bagian dari Project Glasswing, lalu menerapkannya pada lebih dari 50 repositori internal
  • Mythos Preview bukan sekadar versi lebih baik dari model frontier serbaguna yang sudah ada, melainkan lebih mendekati alat baru yang menjalankan tahap-tahap berbeda dalam riset kerentanan
  • Perubahan utamanya adalah tidak berhenti pada daftar bug individual, tetapi menggabungkan beberapa primitive serangan menjadi rantai exploit
    • Serangan nyata biasanya tidak hanya memakai satu bug, melainkan berlanjut dari mengubah use-after-free menjadi primitive baca/tulis arbitrer, membajak control flow, lalu mendapatkan kendali sistem dengan rantai ROP
    • Mythos Preview menggabungkan primitive semacam ini dan menghubungkannya menjadi bukti yang benar-benar bekerja, dengan penalaran yang lebih mendekati peneliti berpengalaman daripada pemindai otomatis
  • Perubahan lainnya adalah kemampuan untuk langsung membuat bukti yang berfungsi setelah menemukan bug yang diduga ada
    • Model ini menulis kode pemicu, mengompilasinya di lingkungan sementara, lalu menjalankannya
    • Jika bekerja sesuai dugaan, itu menjadi bukti; jika gagal, model membaca penyebab kegagalan, menyesuaikan hipotesis, lalu mencoba lagi
    • Cacat tanpa bukti yang berfungsi tetap berada pada level dugaan, tetapi Mythos Preview secara mandiri memperkecil kesenjangan itu
  • Dalam harness yang sama, model frontier lain juga menemukan sebagian bug dasar dan kadang bernalar lebih jauh dari perkiraan, tetapi perbedaan muncul pada tahap merangkai banyak bagian menjadi rantai nyata yang lengkap
  • Mythos Preview mampu menghubungkan bug-bug yang secara tradisional mungkin akan tertinggal di backlog dengan tingkat keparahan rendah menjadi satu exploit yang lebih serius

Penolakan model yang muncul bahkan dalam riset kerentanan yang sah

  • Mythos Preview yang disediakan untuk Project Glasswing tidak menyertakan pengaman tambahan seperti pada model umum yang tersedia luas semisal Opus 4.7 atau GPT-5.5
  • Meskipun begitu, model tetap menunjukkan penolakan spontan terhadap permintaan tertentu, dan bersama kemampuan sibernya yang berguna untuk deteksi kerentanan, juga memperlihatkan guardrail emergen
  • Penolakan spontan ini tidak konsisten
    • Untuk tugas yang sama, hasilnya bisa sepenuhnya berbeda tergantung cara penyampaian atau konteksnya
    • Model sempat menolak riset kerentanan pada satu proyek, lalu menerima riset yang sama pada kode yang sama setelah perubahan lingkungan proyek yang tidak relevan
    • Ada juga kasus ketika model menemukan dan memverifikasi beberapa bug memori serius di sebuah codebase, tetapi kemudian menolak menulis demo exploit
    • Permintaan yang sama pun bisa menghasilkan hasil berbeda antar-eksekusi karena sifat probabilistik model
  • Penolakan spontan dan guardrail memang nyata, tetapi dengan sendirinya belum cukup konsisten untuk menjadi batas keamanan yang utuh
  • Agar model frontier siber yang mumpuni bisa disediakan secara umum, dibutuhkan pengaman tambahan supaya tetap dapat digunakan secara layak di luar lingkungan riset terkontrol seperti Project Glasswing

Masalah sinyal dan noise

  • Dalam triase kerentanan keamanan, hal tersulit adalah menentukan bug mana yang nyata, dapat dieksploitasi, dan harus diperbaiki sekarang
  • Masalah ini sudah sulit sebelum AI hadir, dan pemindai kerentanan berbasis AI serta kode yang dihasilkan AI membuatnya makin buruk; Cloudflare pun membangun beberapa tahap validasi pasca-proses

  • Bahasa pemrograman

    • C dan C++ memberikan kontrol memori langsung, dan karenanya melahirkan kategori bug seperti buffer overflow serta baca/tulis di luar batas
    • Bahasa aman memori seperti Rust menghilangkan kategori ini pada waktu kompilasi
    • Pada proyek yang ditulis dalam bahasa yang tidak aman memori, false positive secara konsisten muncul lebih banyak

  • Bias model

    • Peneliti manusia yang baik akan menjelaskan apa yang ditemukan dan seberapa yakin mereka, tetapi model cenderung tetap menghasilkan keluaran baik ada bug maupun tidak
    • Hasilnya kembali dengan ungkapan yang dilunakkan seperti “possibly”, “potentially”, atau “could in theory”, dan hasil spekulatif seperti ini jauh lebih banyak daripada hasil yang pasti
    • Sebagai alat eksplorasi, bias ini masuk akal, tetapi dalam antrean triase setiap hasil spekulatif menghabiskan perhatian manusia dan token, dan ketika menumpuk hingga ribuan biayanya menjadi besar
    • Mythos Preview menunjukkan peningkatan yang jelas dalam kemampuan merangkai primitive dengan menggabungkan beberapa kerentanan menjadi PoC yang berfungsi, alih-alih melaporkannya satu per satu
    • Hasil yang disertai PoC jauh lebih dekat ke hasil yang langsung bisa ditindaklanjuti, sehingga sangat mengurangi waktu untuk memeriksa “apakah ini nyata”
    • Harness Cloudflare sengaja disetel untuk melaporkan lebih banyak agar lebih sedikit yang terlewat, sehingga noise juga tinggi; tetapi output Mythos Preview lebih jarang memakai bahasa yang dilunakkan dan langkah reproduksinya lebih jelas, sehingga mengurangi pekerjaan yang dibutuhkan untuk memutuskan apakah temuan harus diperbaiki atau ditolak

Keterbatasan pendekatan menerapkan agen coding serbaguna langsung ke repositori

  • Pada tahap awal riset kerentanan berbantuan AI, memberi agen coding serbaguna sebuah repositori acak dan memintanya mencari kerentanan merupakan titik awal yang alami
  • Pendekatan ini memang menghasilkan keluaran, tetapi tidak cocok untuk mencakup codebase nyata secara bermakna dan menemukan hasil yang benar-benar bernilai

  • Konteks

    • Agen coding dirancang untuk alur kerja terfokus tunggal seperti implementasi fitur, perbaikan bug, atau refactoring
    • Riset kerentanan lebih mirip tugas sempit dan paralel: menyelidiki secara mendalam target yang sempit seperti satu fitur kompleks, perpindahan batas keamanan, atau command injection, lalu mengulanginya ribuan kali di seluruh codebase
    • Bahkan dengan sub-agen, satu sesi agen pada repositori 100 ribu baris hanya bisa mencakup sekitar 0,1% permukaan secara berguna sebelum jendela konteks model penuh dan proses kompresi dimulai
    • Dalam proses kompresi itu, temuan sebelumnya yang mungkin penting juga bisa terbuang

  • Throughput

    • Agen aliran tunggal hanya mengerjakan satu tugas pada satu waktu
    • Codebase nyata membutuhkan kemampuan untuk menerapkan banyak hipotesis pada banyak komponen secara bersamaan, lalu bercabang lebih luas ketika ada titik menarik yang ditemukan
    • Agen coding cocok untuk investigasi manual ketika peneliti sudah memiliki petunjuk dan hanya memerlukan peninjau kedua
    • Namun alat ini tidak cocok sebagai sarana mencapai cakupan tinggi, sehingga Cloudflare beralih membangun harness di sekitar Mythos Preview

Masalah yang diselesaikan harness

  • Pengalaman menjalankan sistem dalam skala besar membawa pada kesimpulan bahwa dibutuhkan harness untuk mengelola keseluruhan eksekusi

  • Cakupan sempit menghasilkan hasil yang lebih baik

    • Permintaan seperti “carilah kerentanan di repositori ini” cenderung membuat model tersesat
    • Permintaan seperti “lihat command injection pada fungsi spesifik ini; di atasnya ada batas kepercayaan ini, berikut dokumen arsitektur dan cakupan yang sudah ada di area ini” menghasilkan keluaran yang lebih dekat dengan cara kerja peneliti nyata

  • Tinjauan adversarial mengurangi noise

    • Menempatkan agen kedua di antara hasil awal dan antrean dapat menangkap banyak noise yang akan lolos jika agen pertama meninjau pekerjaannya sendiri
    • Agen kedua menggunakan prompt dan model yang berbeda, serta tidak memiliki wewenang untuk menghasilkan temuannya sendiri
    • Pendekatan dengan sengaja menempatkan dua agen dalam kondisi tidak selaras jauh lebih efektif daripada sekadar memberi tahu satu agen agar berhati-hati

  • Membagi rantai per agen meningkatkan penalaran

    • “Apakah ada bug di kode ini?” dan “Apakah penyerang benar-benar bisa menjangkau bug ini dari luar sistem?” adalah dua pertanyaan yang berbeda
    • Dengan memisahkan keduanya, masing-masing pertanyaan menjadi lebih sempit, dan model tampil lebih baik pada masing-masingnya

  • Tugas sempit yang paralel mengalahkan satu agen menyeluruh

    • Cakupan membaik ketika banyak agen menangani pertanyaan yang didefinisikan sempit lalu hasilnya dideduplicasi sesudahnya
    • Ini lebih efektif daripada meminta satu agen agar komprehensif
    • Cloudflare memakai Mythos Preview untuk memperluas, menyetel, dan meningkatkan harness yang sudah ada agar sesuai dengan kekuatannya

Harness penemuan kerentanan milik Cloudflare

  • Harness ini digunakan untuk memindai kode nyata pada runtime Cloudflare, edge data path, protocol stack, control plane, dan proyek open source yang mereka gunakan

  • Recon

    • Agen membaca repositori dari atas ke bawah, lalu bercabang menjadi sub-agen yang masing-masing menangani satu subsistem
    • Sistem ini menghasilkan dokumen arsitektur yang berisi perintah build, batas kepercayaan, titik masuk, dan permukaan serangan yang diperkirakan
    • Sistem ini juga membuat antrean tugas awal untuk tahap berikutnya, sekaligus memberi konteks bersama kepada semua agen lanjutan agar model tidak tersesat

  • Hunt

    • Setiap tugas terdiri dari satu kelas serangan dan petunjuk cakupan
    • Agen pemburu yang benar-benar mencari bug biasanya berjalan sekitar 50 sekaligus, dan tiap hunter kembali bercabang menjadi beberapa sub-agen eksplorasi
    • Setiap hunter memiliki akses ke alat yang mengompilasi dan menjalankan kode PoC di direktori sementara per tugas
    • Sebagian besar pekerjaan dijalankan sebagai eksekusi paralel dari banyak tugas sempit, bukan satu agen menyeluruh

  • Validate

    • Agen independen membaca ulang kode dan mencoba menyangkal hasil awal
    • Agen ini memakai prompt yang berbeda dan tidak bisa menghasilkan temuan baru sendiri
    • Langkah ini menangkap porsi noise yang signifikan yang bisa terlewat ketika hunter meninjau pekerjaannya sendiri

  • Gapfill

    • Sistem menandai area yang sempat disentuh hunter tetapi belum tercakup cukup baik
    • Area-area itu kemudian dimasukkan kembali ke antrean untuk pass berikutnya
    • Ini mengimbangi kecenderungan model untuk condong ke kelas serangan yang sudah lebih dulu berhasil ditemukan

  • Dedupe

    • Hasil-hasil yang berbagi akar penyebab yang sama digabung menjadi satu catatan
    • Analisis varian adalah fitur, bukan cara untuk menggelembungkan antrean dengan duplikasi

  • Trace

    • Untuk setiap hasil yang terverifikasi di pustaka bersama, agen tracer bercabang satu per repositori konsumen
    • Dengan memakai indeks simbol lintas repositori, agen menilai apakah input yang dikendalikan penyerang benar-benar dapat mencapai bug dari luar sistem
    • Ini adalah tahap terpenting yang mengubah “ada cacat” menjadi “ada kerentanan yang dapat dijangkau”

  • Feedback

    • Hasil pelacakan yang dapat dijangkau menjadi tugas hunt baru pada repositori konsumen tempat bug tersebut benar-benar terekspos
    • Ini menutup loop yang membuat pipeline membaik seiring dijalankan

  • Report

    • Agen menulis laporan terstruktur sesuai skema yang telah ditentukan sebelumnya
    • Agen memperbaiki sendiri kesalahan validasi skema lalu mengirimkannya ke ingest API
    • Output-nya bukan prosa bebas, melainkan data yang bisa diquery

Arti temuan ini bagi tim keamanan

  • Pemimpin keamanan lain yang melihat Mythos Preview mencoba memampatkan siklus respons dengan memindai lebih cepat dan melakukan patch lebih cepat
  • Setidaknya satu tim yang berbicara dengan Cloudflare menjalankan SLA 2 jam dari pengungkapan CVE hingga patch produksi
  • Jika timeline penyerang memendek, timeline pembela juga harus memendek, tetapi kecepatan saja tidak cukup
  • Melakukan patch lebih cepat tidak mengubah bentuk pipeline yang menghasilkan patch itu sendiri
    • Jika regression test memakan satu hari, Anda tidak bisa mencapai SLA 2 jam tanpa melewatkan regression test
    • Bug yang dirilis ke produksi sambil melewatkan regression test bisa lebih buruk daripada bug yang semula ingin diperbaiki
    • Ketika model diminta langsung menulis patch, ada patch yang memang memperbaiki bug asli tetapi diam-diam merusak bagian lain yang menjadi dependensi kode, dan beberapa di antaranya pernah ter-deploy
  • Pertanyaan yang lebih sulit adalah bagaimana merancang arsitektur di sekitar kerentanan
    • Bahkan jika bug tetap ada, sistem harus dibuat agar sulit dieksploitasi oleh penyerang
    • Sistem harus dibuat agar jarak antara pengungkapan kerentanan dan patch menjadi kurang penting
    • Diperlukan pertahanan di depan aplikasi yang dapat memblokir pencapaian bug
    • Aplikasi harus dirancang agar cacat di satu bagian kode tidak memberi penyerang akses ke bagian lain
    • Harus memungkinkan perbaikan didistribusikan serentak ke semua lokasi tempat kode dijalankan tanpa menunggu deployment dari tiap tim
  • Kemampuan yang sama memiliki dua sisi
    • Kemampuan menemukan bug di kode sendiri, jika jatuh ke tangan yang salah, juga dapat mempercepat serangan terhadap seluruh aplikasi di internet
    • Cloudflare menyatakan bahwa mereka berada di depan jutaan aplikasi, dan prinsip-prinsip arsitektur di atas adalah prinsip yang menjadi dasar produk mereka untuk diterapkan atas nama pelanggan
  • Riset Mythos Preview dilakukan dalam lingkungan terkontrol terhadap kode milik Cloudflare sendiri, dan semua kerentanan yang ditemukan telah ditriase dan diverifikasi sesuai proses manajemen kerentanan resmi Cloudflare, lalu diperbaiki bila diperlukan

Bacaan terkait

2 komentar

 
crawler 1 jam lalu

Saya kira ini laporan analisis tentang error apa yang diperbaiki, seperti curl, ternyata cuma tulisan promosi mentah ya?
Cloudflare juga sejak bikin paywall khusus agen AI atau endpoint ringkasan sambil ikut-ikutan hype, jadi aneh juga.
 
GN⁺ 1 jam lalu
Komentar Hacker News

  • Saya tidak paham maksud kalimat, “ini jenis alat yang berbeda untuk jenis pekerjaan yang berbeda, jadi sulit membuat perbandingan apple-to-apple yang rapi dengan model sebelumnya”
    Mereka bilang ini jenis alat yang berbeda, tetapi cara pemakaiannya justru dijelaskan sama persis seperti model lain. Jauh lebih buruk daripada rata-rata blog Cloudflare, dan terasa seperti mengulang presentasi Mythos yang menekankan chaining dan pembuatan contoh sebagai inti

    • Maksudnya sepertinya ada kemampuan yang secara kualitatif berbeda, sehingga model ini lebih layak dicoba untuk tugas keamanan tertentu, bukan berarti model interaksi manusia-AI berubah
      Tetap saja semua orang menggunakannya dengan harness, dan cara umum memberi harness pada model sepertinya tidak akan banyak berubah ke depan. Manusia juga kadang butuh harness untuk mengerjakan sesuatu
    • Saya juga mencoba menafsirkan ini
      Kalau dilihat secara positif, mungkin mereka sengaja bicara samar karena masih terikat NDA dan belum bisa menjelaskan dengan tepat apa yang berbeda
    • “Jauh lebih buruk daripada rata-rata blog Cloudflare”, saya penasaran kapan rata-ratanya dihitung
      Belakangan ini hampir semua output Cloudflare terasa sangat berbau AI
    • Mungkin terdengar berbeda karena ini bukan tulisan blog biasa, melainkan iklan terselubung
    • Bagian yang baru buat saya adalah, “guardrail baru pada model itu sendiri kadang bereaksi negatif bahkan terhadap permintaan riset keamanan yang sah. Namun dari yang kami amati, penolakan spontan seperti ini tidak konsisten. Tugas yang sama bisa menghasilkan hasil yang sepenuhnya berbeda bila dirumuskan ulang atau diberi konteks lain, seperti contoh di bawah”
      Agak mengejutkan bahwa model yang dirancang untuk riset keamanan dan hanya dibuka untuk pakar tetap menolak permintaan yang sah

  • Saya berharap ada angka yang lebih konkret dan hasil yang benar-benar mengejutkan, tetapi ini hanya terlihat seperti tulisan promosi yang seimbang dan mungkin ditulis dengan LLM

  • Pertanyaan sebenarnya adalah apakah tulisan ini dibuat oleh Mythos atau Opus
    Frasa seperti “mengapa ini penting” sebenarnya tidak penting. Blog perusahaan memang jarang benar-benar ditulis dengan suara satu penulis sejak dulu, tetapi tetap menarik melihat bahkan organisasi besar mulai menyerahkan blog mereka ke LLM

    • Struktur kalimat seperti “Ini adalah bias yang masuk akal untuk alat eksplorasi. Ini adalah bias yang merusak untuk antrean triase...” jelas terasa seperti gaya AI
      “Mengapa ini penting” sekarang rasanya ingin saya naikkan levelnya menjadi “output AI menjadi bagian dari data pelatihan”. Suatu saat gaya AI yang rapi tetapi bertele-tele mungkin akan menjadi standar, dan kecuali Anda berasal dari generasi sebelumnya, itu akan sulit dibedakan. Mirip seperti merindukan beberapa sisi Usenet
    • Menarik melihat orang berpikir bahwa jika mereka cukup menyindir sesuatu, maka isi substansialnya ikut hilang
      Rasanya seperti menatap laras senapan sambil bercanda tentang kertas apa yang dipakai untuk mencetak brosur iklannya
    • Ini bukan sekadar organisasi besar, ini Anthropic. Pesan inti perusahaan ini adalah bahwa AI sekarang bisa mengerjakan pekerjaan nyata, jadi akan aneh kalau mereka sendiri tidak bertindak sesuai itu
      Mungkin itu juga sebabnya Claude Code punya banyak bug aneh, dan tim dukungan bilang refund sudah diproses padahal kenyataannya belum
    • Blog Cloudflare sudah sangat bagus selama bertahun-tahun, jauh sebelum transformer muncul
    • Ini lebih terasa seperti tulisan yang diedit AI daripada sepenuhnya ditulis AI. Atau mereka memakai alat humanisasi yang cukup bagus pada pass kedua

  • “Empat pelajaran” yang katanya didapat dari menjalankan pekerjaan ini dalam skala besar terasa lucu. Tiga dari empat itu pada dasarnya sama dan terlalu jelas
    Ringkasnya, permintaan yang spesifik dan sempit bekerja lebih baik daripada sekadar “temukan kerentanan”, yang ya memang sudah jelas. Meski begitu, review adversarial memang bukan hal baru dan sudah sering dibahas di HN, tetapi setidaknya itu bagian yang menurut saya menarik dan cukup berbeda. Saya perlu lebih sering memasukkannya ke alur kerja saya, dan mungkin itu juga membantu untuk tugas non-coding
    https://blog.cloudflare.com/cyber-frontier-models/#what-a-ha...

  • Saya terkesan dengan bagian ini: “Respons terbesar para pemimpin keamanan terhadap Mythos Preview adalah kecepatannya. Memindai lebih cepat, menambal lebih cepat, memadatkan siklus respons. Setidaknya dua tim yang kami ajak bicara beroperasi dengan SLA 2 jam dari publikasi CVE hingga patch produksi [...] Jika pengujian regresi memakan satu hari, Anda tidak akan mencapai SLA 2 jam tanpa melewatkannya, dan jika melewatkan pengujian regresi, Anda justru mudah merilis bug yang lebih buruk daripada bug yang ingin Anda tambal”
    Saya penasaran apakah seiring waktu model seperti ini bisa melakukan pengujian exploitability sebelum kode digabungkan sehingga pada dasarnya menghasilkan kode yang lebih aman

    • Saya tidak tahu, tetapi selalu terasa aneh melihat AI tidak terlalu bagus dalam sesuatu lalu kesimpulannya justru pakai lebih banyak AI
    • Atau malah tidak begitu, dan mereka* bisa menjual akses ke Mythos dan model lanjutan melalui perusahaan jasa atau jaringan mitra dengan tarif premium
      *mereka di sini maksudnya semua penyedia model fondasi, karena OpenAI juga tampaknya bergerak ke arah yang sama

  • Kedengarannya bagus, tetapi saya ingin tahu seberapa parah yang paling serius di antara kerentanan yang mereka temukan
    Mungkin mereka tidak ingin mengungkapkannya, tetapi justru itulah bagian yang paling menarik dan penting

    • Saya ingin ikut skeptis, tetapi mereka mengatakannya dengan sangat jelas di awal tulisan. Ini adalah perubahan bertingkat
      Banyak orang melihat Mythos sebagai kampanye psyops, tetapi saya tidak terlalu paham skeptisisme seperti itu. Sepertinya kebanyakan berasal dari ketidakpercayaan umum terhadap hal-hal yang tidak tersedia secara publik. Beberapa karyawan Anthropic memang menjelaskan Mythos sebagai peningkatan model umum, tetapi itu belum banyak didukung secara luas, jadi bagian itu masih layak disikapi skeptis. Namun khusus di ranah riset keamanan, saya bisa menerima narasi ini
    • Mereka menjelaskan dengan cukup spesifik bahwa exploit biasanya dibuat dengan chaining beberapa kerentanan kecil
      Kalau dilihat begitu, menutup kerentanan tidak sama dengan menemukan exploit. Lebih mirip mengurangi celah-celah kecil sehingga makin sulit merakit exploit yang benar-benar berfungsi
    • Sekarang saya makin yakin bahwa model ini jauh lebih kreatif dan bisa berjalan secara agentic lebih lama
      Jadi meskipun “hard skill”-nya tidak meningkat drastis, model ini bisa menggabungkannya dengan lebih efektif. Bahkan sekarang pun banyak kerentanan seperti ini bisa diidentifikasi dengan Opus, tetapi untuk mengarahkannya menjadi exploit yang kompleks, masih perlu campur tangan manusia, dan manusia yang terampil pula. Kalau campur tangan manusia tidak lagi diperlukan, orang rata-rata akan jauh lebih mudah menemukan dan memanfaatkan exploit
    • Palo Alto Networks merilis beberapa patch CVE untuk firewall minggu lalu, dan hampir semuanya berasal dari akses ke model frontier termasuk Mythos
      https://security.paloaltonetworks.com
    • Sebagian besar produk baru Anthropic adalah alat AI yang tidak dipakai siapa pun, jadi sepertinya mereka akan terus memposting tulisan berkualitas rendah seperti ini. Mereka juga baru-baru ini banyak memecat orang, jadi mungkin sudah tidak punya penulis bagus lagi

  • Bagus sih, tetapi saya tidak mengerti kenapa mereka tidak membagikan data tentang berapa banyak kerentanan keamanan yang benar-benar ditemukan, berapa yang valid, dan berapa yang false positive

    • Saya juga menunggu itu
      Saya paham mereka ingin menanganinya dulu sebelum dipublikasikan, tetapi kalau terus-menerus melihat klaim dengan data yang nyaris tidak ada, saya tidak tahu bagaimana mereka berharap orang tidak bersikap skeptis. Profesional keamanan memang secara harfiah dibayar untuk bersikap skeptis

  • Saya penasaran apakah mereka membandingkannya dengan model lain. Banyak bagian tulisan ini terdengar seperti mereka baru pertama kali menerapkan AI ke keamanan lalu kaget dengan performa konyol dari mesin pencocokan pola
    Ya wajar saja, karena memang itu mesin pencocokan pola

  • Bagian model yang melawan itu cukup lucu. Ketika saya mencobanya sendiri, sebelum melanjutkan ia meminta bukti bahwa saya punya hak akses yang sah ke codebase tersebut

  • Pernyataan “yang berubah di Mythos Preview adalah model ini kini bisa merangkai bug berkeparahan rendah yang secara tradisional tidak terlihat di backlog menjadi satu exploit yang lebih serius” tampaknya cukup sejalan dengan pengujian independen lain atas Mythos
    Model ini sangat bagus dalam tugas agentic yang panjang, dan kemungkinan memang dilatih untuk itu. Untuk bisa begitu, model harus mampu menemukan hubungan periferal antara topik-topik yang terkait longgar di dalam context window
    [1] Yang saya maksud terutama adalah https://www.aisi.gov.uk/blog/our-evaluation-of-claude-mythos...