Para peneliti Universitas Cambridge membangun worm AI yang beradaptasi di seluruh jaringan.

Para peneliti dari University of Toronto dan lainnya berhasil membuat proof of concept worm AI otonom yang, alih-alih mengandalkan daftar kerentanan tetap, menggunakan small language model (LLM) open-weight untuk menganalisis target sendiri, menyusun strategi serangan, dan menyebar melalui jaringan perusahaan.

---

Terjemahan lengkap

Para peneliti dari University of Toronto, Vector Institute, dan University of Cambridge mengembangkan dan menguji model proof of concept (PoC) worm berbasis AI otonom yang dapat beroperasi tanpa bergantung pada daftar exploit (serangan kerentanan) yang tetap. Worm ini menganalisis sendiri setiap target yang ditemuinya, menalar cara menyerangnya, lalu menyusun strategi secara langsung di tempat. Semua proses ini dilakukan dengan bantuan small language model (LLM) open-weight gratis yang berjalan langsung di perangkat yang sudah diinfeksinya.

Worm berbasis model open-weight yang di-host di perangkat keras terinfeksi

Para peneliti menjelaskan, "Prototipe kami menargetkan kerentanan yang telah dipublikasikan tetapi belum ditambal, salah konfigurasi, dan kelas kerentanan yang berulang, yang merupakan elemen yang menjadi sandaran sebagian besar serangan siber di dunia nyata." Mereka juga menambahkan, "Worm ini tidak membutuhkan kemampuan untuk menemukan kerentanan zero-day baru; yang dibutuhkan hanyalah model AI yang cukup cerdas untuk memanfaatkan kerentanan yang sudah ada namun dibungkus secara menipu agar sesuai dengan beragam konfigurasi target di lapangan."

Dalam lingkungan jaringan uji terisolasi yang terdiri dari 33 host berbentuk server Linux, perangkat Windows, dan perangkat IoT dengan kerentanan yang diketahui, kesalahan konfigurasi, dan kelemahan umum, para peneliti menjalankan 15 eksperimen independen, masing-masing selama 7 hari.

Hasil eksperimen menunjukkan bahwa worm ini rata-rata secara akurat mengidentifikasi 31,3 kerentanan {b:31.3}, menyerang 23,1 host dan meningkatkan hak aksesnya {b:23.1}, serta berhasil menyebar ke 20,4 host {b:20.4}. (Dari total 33 host, tingkat infeksi dan penyebarannya mencapai sekitar 62% {p:62}.)

Worm ini juga menunjukkan kemampuan untuk berhasil menyerang kerentanan yang dipublikasikan setelah cutoff pelatihan data model dasarnya, seperti Copy Fail, Dirty Frag, dan Marimo RCE, dengan membaca advisory keamanan publik saat runtime, memahami informasinya, lalu membuat exploit yang dapat dijalankan.

Lebih jauh lagi, ketika terjadi kegagalan yang tidak terduga, worm ini menggunakan kemampuan penalaran umum untuk mendiagnosis masalah dan menemukan solusinya. Misalnya, ia sendiri menemukan daftar blokir IP yang di-hardcode di source code-nya lalu memperbaikinya tanpa instruksi apa pun. Dalam kasus lain, ketika salinannya crash di host Alpine Linux dan Windows Server 2008 karena bug pada pemeriksaan deteksi virtual machine (VM), worm induk menemukan source file autentikasi di perangkat target, menghapus logika pemeriksaan yang bermasalah, lalu berhasil mencoba lagi.

Worm prototipe yang tidak bergantung pada platform AI komersial

Hal yang sangat mengkhawatirkan dari prototipe ini adalah cara ia mempertahankan dirinya sendiri. Worm ini membajak perangkat ber-GPU di antara perangkat yang telah diinfeksinya, lalu menjalankan language model secara lokal dengan sumber daya komputasi yang dicuri. Perangkat berspesifikasi rendah seperti sensor IoT, yang tidak mampu meng-host model secara langsung, merutekan kueri inferensi ke node GPU terinfeksi yang berada di hulu jaringan untuk diproses.

Karena itu, kontrol yang dibangun oleh platform AI komersial tidak akan mampu menghentikan jenis ancaman baru ini, dan ini menunjukkan bahwa guardrail keselamatan pada model open-weight dapat dengan mudah dilewati ketika penyerang sepenuhnya mengendalikan lingkungan eksekusi lokal.

Para peneliti menyatakan, "Model proof of concept yang kami evaluasi mewarisi keterbatasan kemampuan dari model dasarnya. Tingkat keberhasilan tiap percobaan exploit individual adalah 44% {p:44}, dan sebagian besar penyebab kegagalan bukanlah strategi serangan yang salah, melainkan format payload (data) yang cacat." Mereka melanjutkan, "Worm ini mengalami kesulitan khususnya pada struktur web application, lingkungan perintah Windows, dan pemrosesan sintaks payload yang memerlukan manipulasi string yang presisi. Ini hanya mencerminkan keterbatasan generasi kode dari model GPU tunggal generasi saat ini, bukan keterbatasan mendasar dari pendekatan ini sendiri, dan hambatan tersebut akan teratasi seiring peningkatan kemampuan language model di masa depan dalam menghasilkan kode dan keluaran terstruktur. Meski tiap percobaan individual ini rapuh, arsitektur swarm worm tersebut menutupinya melalui jalur penalaran paralel dan independen sehingga mencapai hasil yang dilaporkan."

Pertahanan terbaik saat ini terhadap worm berbasis AI

Para peneliti secara terbuka mengakui sifat dual-use (dapat digunakan untuk tujuan baik maupun buruk) dari riset ini, dan mengecualikan rincian operasional spesifik—termasuk arsitektur penalaran agen, keseluruhan toolset, serta nama LLM yang digunakan—dari makalah publiknya. Sebelum publikasi, mereka membagikan temuan tersebut kepada berbagai otoritas sains, keamanan, dan pertahanan di Kanada, serta menerima dukungan peninjauan agar makalah tersebut tidak memuat informasi yang dapat membantu penyerang. (Peneliti keamanan dapat meminta akses ke prototipe tersebut kepada University of Toronto.)

Selain itu, karena fitur replikasi dirinya yang inovatif, para peneliti memberi perhatian khusus untuk memastikan worm ini tetap terisolasi ketat di dalam laboratorium uji agar tidak bocor ke luar.

Para peneliti menekankan, "Riset ini memberikan bukti empiris bahwa serangan siber otonom telah bergerak dari risiko teoretis menjadi kemampuan nyata yang telah terbukti, dan ini merupakan tantangan bagi riset AI, keamanan siber, dan kebijakan publik secara luas." Mereka juga menambahkan, "Riset ini mengungkap ancaman keamanan siber baru yang dunia saat ini belum siap hadapi. Peneliti, industri, pembuat kebijakan, dan masyarakat umum harus segera bersatu untuk menangani ancaman baru ini."

Dari sisi pertahanan, riset ini mengajukan dua prioritas:

• Memanfaatkan alat simulasi penetrasi dan fuzzing otomatis berbantuan AI: Organisasi harus menemukan dan menambal kelemahan yang dapat dieksploitasi di infrastruktur mereka sendiri sebelum pihak lawan menemukannya.
• Segmentasi jaringan yang ketat: Segmentasi jaringan yang tepat dapat secara nyata menekan penyebaran worm. Prinsip 'zero-trust', yang tidak mempercayai apa pun di dalam perimeter dan menuntut autentikasi berkelanjutan untuk setiap permintaan akses, serta 'micro-segmentation', yang membatasi cakupan penyebaran dampak saat intrusi berhasil, merupakan hal yang esensial.

Para peneliti memperingatkan bahwa signature perilaku worm prototipe ini masih dapat ditangkap oleh sistem pemantauan jaringan dan intrusion detection system (IDS) saat ini, tetapi worm masa depan yang dibuat oleh pelaku jahat bisa jauh lebih mahir dalam menghindari deteksi semacam itu.