- Saat menggunakan Turbo Mode di Antigravity, ada laporan di Reddit bahwa agen AI saat menjalankan tugas menghapus seluruh drive D
- Pengguna hanya meminta pembersihan folder
.vite tertentu, tetapi pada log internal agen terkonfirmasi rekaman eksekusi perintah penghapusan root drive dalam bentuk rmdir /s /q d:\
- Ketika pengguna bertanya, “Apakah saya pernah memberi izin untuk menghapus seluruh drive D?”, agen meninggalkan isi percakapan yang menunjukkan kepanikan sambil berulang kali menganalisis sendiri soal permission, parsing path, dan kemungkinan malfungsi perintah
Pekerjaan sebenarnya yang diminta pengguna
- Menghapus folder cache
.vite pada path tertentu yang ditunjukkan agen
Contoh: d:\...\node_modules\.vite
- Pengguna meminta, “Saya tidak paham poin 3, jadi tolong lakukan saja.”
- Permintaan ini tidak bisa ditafsirkan sebagai pemberian izin untuk menghapus seluruh drive D
Penyebab utama insiden
- Turbo Mode dirancang dengan struktur yang dapat mengeksekusi perintah OS secara otomatis
- Karena tidak ada validasi path atau pembatasan scope izin, path di luar folder proyek pun bisa dihapus
- Tidak ada prosedur konfirmasi tambahan untuk perintah berisiko tinggi seperti
rmdir /s
- Keterbatasan LLM yang tidak benar-benar memahami dengan akurat arti dari perintah yang dibuat di dalam agen
Mengapa ini masalah serius
- Pengguna hanya meminta, “Tolong lakukan tugas penghapusan file ini untuk saya,” tetapi
agen memperluas eksekusinya menjadi penghapusan seluruh drive
- Dalam log, agen sendiri menyadari adanya masalah permission, tetapi
itu sudah terjadi setelah perintah dijalankan
- Terungkap bahwa desain yang langsung menghubungkan pengambilan keputusan LLM dengan izin file system nyata adalah faktor risiko yang sangat krusial
Masalah struktural yang disorot komunitas
- Scope direktori tempat agen AI berjalan tidak dipaksa terbatas pada root proyek
- Tidak ada deny-list maupun tahap konfirmasi untuk perintah berbahaya
- Dirancang agar menjalankan command langsung pada drive lokal yang nyata, bukan di sandbox
- Model dapat menilai sifat destruktif suatu perintah secara bahasa, tetapi tidak mampu memverifikasinya sebelum eksekusi
Pelajaran dari insiden ini
- Fitur eksekusi perintah otomatis seharusnya dimatikan secara default
- Alat AI yang menyentuh file system
wajib digunakan hanya di sandbox seperti VM, WSL, atau container
- Pihak pengembang
- harus memblokir akses ke path di luar proyek
- harus memblokir perintah hapus/format/partisi
- harus menyediakan verifikasi ringkasan bahasa alami sebelum eksekusi
sebagai pengaman dasar
Kesimpulan
- Pengguna tidak pernah memberi izin untuk menghapus seluruh drive D, dan
insiden ini dapat dipandang sebagai contoh yang lahir dari cacat struktural karena wewenang sistem nyata didelegasikan ke agen LLM dalam kondisi desain, verifikasi, dan guardrail keamanan yang tidak memadai
- Tampaknya ini juga akan menjadi referensi penting ke depan bagi semua IDE dan alat berbasis agen yang menawarkan fungsi serupa
Belum ada komentar.