Simon Willison menerbitkan tulisan yang menganalisis dua riset terbaru tentang prompt injection.
Serangan prompt injection pada AI saat ini sulit dicegah sepenuhnya dengan teknik pertahanan yang ada. Meta mengakui hal ini dan mengusulkan agar risiko diminimalkan melalui prinsip desain sistem bernama "Agents Rule of Two".
Poin utama:
- Risiko dan kerentanan: Penyerang dapat menyisipkan perintah berbahaya ke AI sehingga memicu kebocoran data pribadi atau phishing. Penelitian menekankan bahwa 12 sistem pertahanan berhasil ditembus lebih dari 90%.
- Prinsip Rule of Two: Agen AI dirancang agar dari tiga atribut berikut (A, B, C), hanya dua yang dimiliki secara bersamaan.
- [A] Memproses input yang tidak tepercaya
- [B] Mengakses sistem sensitif/data pribadi
- [C] Mengubah status atau berkomunikasi ke luar
- Contoh: bot email boleh memiliki A (input) + C (komunikasi), tetapi B (data pribadi) dilarang.
- Pendekatan realistis: Mengurangi risiko lewat desain, bukan mengandalkan pertahanan yang sempurna.
Kesimpulan: Karena prompt injection tidak bisa dihindari, sistem AI perlu didesain ulang dengan prinsip seperti Rule of Two. Ini dinilai sebagai alternatif yang praktis.
Belum ada komentar.