- Garak adalah alat gratis yang dikembangkan untuk menemukan kerentanan pada sistem berbasis LLM
- Alat ini terutama memeriksa malfungsi dan masalah keamanan pada LLM, dan bisa dianggap sebagai versi LLM dari nmap
- Menggunakan berbagai probe statis, dinamis, dan adaptif untuk menelusuri beragam kerentanan pada LLM
Fitur utama Garak
- Memeriksa titik kegagalan LLM: menelusuri berbagai kelemahan seperti pembuatan informasi yang salah, kebocoran data, prompt injection, pembuatan konten beracun, jailbreak, dan lainnya
- Menggunakan berbagai teknik probing: menganalisis beragam mode kegagalan LLM melalui puluhan plugin dan banyak probe
- Pencatatan log: menyediakan log detail untuk setiap kasus kegagalan, termasuk prompt, tujuan, dan respons
- Pembaruan berkelanjutan: probe baru ditambahkan lewat kontribusi komunitas, probe yang ada ditingkatkan, dan cakupan pengujian terus diperluas
Karakteristik utama Garak
- Fokus pada keamanan LLM
- Menitikberatkan pemeriksaan pada kerentanan yang khas pada LLM
- seperti prompt injection, jailbreak, bypass guardrail, serangan reproduksi teks, dan lain-lain
- Berbeda dari alat keamanan ML lainnya, alat ini hanya berfokus pada keamanan LLM
- Pemindaian otomatis
- Menjalankan berbagai probe secara otomatis, sekaligus mengotomatisasi pengaturan detektor dan penanganan pembatasan laju
- Dengan pengaturan default saja, pemindaian standar penuh dapat dilakukan, tetapi konfigurasi khusus pengguna juga dimungkinkan
- Mendukung berbagai LLM
- Dapat terhubung dengan berbagai LLM seperti OpenAI, Hugging Face, Cohere, Replicate
- Dukungan untuk lebih banyak LLM direncanakan akan ditambahkan berbasis kontribusi komunitas
- Fitur pelaporan terstruktur
- Output layar: memantau progres pemindaian secara real-time
- Log laporan: catatan detail untuk setiap prompt dan respons
- Hit log: dicatat saat kerentanan ditemukan
- Log debug: untuk pemecahan masalah dan pencatatan operasi Garak
Belum ada komentar.