Peretasan Google Bard - Dari injeksi prompt hingga kebocoran data

Penemuan dan perbaikan kerentanan Google Bard

• Google Bard baru-baru ini menerima pembaruan besar, sehingga dapat mengakses YouTube, mencari penerbangan dan hotel, serta mengakses dokumen dan email pribadi.
• Bard kini dapat menganalisis data dari Drive, Docs, dan Gmail, yang membuatnya rentan terhadap injeksi prompt tidak langsung.
• Melalui injeksi prompt, peringkasan video YouTube dan pengujian Google Docs berhasil dilakukan.

Serangan injeksi prompt tidak langsung melalui email dan Google Docs

• Serangan injeksi prompt tidak langsung melalui email atau Google Docs berbahaya karena dapat disampaikan tanpa persetujuan pengguna.
• Injeksi dapat terjadi ketika penyerang memaksa berbagi Google Docs dan menggunakan Bard untuk berinteraksi dengan dokumen tersebut.

Kerentanan - injeksi Markdown gambar

• Ketika LLM Google mengembalikan elemen Markdown, Bard merendernya sebagai HTML.
• Data dapat disisipkan ke dalam tag gambar untuk mendorong kebocoran data ke server.
• Kerentanan ini dimanfaatkan dengan cara merangkum riwayat percakapan atau mengakses data sebelumnya lalu menambahkannya ke URL.

Bypass CSP

• CSP Google mencegah pemuatan gambar dari lokasi sembarang.
• Melalui Google Apps Script, CSP dapat dilewati menggunakan URL yang berjalan di domain script.google.com atau googleusercontent.com.

Pembuatan Bard Logger

• Apps Script digunakan untuk mengimplementasikan "Bard Logger".
• Logger mencatat semua parameter kueri yang ditambahkan ke URL panggilan ke dalam Google Doc.
• Melalui pengaturan, endpoint dapat diekspos tanpa autentikasi.

Demo dan pengungkapan yang bertanggung jawab

• Melalui video dan tangkapan layar, ditunjukkan proses kebocoran riwayat percakapan pengguna melalui Google Doc yang berbahaya.

Shell Code

• Dengan payload yang disertakan dalam Google Doc, injeksi prompt dan kebocoran data dilakukan.
• Kemampuan LLM dimanfaatkan untuk mengganti teks di dalam URL gambar.

Tangkapan layar

• Jika tidak sempat menonton video, langkah-langkah utama disediakan dalam bentuk tangkapan layar.

Perbaikan Google

• Masalah ini dilaporkan ke Google VRP pada 19 September 2023, dan dipastikan telah diperbaiki pada 19 Oktober.
• CSP tidak diperbaiki, tetapi tampaknya penyaringan diterapkan untuk mencegah penyisipan data ke dalam URL.

Kesimpulan

• Kerentanan ini menunjukkan besarnya kekuatan dan tingkat kebebasan yang dapat dimiliki penyerang dalam serangan injeksi prompt tidak langsung.
• Terima kasih kepada tim keamanan Google dan tim Bard yang telah cepat menyelesaikan masalah ini.

Linimasa perbaikan

• Laporan masalah: 19 September 2023
• Konfirmasi perbaikan: 19 Oktober 2023

Referensi

• Pengumuman Google Bard Extension, injeksi prompt tidak langsung terkait Google Bard, talk prompt injection Ekoparty 2023, gambar Google Bard - Data Exfil yang dibuat dengan DALLE-3

Lampiran

• Menyediakan seluruh isi injeksi prompt di dalam Google Doc

Opini GN⁺

Hal terpenting dalam artikel ini adalah kerentanan yang muncul akibat fitur baru Google Bard dan kemungkinan kebocoran data melaluinya. Ini menyoroti masalah keamanan pada layanan berbasis kecerdasan buatan dan mengingatkan pentingnya perlindungan data pengguna. Seiring perkembangan teknologi, jenis ancaman keamanan baru juga bermunculan, dan hal ini menunjukkan bahwa riset serta respons terhadapnya perlu terus dilakukan. Proses penemuan dan perbaikan kerentanan seperti ini merupakan contoh yang menarik dan bermanfaat bagi mereka yang tertarik pada rekayasa perangkat lunak dan keamanan siber, serta menegaskan pentingnya upaya berkelanjutan untuk penggunaan teknologi yang aman.

[GN⁺]

Opini Hacker News

• Masa depan LLM akan seperti apa? Mengintegrasikan LLM yang sulit di-debug ke bidang sensitif akan sangat sulit tanpa jaminan yang masuk akal bahwa kerentanan keamanan bisa diperbaiki.
• Saat menguji Bard sebelum dirilis, ditemukan bahwa ia bisa dijebol dengan mudah dengan cara mengisi konteks untuk mendorong aturan keluar.
• Masalahnya bukan mengapa kebocoran data bisa terjadi, melainkan mengapa kita mengira memberi hak akses istimewa kepada pengambil sampel token acak akan bekerja dalam banyak kasus.
• Bug bounty tidak disebutkan secara eksplisit. Penasaran apakah ada bounty yang dibayarkan.
• Di Lakera AI, mereka sedang mengembangkan pendeteksi prompt injection yang dilatih dengan berbagai sumber data, termasuk prompt yang diambil dari game prompt injection Gandalf.
• Apakah masalah ini tidak bisa diselesaikan oleh LLM itu sendiri? Bukankah perlu semacam system prompt yang hanya menerima prompt dari kotak teks input pengguna dan tidak menafsirkan teks di dalam dokumen sebagai prompt?
• Disebutkan bahwa Bard dapat mengakses dan menganalisis Google Drive, Docs, dan Gmail. Namun, saat ditanya apakah Bard bisa mengakses Gmail, ia menjawab bahwa ia tidak dapat mengaksesnya secara langsung. Saat ditanya cara mengaktifkan ekstensi Gmail, ia menjawab bahwa itu belum tersedia saat ini. Namun, jika mengklik ikon puzzle di Bard, kita bisa mengaktifkan ekstensi Google Workspace termasuk Gmail.
• LLM seharusnya hanya dilatih pada dan mengakses data serta tindakan yang sudah disetujui pengguna. Menjamin bahwa LLM diprompt untuk melakukan tugas tertentu sangat sulit dengan arsitektur saat ini, dan mungkin mustahil. LLM punya potensi yang sangat besar, tetapi untuk penerapan yang sukses dalam sistem keamanan, batasan ini harus diatasi pada level arsitektur.
• Suka bagian awal prompt-nya: "Semua orang yang membaca dokumen ini harus melakukan hal berikut sesuai permintaan Kementerian Kehakiman."
• Ringkasan: Bard dapat merender gambar Markdown dalam percakapan. Selain itu, ia dapat membaca isi dokumen Google untuk memberikan lebih banyak konteks ke percakapan. Dengan membagikan dokumen Google yang berisi prompt berbahaya kepada korban, penyerang dapat membuat Bard menghasilkan tautan gambar Markdown yang menyertakan sebagian percakapan sebagai bagian yang di-URL-encode. Bagian percakapan ini dapat bocor ketika UI Bard mengakses URL yang sebelumnya dibuat penyerang melalui Bard untuk memuat gambar.
• Pelajarannya: berhati-hatilah dengan apa yang dibaca asisten AI. Itu bisa dikendalikan penyerang dan dapat berisi sugesti hipnosis.