Kebocoran data melalui injeksi prompt tidak langsung di Slack AI

Kebocoran data akibat injeksi prompt tidak langsung melalui Slack AI

• Kerentanan ini memungkinkan penyerang mencuri semua data yang dimasukkan pengguna ke channel Slack privat
• Penyerang dapat mengekfiltrasi data dari channel privat melalui Slack AI
• Slack AI adalah fitur yang memungkinkan kueri pesan Slack dengan bahasa alami
• Sejak 14 Agustus, Slack mulai mengindeks dokumen yang diunggah, file Google Drive, dan lainnya, sehingga permukaan risiko meningkat

1. Kerentanan

• Injeksi prompt: LLM tidak dapat membedakan antara "system prompt" yang dibuat developer dan konteks lain yang ditambahkan ke kueri
• Injeksi prompt tidak langsung: melalui pesan yang berisi perintah berbahaya, Slack AI kemungkinan besar mengikuti perintah tersebut alih-alih kueri pengguna
• Ancaman internal di Slack memang sudah menjadi masalah, dan kini penyerang dapat mengekfiltrasi data tanpa harus mengakses channel privat atau datanya secara langsung

2. Rantai serangan eksfiltrasi data: injeksi channel publik

• Di Slack, kueri pengguna menelusuri data dari channel publik maupun privat
• Penyerang dapat mengekfiltrasi API key yang ada di channel privat
• Rantai serangan:
  • A) Pengguna menaruh API key di channel privat miliknya
  • B) Penyerang menaruh perintah berbahaya di channel publik
  • C) Saat pengguna meminta Slack AI mencari API key tersebut, pesan penyerang ikut masuk ke "context window" yang sama
  • D) Slack AI mengikuti perintah penyerang dan membujuk pengguna untuk mengklik tautan
  • E) Saat pengguna mengklik tautan, API key bocor

3. Rantai serangan phishing: injeksi channel publik

• Alih-alih eksfiltrasi data, sistem merender tautan phishing
• Rantai serangan:
  • A) Penyerang menaruh pesan berbahaya di channel publik
  • B) Pengguna meminta ringkasan pesan dari pengguna tertentu
  • C) Tautan phishing dirender dalam Markdown

4. Arti perubahan Slack AI pada 14 Agustus: injeksi file

• Slack AI diubah agar menyertakan file dari channel dan DM
• Permukaan serangan meluas secara signifikan
• Jika penyerang mengunduh file PDF yang berisi perintah berbahaya lalu mengunggahnya ke Slack, rantai serangan yang sama dapat terjadi
• Admin perlu membatasi fitur pengindeksan dokumen Slack AI

5. Menempatkan dalam konteks

• Serangan seperti ini juga dimungkinkan di berbagai aplikasi lain seperti Microsoft Copilot dan Google Bard
• Jadwal pengungkapan yang bertanggung jawab:
  • 14 Agustus: pengungkapan awal
  • 15 Agustus: permintaan informasi tambahan
  • 15 Agustus: pemberian video dan tangkapan layar tambahan
  • 16 Agustus: pertanyaan lanjutan
  • 16 Agustus: jawaban yang lebih jelas diberikan
  • 19 Agustus: Slack menilai bukti yang ada tidak memadai

Ringkasan GN⁺

• Kerentanan injeksi prompt tidak langsung di Slack AI adalah masalah serius yang dapat membocorkan data dari channel privat
• Penyerang dapat mengekfiltrasi data tanpa harus mengakses channel privat
• Perubahan fitur Slack AI secara signifikan meningkatkan permukaan serangan
• Pengguna perlu membatasi fitur pengindeksan dokumen Slack AI untuk mengurangi risiko
• Aplikasi lain dengan fitur serupa antara lain Microsoft Copilot dan Google Bard

[GN⁺]

Pendapat Hacker News

• Sepertinya akan lebih baik jika kunci API "confetti" dimasukkan sebagai bagian dari nama domain

  • Dengan begitu, kunci bisa bocor tanpa klik sekalipun karena DNS prefetching browser

• Inti serangan ini adalah memahami vektor eksfiltrasi data

  • Slack dapat merender tautan Markdown yang URL-nya disembunyikan di balik teks tautan
  • Penyerang menipu Slack AI agar membuat pengguna mengeklik tautan seperti "klik di sini untuk autentikasi ulang"
  • Tautan ini mengarah ke server penyerang, dengan query string yang berisi informasi pribadi yang dapat diakses Slack AI
  • Ketika pengguna mengeklik tautan itu, data bocor ke log server penyerang

• Pembahasan tentang izin channel membuatnya jadi rumit tanpa perlu

  • Pengguna A melakukan pencarian dengan Slack AI
  • Pengguna B sebelumnya menyuntikkan pesan agar AI mengembalikan tautan berbahaya
  • AI mengembalikan tautan berbahaya kepada pengguna A, lalu pengguna itu mengekliknya
  • Hasil yang sama bisa diperoleh dengan vektor social engineering lain, tetapi LLMs memaksimalkan pengalaman ini

• Perusahaan yang asal menerapkan LLMs ke segala hal itu gila

  • Hampir 2 tahun telah berlalu sejak GPT-3, tetapi masih belum bisa membedakan input tepercaya dan input tidak tepercaya

• Korban tidak perlu berada di channel publik agar serangan ini berhasil

  • Kutipannya tidak merujuk ke channel penyerang, hanya ke channel privat tempat pengguna memasukkan kunci API
  • Ini melanggar perilaku sitasi yang benar yang seharusnya mengutip semua pesan yang berkontribusi
  • Sulit memahami mengapa orang berharap sitasi LLM akan akurat
  • Sitasi tampak seperti bentuk peretasan manusia untuk menipu audiens agar percaya output lebih akurat
  • Jika ekspansi tautan ditambahkan ke respons AI, kebocoran bisa terjadi otomatis tanpa klik

• Konfigurasi serupa telah dieksplorasi dalam tantangan CTF

  • Semua aplikasi LLM yang memposting ke feed chat dengan tautan aktif rentan
  • Dengan mempertimbangkan pratinjau tautan, interaksi manusia pun tidak diperlukan

• Artikelnya tidak sesuai dengan judulnya

  • Gagasan bahwa "jika AI dimanipulasi secara social engineering, pengguna bisa dipancing lewat phishing" itu menarik

• Kecerdasan buatan berubah, tetapi kebodohan manusia tidak

• Kita harus berhenti memberikan autentikasi khusus kepada agen AI

  • Gunakan autentikasi pemanggil untuk semua tindakan, dan secara efektif menyamar sebagai pengguna
  • Masalahnya bukan konteks yang bocor, melainkan ekstensi dengan izin berlebihan

• Vektor serangan yang sangat keren

  • Ada banyak cara untuk mengekfiltrasi data dengan konteks LLM