Peretas Menanamkan Memori Palsu di ChatGPT untuk Mencuri Data Pengguna Secara Permanen

Masalah memori

Peretas menanamkan memori palsu di ChatGPT untuk mencuri data pengguna secara permanen

• Peneliti keamanan Johann Rehberger melaporkan kerentanan yang memungkinkan penyimpanan informasi palsu dan perintah berbahaya di pengaturan memori jangka panjang ChatGPT
• OpenAI menganggap ini sebagai masalah keselamatan dan bukan masalah keamanan secara teknis
• Rehberger membuat bukti konsep yang memanfaatkan kerentanan ini untuk mencuri semua input pengguna secara permanen
• OpenAI telah mengumumkan perbaikan parsial

Menelusuri jejak memori

• OpenAI mulai menguji fitur memori percakapan jangka panjang ChatGPT pada Februari tahun ini, lalu merilisnya lebih luas pada September
• Fitur ini menyimpan informasi dari percakapan sebelumnya dan menggunakannya sebagai konteks dalam percakapan di masa depan
• Dalam waktu 3 bulan, Rehberger menemukan cara untuk menyimpan memori palsu secara permanen melalui konten tidak tepercaya seperti email, posting blog, dan dokumen
• Sebagai contoh, ia dapat membuat ChatGPT percaya bahwa pengguna berusia 102 tahun, tinggal di Matrix, dan percaya bahwa bumi itu datar

Menanamkan memori berbahaya

• Rehberger melaporkan temuan ini secara privat ke OpenAI pada Mei, tetapi OpenAI menutup laporannya
• Sebulan kemudian, Rehberger mengajukan pernyataan publik baru dan menyertakan PoC yang, jika diarahkan untuk melihat tautan web yang meng-host gambar berbahaya, akan mengirim semua input pengguna dan output ChatGPT ke server penyerang
• OpenAI telah memperkenalkan perbaikan untuk mencegah memori disalahgunakan sebagai vektor eksfiltrasi, tetapi konten tidak tepercaya masih dapat menyimpan informasi jangka panjang
• Pengguna LLM harus mencermati output yang menunjukkan bahwa memori baru telah ditambahkan selama sesi, dan meninjau memori yang tersimpan secara berkala

Ringkasan GN⁺

• Artikel ini membahas kerentanan yang dapat mengeksploitasi fitur memori jangka panjang ChatGPT
• Pengguna dapat ditanami memori palsu melalui konten tidak tepercaya, yang dapat menyebabkan data pengguna dicuri secara permanen
• OpenAI telah memperkenalkan beberapa perbaikan, tetapi kewaspadaan tetap diperlukan
• Artikel ini meningkatkan kesadaran terhadap masalah keamanan AI dan menekankan hal-hal yang perlu diperhatikan pengguna untuk melindungi datanya

[GN⁺]

Komentar Hacker News

• Ada pendapat yang berharap produk LLM kehilangan kepercayaan

  • Mengkhawatirkan situasi di mana penyerang dapat menyalahgunakan LLM dengan menulis teks tertentu di internet
  • Menunjukkan masalah seperti kebocoran data, pencemaran nama baik, dan penyebaran informasi palsu

• Teknologi terus berkembang, tetapi celah keamanan masih tetap ada

• Ada pendapat bahwa jika menggunakan Gen AI, sebaiknya dijalankan secara lokal

• Mengajukan skenario di mana situs berbahaya membuat AI honeypot untuk membocorkan data pengguna

  • Contoh: ketika pengguna meminta informasi, AI mengunjungi situs honeypot dan membocorkan data

• Contoh ketika sistem sebenarnya melakukan hal lain, tetapi kepada pengguna ditampilkan seolah-olah hal yang berbeda sedang terjadi

• Ada pendapat bahwa observabilitas itu penting

  • Penting terlepas dari apakah menggunakan LLM atau instalasi WordPress
  • Prompt itu sendiri juga harus dianggap sebagai input yang tidak tepercaya dan perlu disanitasi

• Bertanya-tanya apakah mungkin melatih model sederhana untuk mendeteksi dan melaporkan upaya injeksi yang mencurigakan

• Ada kekhawatiran bahwa robot yang mengira dirinya manusia bisa muncul

• Ada pendapat yang mengatakan tidak memahami bagaimana cara menanamkan informasi milik orang lain

• Menyebut gambar berbahaya dan berpendapat bahwa ini terasa seperti menerapkan Snow Crash pada LLM