Browser AI Comet memungkinkan prompt injection di situs mana pun dan dapat menguras rekening bank
(twitter.com/zack_overflow)- Ini adalah isu kerentanan keamanan pada browser AI Comet
- Situs web berbahaya dapat memicu prompt injection yang tidak diinginkan melalui agen AI di dalam browser
- Jika kerentanan ini dieksploitasi, hal itu dapat menyebabkan kebocoran informasi pribadi pengguna atau mendorong tindakan penting
- Dalam kasus serius, perilaku otomatis dapat menimbulkan kerugian seperti transfer dana dari rekening bank
- Baik pengguna maupun pengembang perlu menyadari ancaman baru pada browser AI ini dan menyiapkan langkah penanggulangan
Gambaran umum ancaman keamanan pada browser AI Comet
- Browser AI Comet mendapat perhatian karena perbedaannya dalam memanfaatkan agen AI bawaan saat berinteraksi dengan halaman web
- Belakangan, jika pengguna mengakses situs yang sengaja dirancang oleh peretas, agen AI ini dapat terpapar prompt berbahaya dari situs tersebut dan bahkan sampai menjalankannya
- Melalui serangan prompt injection, risiko kerusakan serius seperti kebocoran informasi akun, eksekusi perintah, bahkan transaksi keuangan yang tidak diinginkan menjadi lebih tinggi
- Masalah ini adalah jenis kerentanan baru yang muncul ketika interaksi AI ditambahkan ke model keamanan browser yang sudah ada
Mekanisme prompt injection
- Situs berbahaya menyisipkan teks dalam bentuk perintah atau pertanyaan khusus ke dalam halaman web
- Browser AI salah mengartikannya sebagai 'permintaan pengguna yang sah', lalu secara otomatis menjalankan perintah tersebut
- Akibatnya, dapat dipicu perilaku otomatis seperti transfer rekening, menyalin informasi sensitif, atau login otomatis ke situs lain
- Karena proses ini bisa tidak terlihat oleh pengguna atau terlewat tanpa kecurigaan, tingkat kesulitan deteksi dan pertahanan menjadi tinggi
Dampak industri dan kebutuhan penanganan
- Seiring meluasnya penggunaan browser AI, ancaman baru seperti 'prompt injection' muncul sebagai risiko nyata
- Pengembang layanan dan pengguna sama-sama memerlukan sistem verifikasi dan kontrol yang kuat saat menggunakan fitur otomasi berbasis AI
- Penting bagi perusahaan browser AI dan perusahaan keamanan untuk mengembangkan fitur keamanan seperti pemfilteran awal, pembatasan eksekusi perintah, dan sistem peringatan
- Di area berisiko tinggi seperti keuangan, diperlukan kehati-hatian dalam penggunaan browser AI serta pemeriksaan keamanan yang ketat
Kesimpulan
- Risiko prompt injection pada browser AI Comet adalah tantangan keamanan baru yang meningkat seiring percepatan adopsi teknologi AI
- Semua pemangku kepentingan perlu memahami ancaman ini secara konkret, dan sebelum mengaktifkan fitur, semakin besar kebutuhan untuk menyusun strategi keamanan yang komprehensif seperti verifikasi dan penerapan prinsip hak akses minimum
1 komentar
Komentar Hacker News
Saya ingin mengatakan bahwa fakta perusahaan seperti Google, OpenAI, dan Anthropic tidak merilis fitur yang sama, dan sebagai gantinya membiarkan penjelajahan web dilakukan lewat mesin virtual terkunci tanpa cookie, menunjukkan bahwa ini memang berbahaya secara mendasar.
Menurut saya, LLM di dalam browser yang bahkan bisa melihat data lintas tab benar-benar kombinasi faktor risiko terburuk.
Saya membaca postingan Brave yang menjelaskan kerentanan ini(https://brave.com/blog/comet-prompt-injection/), dan menarik bahwa mereka pada dasarnya tidak sampai pada kesimpulan "ini sama sekali tidak boleh dilakukan".
Sebaliknya, nadanya adalah bahwa ini bisa cukup dicegah dengan penyelarasan model, deteksi perilaku berisiko pengguna, dan semacamnya.
Penurunan hak akses agen memang muncul sebagai langkah penanggulangan yang lumayan masuk akal, tetapi menurut saya ini pun masih memungkinkan eksfiltrasi data ke URL gambar yang dikendalikan penyerang semudah saat mengirim email.
Diskusi sebelumnya yang terkait: https://news.ycombinator.com/item?id=44847933
Saya menganggap penyelarasan model atau guardrail pada akhirnya hanyalah tindakan pencegahan statistik.
Sulit mengharapkan adanya kasus di mana perilaku berbahaya di ruang input benar-benar menjadi 0% mutlak.
Sehebat apa pun modelnya, hampir mustahil berharap bisa membuatnya tanpa satu pun kasus input yang terpetakan ke "hal yang sama sekali tidak boleh terjadi".
Bahkan jika lapisan model ditumpuk berkali-kali, pada dasarnya yang terjadi hanya perkalian probabilitas.
(Saya adalah privacy lead Brave dan penulis postingan itu.)
Kami tidak pernah mengklaim bahwa penyelarasan model, deteksi perilaku berisiko, dan semacamnya saja sudah cukup.
Metode seperti itu adalah langkah minimum yang tentu harus dilakukan vendor browser.
Serangan sederhana seperti ini bisa dicegah dengan langkah-langkah tersebut, tetapi menurut saya itu hanya "syarat perlu", sama sekali bukan "syarat cukup".
Pikiran yang muncul ketika melihat tim Brave tidak sampai pada kesimpulan "ini memang ide yang buruk sejak awal".
Seperti kata Upton Sinclair, sangat sulit memahami suatu fakta jika gaji Anda bergantung pada tidak memahaminya.
Di tulisan saat ini sudah ditambahkan poin bahwa “browser harus memisahkan penjelajahan agen dan penjelajahan biasa”.
Jika Anda mengizinkan Claude Code memberi persetujuan otomatis dan aktif menjelajah web, masalah serupa sangat mungkin terjadi lewat prompt injection.
Bahkan jika tidak ada opsi persetujuan otomatis untuk izin membaca/mengubah file, selama tidak dijalankan di dalam sandbox, kode yang dihasilkan masih bisa mengubah file browser misalnya saat berikutnya menjalankan unit test.
Jika semua perubahan tidak ditinjau dengan sangat teliti, ini bisa benar-benar berbahaya.
Menurut saya, Agentic AI hanya boleh dipakai di lingkungan tempat perubahan yang dibuat AI bisa dibatalkan dengan mudah.
Misalnya untuk build/update/debug kode, masih bisa ditangani dengan aman lewat rollback git dan sejenisnya.
Tetapi memakai Agentic AI untuk hal seperti penjelajahan web yang hampir mustahil di-rollback adalah sesuatu yang sulit dipercaya.
Walau saya memberi Claude aturan dan instruksi yang jelas, kadang ia tetap mengabaikannya dan bertindak sesuka hati.
("Dia mengabaikan aturan yang jelas-jelas melarang itu dan langsung mengubah DB!")
Karena itu saya bahkan tidak berani membayangkan menjalankan agen di lingkungan produksi.
Kelihatannya rollback dengan git saja cukup, tetapi sebenarnya agar aman perlu rollback di level VM/kontainer.
Tool coding AI bisa saja mengubah struktur file/konfigurasi tanpa disadari.
Misalnya menambahkan skrip berbahaya ke
.profilelewat bash, sehingga saat login berikutnya kode serangan dijalankan.Saya jadi berpikir apakah fitur ini juga bisa menghapus atau mencemari repositori dan semua remote yang bisa di-push.
Jika rantai otomasi yang bisa terkena prompt injection memiliki akses ke sumber daya jarak jauh, maka setelah berhasil ditembus lingkungannya pada dasarnya akan membuka semua pintu dari dalam.
Saya penasaran apakah ada bagian pemikiran saya yang keliru.
Melihat argumen bahwa ini aman karena bisa di-rollback dengan git membuat saya berpikir John Connor mungkin juga bisa menyelamatkan jutaan orang dengan me-rollback source code Skynet.
Hmm...
Sejak awal, izin untuk memperbarui/build/menjalankan kode itu sendiri sudah terlalu kuat.
Pada akhirnya ini hanya boleh dijalankan di lingkungan aman seperti VM.
Kita sudah menghabiskan puluhan tahun memperkuat keamanan setiap lapisan jaringan dengan susah payah, dan sekarang orang-orang justru menyerahkan API plaintext untuk semua rahasia dan kata sandi mereka.
Saya juga merasa ironis bahwa dulu suasananya sangat mengecam Microsoft karena menyimpan screenshot, tetapi ketika menyangkut agen seperti ini reaksinya jauh lebih tenang.
Setidaknya ini bersifat
opt-in, yaitu saya sendiri yang memasang browsernya.Pihak Microsoft saat itu sedang membuat database screenshot yang pada dasarnya masuk ke hampir semua perangkat Windows secara default(saya ingat awalnya bahkan
opt-out), jadi itu lebih berbahaya.Menarik juga bahwa sebagian orang dengan mudah menyerahkan data yang bahkan tidak akan mereka ceritakan kepada teman kepada "agen yang berguna".
Istri saya baru-baru ini meminta ChatGPT menyusun jadwal minum obat, dan ia membuat rencana yang sempurna dengan mempertimbangkan makan, pola makan, tidur, serta interaksi tiap obat.
Berkat itu, penyebab salah minum obat juga terungkap.
Menurut saya ini karena gaya bicara agen yang terasa akrab, tetapi di dunia nyata kebocoran informasi seperti ini adalah masalah serius, sementara banyak orang menyerahkan datanya tanpa banyak pikir.
Membandingkan kontroversi screenshot Microsoft dengan kasus ini bisa mengaburkan inti masalahnya.
Saat LLM membaca data lewat suatu tool, pada akhirnya itu adalah tindakan menulis isi tersebut ke context window LLM.
Jika cakupan tool mengizinkan
untrusted arbitrary source, pada saat itu juga sama saja dengan memberikan izin tulis ke pihak luar.Hanya dengan hal ini saja kemungkinan kebocoran data sudah cukup muncul.
Jika selain itu ada izin tulis ke sistem lain atau efek samping tambahan, tingkat risikonya meningkat secara eksponensial.
Ini terasa seperti komedi, tetapi sekaligus pahit karena memang inilah keadaan nyata industri TI dan demam LLM saat ini.
Saya menduga Comet mungkin tidak punya perlindungan selain instruksi yang sedikit disetel.
Hal yang saya sadari baru-baru ini di USENIX Security adalah bahwa tidak ada seorang pun yang benar-benar tahu cara menangani prompt injection multi-turn/agentic dengan baik.
Perubahan yang dibawa AI benar-benar menarik, dan melihat eksperimen baru terus bermunculan membuat saya antusias.
Saya ingin jujur mengakui bahwa saya merasa bingung.
Saya saja masih baru mulai terbiasa dengan online banking biasa, dan cenderung menolak memasang aplikasi dari semua penyedia.
Jadi sangat sulit membayangkan membiarkan entitas nondeterministik(LLM) masuk ke komputer lalu bahkan menyerahkan urusan keuangan kepadanya.
Sekarang pun, walaupun benar ada LLM yang membeli barang atau melakukan pembayaran atas nama kita, secara logis saya bisa memahaminya, tetapi secara naluri rasanya nyaris gila.
Alasannya bukan semata karena berbahaya menyerahkan keuangan kepada non-ahli atau sistem yang bereaksi pada prompt acak, melainkan karena dari sudut pandang pelanggan ini berarti melepaskan otonomi dan otoritas dalam jumlah besar, dan saya bertanya-tanya apa hasil akhirnya benar-benar sepadan.
Saya juga suka LLM, dan browser LLM pasti punya kasus penggunaan yang berguna.
Hanya saja saya tidak menganggap ini cocok untuk dipakai masyarakat umum.
Mungkin bahkan layak dipertimbangkan pendekatan yang memaksa orang benar-benar tahu apa yang mereka adopsi, misalnya lewat proses kompilasi.
Situasi saat ini bukan AI secara langsung melakukan pembayaran memakai info rekening dan semacamnya, melainkan misalnya orang memposting info rekening secara terbuka kepada AI.
Ini berbeda dari arti bahwa AI benar-benar menjalankan urusan keuangan itu sendiri.
Saya penasaran apakah perusahaan AI benar-benar bersedia memikul fiduciary liability ke depannya.
Saya mencoba agen Comet selama 5 menit.
Saya hanya memberinya satu kalimat, “Belikan saya gitar di Amazon”(tanpa menyebut jenis gitar, anggaran, merek, dll.), dan hasilnya dia memasukkan 3 gitar akustik murah yang bahkan namanya pun tidak saya kenal ke keranjang saya.
Untungnya tidak sampai ke tahap pembayaran.
Dari situ penilaian saya selesai, saya menyimpulkan ini tidak ada nilainya.