Eksekutif Signal memperingatkan AI agentik tidak stabil, tidak dapat diandalkan, dan berisiko besar terhadap pengawasan

• AI agentik yang terintegrasi di tingkat sistem operasi ditunjuk sebagai risiko utama karena dapat merekam seluruh aktivitas digital pribadi dan terekspos ke malware
• Meredith Whittaker dan Udbhav Tiwari dari Signal menyampaikan di Chaos Communication Congress ke-39 bahwa AI semacam ini rentan dari sisi keamanan, keandalan, dan pengawasan
• Fitur Recall milik Microsoft secara berkala menangkap seluruh layar pengguna dan menyimpannya dalam basis data, dan informasi ini dapat terekspos ke malware atau serangan prompt injection
• Whittaker menunjukkan dengan angka bahwa agen AI sebagai sistem probabilistik mengalami penurunan akurasi yang tajam seiring bertambahnya langkah, sehingga keandalannya rendah untuk menjalankan tugas kompleks
• Keduanya menyerukan penghentian penyebaran sembarangan, pengaturan opt-out sebagai default, dan peningkatan transparansi, serta memperingatkan bahwa jika tidak dilakukan, seluruh industri AI bisa menghadapi krisis akibat hilangnya kepercayaan konsumen

---

Risiko keamanan dan pengawasan AI agentik

• Jika AI agentik terintegrasi di tingkat sistem operasi, seluruh kehidupan digital pribadi dapat disimpan dalam basis data sehingga kemungkinan akses oleh malware meningkat
  • Basis data semacam ini mencakup perilaku pengguna, teks, durasi penggunaan aplikasi, aktivitas fokus, dan lainnya
  • Dalam beberapa kasus fitur ini dapat aktif otomatis tanpa persetujuan, sehingga kekhawatiran soal pelanggaran privasi menjadi besar
• Para eksekutif Signal menilai struktur ini sekaligus menimbulkan ketidakstabilan keamanan dan risiko pengawasan

Kasus Microsoft Recall

• Microsoft sedang memperkenalkan AI agentik di Windows 11 melalui fitur Recall
  • Recall mengambil tangkapan layar setiap beberapa detik, lalu melakukan OCR dan analisis semantik untuk mengumpulkan seluruh aktivitas pengguna ke dalam basis data
  • Datanya mencakup linimasa perilaku, teks asli, waktu fokus per aplikasi, klasifikasi topik, dan lain-lain
• Tiwari menyoroti bahwa pendekatan ini tidak mampu mencegah serangan malware dan serangan prompt injection tersembunyi
  • Kerentanan semacam ini dapat melewati end-to-end encryption (E2EE)
  • Signal memang menambahkan fitur untuk memblokir perekaman layar di aplikasinya sendiri, tetapi dinilai bukan solusi mendasar

Masalah keandalan AI agentik

• Whittaker menjelaskan bahwa AI agentik adalah sistem probabilistik, sehingga akurasinya turun tajam ketika jumlah langkah bertambah
  • Jika tiap langkah memiliki akurasi 95%, tingkat keberhasilan tugas 10 langkah sekitar 59,9%, sedangkan 30 langkah sekitar 21,4%
  • Dengan patokan yang lebih realistis yaitu akurasi 90%, tingkat keberhasilan tugas 30 langkah anjlok menjadi 4,2%
• Disebutkan bahwa bahkan model agen terbaik saat ini pun menunjukkan tingkat kegagalan 70%
• Karena itu, teknologi ini ditegaskan masih memiliki keandalan yang sangat rendah untuk diberi tugas otomatisasi yang kompleks

Langkah perbaikan untuk privasi dan keamanan

• Whittaker menyebut bahwa saat ini belum ada cara untuk sepenuhnya menjamin privasi, keamanan, dan kontrol, dan yang mungkin dilakukan baru sebatas penanganan sementara (triage)
• Namun, ia mengusulkan langkah-langkah berikut untuk mengurangi risiko
  • Menghentikan penyebaran AI agentik secara sembarangan dan membatasi agar malware tidak bisa mengakses basis data plaintext
  • Menjadikan opt-out sebagai pengaturan default, dan hanya pengembang yang secara eksplisit melakukan opt-in
  • Menjamin transparansi atas cara kerja sistem AI dan proses pengolahan data, serta merancangnya agar bisa diaudit sampai tingkat detail
• Jika langkah-langkah ini tidak dilakukan, era AI agentik itu sendiri bisa terancam akibat hilangnya kepercayaan konsumen

Peringatan untuk seluruh industri

• Para eksekutif Signal memperingatkan bahwa AI agentik berkembang di tengah investasi berlebihan dan penilaian yang terlalu tinggi, namun
  jika masalah keamanan, keandalan, dan pengawasan tidak diselesaikan, seluruh industri akan menghadapi krisis
• Mereka menekankan bahwa perusahaan harus memprioritaskan perlindungan pengguna dan transparansi dibanding sekadar inovasi teknologi

[GN⁺]

Komentar Hacker News

• Ini bukan masalah AI, melainkan masalah sistem operasi
  AI jauh kurang dapat diandalkan dibanding perangkat lunak yang ditulis dan ditinjau manusia, sehingga justru menyingkap cacat pada sistem yang sudah ada
  Baik UNIX maupun Microsoft gagal mengimplementasikan isolasi proses dengan benar, dan bahkan model keamanan yang dirancang baik pun tidak membantu penjualan komputer atau OS
  Ada contoh yang bagus seperti Plan 9, SEL4, Fuschia, dan Helios, tetapi masalahnya adalah kurangnya wawasan para pengambil keputusan
  Ketidakpahaman terhadap sandboxing dan model keamanan modern seharusnya dianggap memalukan

  • Bahkan jika model keamanan dirancang dengan baik, dari sudut pandang pengguna sering kali terlalu merepotkan
    Saat mendistribusikan perangkat lunak ke lingkungan dengan keamanan ketat, pada dasarnya tidak ada yang bisa berkomunikasi dan sistem file bersifat immutable sehingga kadang bahkan tidak bisa dijalankan
    Jika sampai mencakup sertifikat TLS dan konfigurasi CA, distribusinya bisa jadi mimpi buruk
  • AI pada akhirnya juga berupaya menggantikan “penggunaan komputer”, jadi ini adalah masalah kaburnya batas antara OS dan AI
    Untuk mengimplementasikan fitur seperti Recall dengan aman dibutuhkan kontrol izin yang rinci, tetapi secara realistis kemungkinan akan terasa merepotkan seperti UAC
    Membuat AI bekerja seperti asisten pribadi namun tetap aman dan andal adalah tantangan yang sangat sulit
  • Model keamanan OS lama tidak mempertimbangkan lingkungan jaringan
    Karena sebagian besar dirancang sebelum internet, membuat ulang semuanya sekarang nyaris mustahil karena masalah kompatibilitas dan biaya
    Container atau VM pada akhirnya hanyalah solusi tempelan di atas sistem lama
  • Karena masalah serupa muncul di semua lingkungan yang mengintegrasikan LLM, AI itu sendiri juga turut bertanggung jawab
    Baik dimasukkan ke browser, klien email, atau pengolah kata, perilakunya tetap tidak dapat diprediksi
    Pada akhirnya, masalah mendasarnya adalah “keputusan untuk mengintegrasikan LLM yang tidak mungkin diamankan”
  • Agar AI berguna, pada akhirnya ia memerlukan hak akses yang tepercaya
    Isolasi penuh terlalu mahal dari sisi sumber daya dan kompleksitas, dan itu juga alasan sistem seperti Qubes tidak menjadi arus utama
    Secara mendasar kita perlu merancang ulang antarmuka dengan attack surface yang rendah, tetapi itu berarti mengubah seluruh ekosistem

• Wajar jika Signal menempatkan keamanan dan privasi sebagai prioritas utama
  Sebaliknya, peran IT perusahaan adalah mengelola risiko
  Kedua peran itu sepenuhnya berbeda, dan standar keamanan absolut Signal cocok dengan misi mereka

  • Ini sudut pandang yang menarik, tetapi tampaknya meremehkan risiko nyata ketika pengguna perusahaan menjalankan agen di desktop mereka
    Saya penasaran pendekatan seperti apa yang bijak jika admin IT ingin mengendalikan risiko organisasi

• Saya ingat pernah melihat proyek yang tampak seperti pendahulu Recall di Microsoft Research pada 2009
  Namanya PersonalVibe, dan strukturnya mencatat perilaku pengguna ke DB lokal tanpa mengirimkannya ke luar
  Tautan proyek

• Daya tarik ‘Agentic AI’ di lingkungan perusahaan memang besar, tetapi prediktabilitas adalah nilai yang lebih penting
  Jika hanya bekerja benar 90% dan pada 10% sisanya terjadi kebocoran data atau halusinasi, itu bukan agen melainkan faktor risiko
  Saat ini kita masih berada pada tahap di mana human-in-the-loop tetap wajib

  • Bobot tanggung jawab berubah tergantung apakah risikonya berada di dalam atau di luar
    Perusahaan mengelola risiko internal, tetapi melempar risiko eksternal lewat syarat layanan atau EULA
    Kebanyakan orang akan mengklik sambil berpikir “saya percaya vendor” atau “perusahaan akan memblokirnya”
    Eksekutif tergoda menunda risiko AI ke masa depan demi kinerja jangka pendek
  • Saya tidak menginginkan agen, saya menginginkan principal

• Fitur seperti Recall adalah gagasan yang keterlaluan
  Anthropic dan ChatGPT juga berusaha menyerap seluruh data kerja pengguna ke dalam model
  Yang kita perlukan sekarang adalah privasi yang dapat diverifikasi pada tahap inferensi
  Jika data saya dikirim, maka perlindungannya harus bisa diverifikasi

  • AI adalah risiko privasi data terbesar di antara semua teknologi yang pernah dibuat sejauh ini
    Orang-orang menyerahkan semua data mereka ke perusahaan yang bahkan tidak mereka kenal
  • Gagasan Recall sendiri memang berguna, tetapi Microsoft tidak bisa dipercaya
    Jika hanya berjalan saat diinginkan, dan hadir sebagai aplikasi portabel yang tidak terintegrasi ke OS, rasanya itu bisa diterima
    Itu bisa berguna untuk meninggalkan jejak kerja saat menyelesaikan masalah
  • Agar data benar-benar privat, semua pemrosesan harus dilakukan secara lokal
    Lingkungan yang tidak terhubung ke jaringan eksternal adalah satu-satunya jawaban
  • Apple sedang membayar miliaran dolar untuk mengintegrasikan Gemini3
    Sulit berharap individu bisa mendapatkan tingkat privasi yang sama hanya dengan beberapa ratus dolar
  • Di AS sendiri tidak jelas siapa yang akan bertanggung jawab atas ini
    Perusahaan AI sudah bertahun-tahun melakukan pengumpulan data yang nyaris ilegal, dan pemerintah juga tidak peduli

• Perkembangan teknologi terasa seperti ‘perlombaan menuju dasar’
  Tiga puluh tahun riset keamanan terasa menjadi sia-sia
  Browser AI menangani cookie dan token autentikasi, sehingga attack surface membesar tanpa batas

• Gagasan “mari berikan semua hak akses kepada sistem yang bahkan kita tidak paham cara kerjanya” adalah kegilaan
  AI boleh mengusulkan tindakan, tetapi keputusan harus selalu dieksekusi setelah konfirmasi pengguna
  Misalnya, jika mendeteksi permintaan pembatalan langganan, sistem bisa bertanya “AI menilai seperti ini, apakah benar?”
  Namun manusia punya masalah psikologis: sistem yang akurat 90% sering disalahartikan seolah akurat 100%

  • Interaksi model ‘penerjemahan’ berbasis konfirmasi pengguna adalah pendekatan yang bertanggung jawab
    Misalnya, permintaan bahasa alami seperti “artikel tentang Foo, kecuali Bar” diubah menjadi kueri pencarian terstruktur lalu diajukan sebagai saran
    Tentu tetap berisiko bila ada dataset berbahaya, tetapi jauh lebih baik daripada mengintegrasikan LLM secara serampangan

• Saya penasaran apakah perilaku yang tidak diinginkan bisa dicegah dengan menjalankan AI di akun pengguna terisolasi,
  lalu menggunakan firewall berbasis whitelist dan overlay file system

• Yang dibutuhkan adalah model zero trust pada tingkat interaksi
  AI harus bisa menyelesaikan tugas tanpa melihat data sensitif secara langsung
  Jika digabungkan dengan security enclave pada perangkat keras, masalah privasi bisa diselesaikan secara mendasar

• Ini persis artikel yang sesuai dengan yang saya minta kemarin
  Tautan terkait