Mengapa AI dan Enkripsi End-to-End Perlu Dipikirkan Bersama
(blog.cryptographyengineering.com)- Seiring asisten dan agen AI masuk ke tengah-tengah data pribadi seperti pesan, foto, dan panggilan, jaminan privasi yang selama ini dijaga oleh enkripsi end-to-end mulai mendapat tekanan baru
- Enkripsi end-to-end mencegah server melihat plaintext saat transmisi, tetapi tidak mencegah penggunaan data setelah perangkat penerima atau pengguna menyerahkannya ke server pemrosesan AI
- Semakin sulit menjalankan model AI yang kuat di ponsel, semakin mudah fitur seperti ringkasan pesan, deteksi panggilan penipuan, dan penulisan teks bergantung pada pemrosesan off-device
- Private Cloud Compute milik Apple berupaya mengurangi risiko inferensi cloud dengan trusted hardware, Secure Boot, code signing, transparency log, dan desain tanpa state, tetapi ini bukan jaminan kriptografi matematis
- Ketika agen AI serbaguna dapat membaca dan membalas data pribadi, isu utama bergeser dari apakah ia berjalan secara lokal menjadi siapa yang dapat mengakses agen tersebut
AI Membuka Kembali Diskusi tentang Enkripsi End-to-End
- How to think about end-to-end encryption and AI dari para peneliti NYU dan Cornell membahas langsung pertanyaan di titik temu AI dan enkripsi end-to-end
- Sistem asisten AI seperti scam call protection dari Google dan Apple Intelligence berupaya masuk ke seluruh bagian ponsel, terutama ke dalam pesan pribadi
- Diskusi “mandatory content scanning” di Eropa dapat mewajibkan sistem machine learning memindai hampir semua pesan pribadi, sehingga dampak AI terhadap privasi terlihat lebih langsung
- Meski titik awalnya berbeda, kedua arus ini bertemu pada konflik yang sama
- Fitur AI ingin memproses data pribadi
- Enkripsi end-to-end ingin mencegah server melihat data tersebut
- Pemrosesan AI yang kuat mungkin membutuhkan sumber daya server
Masalah yang Semula Diselesaikan oleh Enkripsi End-to-End
- Sebelum 2011, banyak perangkat yang terhubung ke cloud mengunggah data sebagai plaintext, sehingga data pribadi dapat terekspos ke peretas, panggilan pengadilan perdata, surat perintah pemerintah, dan pemanfaatan bisnis oleh platform
- Kecuali pengguna mahir yang memakai alat seperti PGP atau OTR, pengguna umum sulit menghindari risiko ini
- Sekitar 2011, aplikasi perpesanan seperti Signal, Apple iMessage, dan WhatsApp mulai mengadopsi enkripsi end-to-end secara default
- Mereka mengubah cara pengelolaan kunci agar server tidak dapat melihat isi plaintext pesan
- Setelah itu, pembuat OS ponsel seperti Google, Samsung, dan Apple mulai mengenkripsi data yang tersimpan secara lokal; Google memperkenalkan enkripsi end-to-end default untuk backup ponsel, dan Apple juga mulai mengikuti
- Kesamaan dari proyek-proyek ini adalah data terenkripsi hampir tidak perlu diproses di server
Pilihan antara Pemrosesan Server dan On-Device
- Enkripsi end-to-end menyembunyikan isi dari server, tetapi membuat server sulit melakukan komputasi atas data tersebut
- Backup cloud atau pesan pribadi terutama bermakna bagi klien, sehingga batasan ini relatif dapat diterima
- Untuk fitur yang membutuhkan pemrosesan data, seperti pengenalan teks dalam foto, biasanya muncul dua pilihan
- Mengirim plaintext ke server dan membuka kembali kerentanan yang ingin dikurangi oleh enkripsi end-to-end
- Membatasi pemrosesan pada hal yang dapat dilakukan di perangkat
- Pilihan kedua terikat pada performa komputasi, RAM, baterai, dan variasi hardware ponsel
- iPhone kelas atas pun dapat memproses foto pada malam hari saat sedang diisi daya untuk menghindari boros baterai
- Beberapa ponsel flagship berharga lebih dari 1.400 dolar dan memiliki GPU serta neural engine onboard
- Bahkan di AS, orang dapat membeli ponsel Android seharga beberapa ratus dolar atau perangkat yang lebih murah, sehingga perbedaan kemampuan pemrosesan sangat besar
Fitur AI Memperluas Pemrosesan Data Pribadi
- LLM dapat menghasilkan dan memahami teks manusia yang kompleks, dan model pemrosesan gambar juga menyediakan kemampuan yang kuat
- Perusahaan ponsel dan perpesanan melihat model AI sebagai fondasi fitur masa depan, dan beberapa fitur sudah dirilis
- Agen AI dibayangkan melangkah lebih jauh: membaca dan membalas email serta pesan teks, memesan makanan, berbelanja, mengelola profil dating, menegosiasikan pinjaman, hingga memprediksi kebutuhan pengguna
- Agar sistem seperti ini berfungsi, dibutuhkan akses hampir tanpa batas ke data pribadi dan kemampuan komputasi besar untuk memprosesnya
- Banyak ponsel tidak memiliki kemampuan komputasi untuk menjalankan model yang kuat, dan semakin model membaik atau menjadi proprietary, semakin besar kemungkinan banyak pemrosesan berpindah ke server jarak jauh
Jaminan dan Persoalan Persetujuan dalam Perpesanan End-to-End Terenkripsi
- Jaminan teknis perpesanan end-to-end terenkripsi modern terletak pada desain agar isi plaintext pesan selama transmisi tidak berada di luar perangkat akhir para peserta serta pihak yang dipilih peserta atau perangkat untuk diajak berbagi
- Jaminan ini tidak mengatur penggunaan data setelah data terkirim
- Pengguna mengambil screenshot, membuat backup plaintext, menyalin-tempel ke Twitter, atau menyerahkan perangkat sebagai respons terhadap gugatan berada di luar cakupan enkripsi end-to-end
- Janji penyedia layanan kepada pengguna dapat berbeda dari jaminan teknis
- Misalnya, pesan dikirim dengan aman, tetapi perangkat dapat mengunggah isi plaintext ke server lain sehingga dapat didekripsi di sana
- Dalam chat grup, peserta lain juga dapat mengaktifkan fitur yang mengunggah pesan plaintext yang diterimanya ke layanan
- Pada akhirnya, kuncinya adalah persetujuan yang diberikan dengan pemahaman memadai
- Sebagian perusahaan dapat memberi informasi yang baik kepada pengguna untuk mendapatkan kepercayaan
- Perusahaan lain dapat meminta persetujuan atas ketentuan layanan yang sulit dibaca di AS, atau membuat bentuk baru banner cookie di UE
- Jika pemrosesan AI sepenuhnya menjadi umum, pilihan opt-in/opt-out pengguna dapat menjadi terbatas
Pendekatan Apple Private Cloud Compute
- Apple mengantisipasi perlunya inferensi machine learning di-outsource ke hardware yang lebih kuat, lalu merancang komputer berbasis cloud yang dianggap dapat dipercayakan data pribadi
- Private Cloud Compute menggunakan perangkat trusted hardware di data center Apple
- Perangkat ini mirip komputer yang terkunci secara fisik dan logis
- Menggunakan perangkat buatan Apple sendiri, custom silicon, dan fitur software
- Secure Boot memastikan hanya software OS yang diizinkan yang dimuat
- OS memverifikasi melalui code signing agar hanya image software yang diizinkan yang berjalan
- Tidak menyimpan state jangka panjang
- Setiap koneksi melakukan load balancing permintaan ke server acak yang berbeda
- Membuktikan hash software aplikasi yang sedang berjalan
- Image software harus berada dalam transparency log yang dapat diverifikasi untuk mencegah penambahan diam-diam
- Apple menyatakan akan merilis image software agar peneliti keamanan dapat memeriksa bug, tetapi bukan seluruh source code
- Desain ini berfokus membuat penyerang maupun karyawan Apple sulit mengekstraksi data dari perangkat
- Namun pendekatan ini memberi jaminan yang lebih lemah daripada enkripsi
- Ia memusatkan banyak data bernilai
- Ia bergantung pada Apple untuk mengimplementasikan fitur keamanan hardware dan software yang kompleks dengan benar, bukan pada matematika algoritma kriptografi
- Ini dinilai sebagai pendekatan yang lebih baik dibanding pemrosesan di server yang tampaknya dapat diakses karyawan dengan login, seperti OpenAI
FHE dan Keterbatasannya Saat Ini
- Dengan fully homomorphic encryption (FHE), data pribadi dapat dihitung saat tetap terenkripsi
- Secara teori ini mungkin, tetapi saat ini kecil kemungkinan praktis
- Skema FHE yang baik saat ini terutama cocok untuk evaluasi model machine learning yang sangat kecil, dan model seperti itu berada pada tingkat yang dapat dijalankan bahkan di perangkat klien yang lemah
- Metode dan hardware akan membaik, tetapi hambatan ini diperkirakan akan bertahan lama
Untuk Siapa Agen AI Bekerja
- Data yang digunakan untuk training dan fine-tuning model AI di masa depan juga akan menimbulkan masalah privasi besar, tetapi pertanyaan yang lebih besar adalah untuk siapa sebenarnya agen serbaguna bekerja
- Inggris dan UE telah mendiskusikan undang-undang yang mewajibkan “pemindaian” otomatis atas pesan terenkripsi pribadi
- Usulan UE berfokus pada deteksi CSAM yang sudah ada maupun baru
- Pada beberapa tahap, ini juga mencakup deteksi percakapan suara dan teks yang dianggap sebagai “grooming behavior”
- Usulan Inggris memiliki cakupan lebih luas, mencakup berbagai konten ilegal seperti ujaran kebencian, konten terorisme, dan penipuan
- Salah satu amendemen bahkan mencakup “images of immigrants crossing the Channel in small boats”
- AI/ML tidak wajib untuk pemindaian CSAM yang sudah dikenal, tetapi deteksi CSAM baru, perilaku grooming, dan ujaran kebencian membutuhkan inferensi machine learning yang kuat atas data pribadi
- Khususnya, deteksi percakapan suara dan teks membutuhkan bukan hanya konversi speech-to-text, tetapi juga kemampuan memahami topik percakapan manusia tanpa false positive
- Usulan semacam ini belum diimplementasikan, antara lain karena sulit membangun sistem ML yang memproses data privat dengan aman dan karena platform menolak membangunnya
Tekanan yang Dapat Diciptakan Agen Pribadi Serbaguna
- Jika pengguna secara sukarela membuat dan menerapkan agen AI serbaguna, agen ini dapat menjadi sumber daya yang mampu melakukan banyak tugas pemindaian yang diminta lembaga penegak hukum
- Cara mencegahnya ketika pemerintah menuntut akses ke sumber daya seperti ini tetap menjadi masalah sulit
- Lembaga penegak hukum dapat mengajukan pertanyaan canggih kepada agen tentang tindakan dan data pengguna
- “Apakah pengguna ini memiliki potensi CSAM?”
- “Apakah ia menulis sesuatu yang berpotensi menjadi ujaran kebencian dalam catatan pribadi?”
- “Apakah ada kemungkinan ia menggelapkan pajak?”
- Cara ini dapat dikemas seolah “menjaga privasi” dengan alasan polisi manusia tidak langsung menggeledah dokumen, dan jawaban hanya diperoleh ketika pengguna kemungkinan melakukan tindakan ilegal
- Setelah agen serbaguna yang cukup kuat diterapkan di ponsel, persoalan yang menentukan bukan lagi apakah model berjalan lokal atau di hardware cloud tepercaya, melainkan siapa yang dapat berbicara dengan agen tersebut
1 komentar
Komentar Hacker News
Semakin banyak deteksi otomatis, semakin kecil anggaran yang dialokasikan untuk orang yang menangani tiap kasus, dan para administrator makin bergantung pada keputusan otomatis.
Akibatnya, ketika terjadi false positive, menghubungi manusia untuk menyelesaikannya menjadi sulit, sehingga menimbulkan frustrasi besar. Dalam layanan korporat ini hanya menjengkelkan, tetapi jika dipakai dalam penegakan hukum, hidup seseorang bisa hancur.
Dulu di Amazon, saya pernah ditandai karena ulasan ilegal dan selama berbulan-bulan mencoba menjelaskannya kepada manusia; sampai sekarang, kira-kira setahun sekali saya masih mengangkat masalah itu lagi, tetapi belum terselesaikan. Jika hal seperti ini terjadi dalam perkara kejahatan berat dan penumpukan perkara di pengadilan berlangsung bertahun-tahun, dampaknya bisa fatal.
Deteksi otomatis bisa bekerja dan pada dasarnya tak terhindarkan, tetapi harus ada cukup staf yang dialokasikan untuk menanganinya dengan asumsi bahwa false positive pasti terjadi. Saat ini, begitu sistem deteksi dibuat, staf yang bertanggung jawab langsung diberhentikan dan sistem dianggap menggantikan manusia, padahal sebenarnya sistem itu seharusnya menjadi alat untuk memperkuat dan memfokuskan manusia.
Para pengambil keputusan tidak menangani kasus nyata, sehingga mereka tidak merasakan masalahnya secara langsung. Bagi mereka, ini menjadi “kalau bisa menghemat 1 juta dolar, kenapa tidak menghemat 2 juta dolar,” dan saya melihat masalah ini akan menjadi jauh lebih buruk dalam beberapa tahun ke depan seiring model AI besar membuat deteksi otomatis makin mudah.
Di Rusia, pernah ada seorang ilmuwan yang menjadi tersangka kasus pembunuhan 20 tahun lalu hanya berdasarkan kecocokan pengenalan wajah 70% dan tuduhan palsu dari seorang pelaku kriminal bahwa ia adalah komplotannya. https://lenta.ru/articles/2024/04/03/scientist/
Untungnya, catatan arsip institut bahwa ia saat itu ikut ekspedisi jauh dari Moskow masih ada sebagai alibi, tetapi ia tetap ditahan selama 10 bulan selama “penyelidikan”. Pada akhirnya ia dibebaskan, tetapi saya khawatir para penyidik polisi yang memakai hasil pengenalan wajah yang sangat lemah demi menaikkan angka kinerja itu mungkin masih berada di kepolisian.
Jika diperluas ke dunia di mana setiap sudut kehidupan dikendalikan oleh monopoli platform yang bahkan tidak menyediakan dukungan pelanggan dasar, rasanya keadaan akan menjadi jauh lebih buruk sebelum membaik.
Bisa dilihat di halaman ketiga PDF, halaman tampilan 84: https://nob.cs.ucdavis.edu/classes/ecs153-2021-02/handouts/c...
Mengejutkan bahwa seseorang sudah memprediksi situasi seperti ini dengan tepat 60 tahun lalu, tetapi kisah peringatan itu sama sekali tidak dianggap serius.
Tidak perlu berspekulasi tentang OpenAI. OpenAI cukup transparan menyatakan bahwa mereka menyimpan data selama 30 hari dan bahwa staf serta kontraktor pihak ketiga dapat meninjaunya.
https://platform.openai.com/docs/models/how-we-use-your-data
“Untuk membantu mengidentifikasi penyalahgunaan, data API dapat disimpan hingga 30 hari, lalu dihapus setelahnya (kecuali diwajibkan lain secara hukum).”
https://openai.com/enterprise-privacy/
Disebutkan bahwa akses ke data bisnis API dibatasi pada personel yang berwenang dan diperlukan untuk dukungan engineering, investigasi penyalahgunaan platform, serta kepatuhan hukum, juga kontraktor pihak ketiga spesialis yang terikat kewajiban kerahasiaan dan keamanan, yang hanya melakukan peninjauan penyalahgunaan dan misuse.
Anda secara harfiah sedang “berbicara” dengan server perusahaan yang membangun lini produknya memakai karya profesional dan pribadi orang lain, terlepas dari apakah mereka menyetujui atau mengetahuinya. Ini bukan sekadar “lebih mudah minta maaf daripada minta izin”; lebih mendekati tidak pernah bertanya sama sekali, berkelit saat ditanya, lalu ketika ketahuan berkata, “Anda bahkan tidak mungkin tahu kami sedang melihat, tetapi karena kami tidak menyembunyikannya, berarti Anda secara implisit setuju.”
Sejujurnya, tingkat komitmen yang dijanjikan OpenAI dalam kebijakan privasinya saja sudah mengejutkan. Melihat pola bait-and-switch yang mencurigakan seperti diam-diam mengganti model atau mengurangi kapasitas komputasi pelanggan berbayar setelah siklus promosi awal “wow, hebat”, rasanya kebijakan seperti itu tidak akan bertahan lama jika perusahaan sudah berada di posisi yang lebih stabil.
Selain itu, jika suatu cara untuk mengekstrak data pelatihan dari model muncul, mereka bisa saja berkata, “itu data lain yang diekstrak dari model, jadi kebijakan lama tidak berlaku.” Jika terdesak di pasar, sulit membayangkan Altman tidak akan menjual hal semacam itu dalam sekejap demi mendanai produk taruhan besar. Belum lagi chatbot tipe aplikasi pasangan yang mencurigakan.
Perlindungan privasi tentu saja seharusnya ada, tetapi yang mengejutkan adalah masih ada orang yang berasumsi bahwa itu akan ada. Kadang saya merasa terlalu sinis, tetapi belakangan kesimpulannya selalu ternyata saya belum cukup sinis.
Ancaman nyata akan muncul ketika AI melampaui percepatan pekerjaan individu dan diterapkan pada kontrol organisasi
Semua orang tahu batasan manajer, lapisan manajemen, metrik, dan OKR, jadi godaannya besar. Tidak sulit membayangkan CEO berpikir agar semua komunikasi antar-karyawan dimasukkan ke AI dan bisa ditanyai. Ironisnya, jika semua orang bekerja jarak jauh, ini lebih mudah dipaksakan
Ada kemungkinan organisasi menjadi lebih efisien karena CEO dan jajaran atas bisa lebih memahami apa yang sebenarnya terjadi. Namun, keyakinan yang sudah lemah bahwa mereka yang berkuasa memandang karyawan biasa sebagai manusia sungguhan akan makin berkurang
Dan karena lapisan eksekutif akan merasa tidak ada alasan untuk tidak memakai alat yang digunakan untuk menjalankan perusahaan saat menjalankan negara, cara seperti ini pasti akan merembes keluar dari organisasi privat
Para pendukung pengawasan massal sekarang mengatakan manusia tidak perlu lagi mengangkat telepon dan mendengarkan secara langsung. Namun bahaya sebenarnya bukanlah seseorang berjas kusam yang menyalin percakapan dari reel tape. Masalahnya selalu ketika orang berkuasa meminta berkas dokumen tentang orang yang membuatnya tidak nyaman, lalu memeriksanya dengan tujuan memastikan orang itu tidak akan pernah lagi membuatnya tidak nyaman
Alasan konsekuensi penuh dari pengawasan massal belum muncul adalah karena belum ada sarana untuk memproses data ad hoc tak terstruktur sebanyak itu. Sekarang sudah ada
Ketika dalam sengketa hukum diperlukan discovery, perangkat lunak e-discovery dapat menarik semua komunikasi digital yang bisa diakses, memasukkannya ke AI, dan bahkan melakukan analisis sentimen sebagai salah satu prosesnya. Penerapan AI generatif pada pekerjaan hukum saat ini menjadi topik panas di dunia hukum
Arah ke depan terasa seperti XKEYSCORE yang diberi steroid, jadi untuk pertanyaan “apakah ini akan bekerja untuk kita”, saya cenderung menjawab tidak
Saya ingin melihatnya secara positif dan optimistis, tetapi melihat jalur yang telah kita tempuh serta perilaku orang-orang yang bertanggung jawab atas sistem ini—tepatnya para eksekutif, bukan peneliti atau insinyur—harapan akan masa depan yang netral dan mengutamakan privasi tampak terbatas
Mereka memakai setelan jas, tetapi biasanya berlatar belakang militer, memiliki rasa kewajiban untuk membela AS dari ancaman dalam dan luar negeri, dan secara historis tampaknya tidak banyak menyalahgunakan wewenang di pemerintahan mana pun. XKEYSCORE juga bukan meretas orang, melainkan mengumpulkan metadata massal dan membuat profil, dan dilakukan dalam kerangka hukum. Kritik juga harus diarahkan kepada perusahaan-perusahaan yang tidak menyediakan alat perlindungan privasi. Sebab pemerintah besar mana pun bisa saja membangun sistem yang sama
Sebaliknya, Partai Republik anti-kemapanan yang mengkritik big tech setelah 2016 pada akhirnya menjadi penggemar paling pro-kemapanan; mereka memberi Elmo kantor di Gedung Putih dan Zucc berlutut demi menghindari dakwaan
Saya pikir lebih baik sistem baru seperti ini dipegang oleh orang-orang pintar yang bekerja di organisasi pertahanan AS karena rasa kewajiban, meski mereka bisa mendapat bayaran jauh lebih besar di perusahaan swasta
Perusahaan sudah hampir menghabiskan data internet untuk melatih AI, jadi mereka akan mencoba mengakses data real-time pribadi dengan alasan agen. Seperti biasa, model bisnisnya adalah “Anda adalah produknya”
Apple tampaknya baru-baru ini mengubah posisinya. Sekarang mereka mengatakan “kode sumber komponen inti PCC tertentu yang terkait keamanan tersedia dengan lisensi penggunaan terbatas”. Tentu akan lebih baik jika semuanya open source
https://github.com/apple/security-pcc/
Apple tampaknya membuat klaim yang lebih besar dari itu. Klaimnya adalah: 1) mereka tidak menyimpan data pengguna dan hanya memprosesnya selama inferensi, 2) tidak ada akses runtime istimewa sehingga insinyur dukungan pun tidak bisa melihat data pengguna, dan 3) mereka menyediakan biner serta sebagian kode sumber agar peneliti keamanan dapat memverifikasi 1) dan 2)
Lima persyaratan Apple PCC bisa dilihat di sini: https://security.apple.com/documentation/private-cloud-compu...
Saya tidak terkait dengan Apple. Saya membaca panduan keamanan PCC untuk melihat seperti apa solusi setara jika dibuat di open source. Jika tertarik dengan topik ini, silakan hubungi ozgun @ ubicloud . com
Pertanyaan yang tepat adalah “sebenarnya AI agent bekerja untuk siapa”. Beberapa minggu lalu saya juga menyampaikan poin yang sama; konsep hukum prinsipal dan agen berlaku di sini
Realitas ketika semua konten dilewatkan melalui AI cloud untuk memeriksa “thoughtcrime” sedang datang. Kategori yang saat ini diusulkan meliputi materi pelecehan seksual anak, ancaman terhadap tokoh penting, ancaman terhadap pemerintah, “grooming” anak di bawah umur, diskusi narkoba, seks, senjata api, dan aktivitas homoseksual, pengorganisasian protes atau serikat pekerja, dan sebagainya
Khususnya materi pelecehan seksual anak telah menjadi kategori yang diperluas di AS hingga mencakup gambar yang dihasilkan AI, dan segera bisa diperluas pula ke anime Jepang. Ancaman terhadap tokoh penting dapat diperluas di AS hingga mencakup hal-hal yang dulu dianggap sebagai ujaran politik
Ancaman terhadap pemerintah sudah ilegal di banyak negara. Perlu diingat bahwa Trump suka menuduh orang melakukan “pengkhianatan” bahkan untuk hal-hal yang tidak ada hubungannya dengan perang melawan AS
“Grooming” sangat kabur sehingga bisa mencakup sebagian besar interaksi, dan diskusi tentang narkoba, seks, senjata api, serta aktivitas homoseksual dilarang dengan berbagai cara di banyak negara. Pengorganisasian protes atau serikat pekerja dilarang di Tiongkok dan sudah menjadi sasaran pencarian
Tidak mungkin menghindari sensor dengan ungkapan tidak langsung atau slang. Model bahasa besar juga memproses hal-hal semacam itu. Coba masukkan bahasa Inggris kulit hitam atau leetspeak dan minta diterjemahkan ke bahasa Inggris standar; itu akan diterjemahkan. Model itu mungkin telah melihat dialek seperti itu lebih banyak daripada kebanyakan orang
“Jika kau menginginkan gambaran masa depan, bayangkan sepatu bot menginjak wajah manusia—selamanya” — Orwell
https://www.orwell.org/dictionary/
Poin intinya layak diulangi
Ini bisa mencakup kondisi yang mereka inginkan seperti “perempuan memakai celana adalah cross-dressing, dan jika dilakukan di sekitar anak-anak maka itu kejahatan berat”
Kesadaran yang paling suram adalah bahwa data dalam jumlah besar yang dimasukkan ke cloud dengan anggapan bahkan aktivitas kriminal pun tidak akan dipindai, kini telah menjadi jalur bagi polisi pikiran untuk datang hanya karena opini yang berbeda
Pemilik mesin itu adalah orang lain, sehingga kepentingan mereka—baik komersial maupun ideologis—selalu didahulukan
Semoga hal seperti itu tidak terjadi, tetapi kalau terjadi pun tidak mengejutkan. Data lama bisa menjadi limbah beracun
Untungnya, data yang tersimpan di perangkat lokal dan terenkripsi tidak dapat diakses oleh alat “AI” berbasis cloud
Masalahnya, pengguna biasa cenderung tanpa pikir panjang menekan “ya/terima/lanjutkan/teruskan/setuju” pada popup GUI, dan menyetujui ketentuan yang bahkan mencakup pendekripsian data lalu pengirimannya ke suatu layanan “cloud”
Ke depannya, alat “AI” tampaknya akan makin banyak dipakai untuk mengikat orang secara permanen pada layanan berlangganan bulanan seperti iCloud, Office365 personal milik Microsoft, dan Google Workspace
Orang akan terus membayar 15 dolar setiap bulan selamanya, dan karena jumlah data serta ketergantungan pada penyedia cloud, tidak ada cara realistis untuk berhenti membayar tanpa menimbulkan kekacauan besar dalam hidup
Green menyoroti poin penting. Jaminan teknis berbeda dari janji kepada pengguna, dan sistem pesan terenkripsi ujung-ke-ujung hanya mengantarkan data dengan aman, tanpa menentukan apa yang terjadi setelahnya
Namun tak lama kemudian ia tampaknya melupakan poin itu dan berbicara seolah PCC bukan sekadar satu lagi jaminan teknis. PCC hanya meningkatkan kepercayaan bahwa perangkat lunak yang berjalan di server adalah perangkat lunak yang dimaksudkan Apple
Itu tidak menjamin ke mana data saya akan dikirim setelahnya, atau apakah Apple hanya akan menggunakannya untuk tujuan yang dapat saya setujui. PCC membuat Apple lebih tidak rentan terhadap peretasan, tetapi tidak membuatnya lebih transparan atau bertanggung jawab
Sebaliknya, mengingat sebagian peretas juga meretas dengan tujuan yang bermanfaat secara sosial, seperti mengungkap penyalahgunaan oleh perusahaan, penguatan keamanan juga bisa berfungsi sebagai perisai untuk menghindari akuntabilitas. Tentu saja ini bukan berarti keamanan harus dihapus demi memperoleh transparansi
Inti yang belum terselesaikan di sini bukanlah keamanan, melainkan transparansi. Menurut saya, kondisi keamanan yang menyedihkan pun sebagian besar dimungkinkan oleh kurangnya transparansi
Jika kita ingin AI melayani masyarakat, kita harus membalik ketimpangan informasi ekstrem di mana kehidupan pribadi terbuka sepenuhnya bagi penyedia layanan, sementara penyedia layanan tetap menjadi kotak hitam total bagi pengguna
Jika ingin perilaku perusahaan yang baik, jangan biarkan mereka beroperasi tanpa terlihat. Jika ingin teknologi yang etis, jangan biarkan ia bekerja tanpa terlihat
Pertanyaan menarik di akhir tulisan itu penting dari sisi kebijakan
Apa pun pilihan teknis yang dibuat terkait perlindungan privasi, setelah agen serbaguna yang cukup kuat diterapkan di ponsel, pertanyaan yang tersisa adalah siapa yang berhak berbicara dengan agen itu. Hanya pengguna, atau kepentingan pemerintah dalam pengawasan warga akan didahulukan atas privasi individu
Secara hipotetis, mungkin saja ada situasi ketika pemerintah mewajibkan melalui hukum bahwa mereka harus memiliki hak akses ke agen. Sebab kita dan perusahaan berada dalam yurisdiksi yang dapat meloloskan hukum sewenang-wenang
Namun secara teknis, semestinya mungkin menjalankan agen lokal pada sistem dengan enkripsi seluruh disk, dan membuat siapa pun yang tidak memiliki akses sistem tidak dapat berbicara dengannya. Jika demikian, pada tingkat teknis tampaknya tidak jauh berbeda dari sebelumnya
Sejak dulu pun sudah mungkin menjalankan banyak ekspresi reguler ala 1980-an untuk mencari apakah di komputer seseorang ada sesuatu seperti pamflet komunis
Apakah pemerintah seharusnya boleh menuntut akses ke komputer saya adalah pertanyaan yang selalu ada. Hanya saja, jika mereka menuntut akses ke agen AI yang berjalan di komputer saya, perlu diingat bahwa itu pada dasarnya sama dengan menuntut catatan lossy dari seluruh hard disk saya