Apple Private Cloud Compute: Batas Baru Privasi AI Cloud

 (security.apple.com)
1 poin oleh GN⁺ 2024-06-11 | 1 komentar | Bagikan ke WhatsApp
  • Apple memperkenalkan Private Cloud Compute (PCC) agar Apple Intelligence dapat menyerahkan permintaan yang sulit diproses di perangkat ke model foundation yang besar, dengan desain yang menekankan minimisasi akses ke data pribadi bahkan di cloud
  • PCC menggabungkan server Apple silicon khusus, Secure Enclave, Secure Boot, Code Signing, dan sandboxing untuk menghadirkan model keamanan setingkat perangkat ke pusat data
  • Permintaan pengguna dienkripsi langsung dengan kunci publik node PCC yang telah diverifikasi, dan load balancer maupun privacy gateway tidak memiliki kunci untuk mendekripsi permintaan
  • Demi kemudahan operasi, desainnya mengecualikan remote shell, debugging interaktif, dan logging serbaguna yang umum digunakan, serta hanya mengizinkan log yang telah diaudit dan metrik terbatas keluar dari node
  • Apple berencana membangun AI cloud yang dapat diverifikasi secara eksternal melalui image software produksi, transparency log, lingkungan riset, dan Apple Security Bounty

Masalah privasi saat Apple Intelligence berpindah ke cloud

  • Apple Intelligence adalah sistem yang menyediakan fitur kecerdasan personal berbasis model generatif di iPhone, iPad, dan Mac
  • Fitur lanjutan yang perlu melakukan penalaran atas data yang lebih kompleks membutuhkan model foundation yang lebih besar, dan untuk itu Apple membuat Private Cloud Compute (PCC)
  • PCC adalah sistem cloud intelligence yang dirancang untuk pemrosesan AI personal, dengan tujuan agar data pribadi pengguna tidak terekspos kepada siapa pun, termasuk Apple
  • Pemrosesan di perangkat menguntungkan bagi keamanan dan privasi data pengguna
    • Data yang hanya ada di perangkat pengguna tidak berada di satu titik serangan terpusat
    • Untuk data cloud yang paling sensitif, enkripsi end-to-end menjadi pertahanan yang kuat
    • Pada layanan cloud yang tidak cocok menggunakan enkripsi end-to-end, dapat digunakan pemrosesan sementara atau pengenal acak yang tidak terkait untuk mengaburkan identitas pengguna

Keterbatasan model keamanan AI cloud yang ada

  • AI cloud dapat memanfaatkan hardware pusat data yang kuat dan model machine learning besar, tetapi membutuhkan akses tanpa enkripsi ke permintaan dan data pribadi terkait
  • Karena itu, pemrosesan tidak bisa dilakukan hanya dengan enkripsi end-to-end penuh, dan layanan AI cloud yang ada selama ini bergantung pada pendekatan keamanan cloud tradisional
  • Pendekatan tradisional memiliki tiga kelemahan
    • Sulit memverifikasi jaminan keamanan dan privasi
      • Meski sebuah layanan menyatakan tidak mencatat data pengguna tertentu, peneliti sulit memastikannya
      • Versi baru dapat tanpa sengaja meninggalkan data sensitif di log, atau load balancer yang mengakhiri TLS dapat mencatat permintaan pengguna secara massal saat pemecahan masalah
    • Sulit menyediakan transparansi runtime
      • Layanan AI cloud biasanya tidak membuka software stack yang benar-benar berjalan
      • Bahkan jika hanya menggunakan software open source, belum ada metode yang tersebar luas bagi perangkat pengguna atau browser untuk memastikan software layanan tidak dimodifikasi
    • Sulit membatasi akses berprivilege tinggi secara kuat
      • SRE dan administrator dapat menggunakan akses berprivilege tinggi seperti SSH dalam situasi gangguan atau insiden serius
      • Administrator dapat menyalin data pengguna sensitif saat mencadangkan data server live, atau pelaku kejahatan dapat mencuri kredensial administrator untuk mengambil data pengguna

Lima persyaratan desain PCC

  • Komputasi stateless atas data pengguna pribadi

    • PCC harus menggunakan data pribadi yang diterimanya hanya untuk tujuan memproses permintaan pengguna
    • Data tidak boleh diberikan kepada siapa pun selain pengguna, termasuk karyawan Apple
    • Setelah respons dikembalikan, data tidak boleh dipertahankan dalam bentuk apa pun, termasuk untuk log atau debugging

  • Jaminan yang dapat dipaksakan secara teknis

    • Jaminan keamanan dan privasi paling kuat ketika komponen penting dari keseluruhan sistem dapat dibatasi dan dianalisis
    • Jaminan inti PCC tidak boleh bergantung pada komponen eksternal seperti load balancer yang mengakhiri TLS
    • Kebutuhan operasional seperti pengumpulan metrik server dan log kesalahan juga harus didukung dengan cara yang tidak melemahkan perlindungan privasi

  • Tidak ada akses runtime berprivilege

    • PCC tidak boleh memiliki antarmuka berprivilege yang memungkinkan SRE Apple melewati jaminan privasi bahkan saat menangani gangguan
    • Cara memperluas cakupan akses berprivilege dengan memuat software tambahan saat runtime juga tidak boleh didukung

  • Non-penargetan

    • Agar penyerang dapat mengincar data pribadi pengguna PCC tertentu, mereka harus mencoba kompromi yang luas terhadap seluruh sistem PCC
    • Penyerang yang melakukan serangan fisik terhadap node PCC di rantai pasok atau mendapatkan akses pusat data juga tidak boleh bisa mengarahkan permintaan pengguna tertentu ke node yang telah dikompromikan

  • Transparansi yang dapat diverifikasi

    • Peneliti keamanan harus dapat memverifikasi dengan tingkat keyakinan tinggi bahwa jaminan keamanan dan privasi PCC sesuai dengan komitmen publik Apple
    • Mereka juga harus dapat memastikan bahwa software yang diperiksa peneliti sama dengan software yang berjalan di lingkungan produksi PCC

Node PCC dan fondasi keamanan

  • Root of trust PCC adalah hardware server yang dibuat khusus, yaitu node komputasi PCC
  • Node PCC membawa teknologi keamanan hardware yang digunakan di iPhone ke pusat data
  • Sistem operasinya adalah subset yang diperkuat berbasis iOS dan macOS, disesuaikan untuk beban kerja inferensi LLM
    • Dirancang agar attack surface tetap sempit
    • Memanfaatkan teknologi keamanan iOS seperti Code Signing dan sandboxing
  • Apple mengecualikan komponen yang umumnya penting dalam pengelolaan pusat data dari node PCC
    • Remote shell
    • Observasi internal sistem dan alat observabilitas serbaguna
  • Sebagai gantinya, Apple menggunakan komponen khusus yang secara deterministik memberikan metrik operasional kecil dan terbatas kepada staf SRE
  • Apple membuat stack machine learning baru untuk meng-host model foundation berbasis cloud dengan Swift on Server

Pemrosesan permintaan pengguna dan pencegahan retensi data

  • Karena PCC harus menggunakan data dalam permintaan pengguna untuk inferensi model, desainnya tidak dapat hanya mengandalkan enkripsi end-to-end penuh
  • Sebagai gantinya, node komputasi PCC secara teknis menegakkan privasi data pengguna selama pemrosesan, dan membuat data tidak dapat dipertahankan setelah siklus kerja selesai
  • Jaminan pemrosesan data pengguna PCC ada tiga
    • Perangkat pengguna mengirim data ke PCC hanya untuk satu tujuan, yaitu memproses permintaan inferensi
    • Data pengguna tetap berada di node PCC yang memproses permintaan hanya sampai respons dikembalikan
    • Data pengguna tidak diberikan bahkan kepada karyawan Apple yang memiliki akses administratif ke layanan produksi atau hardware
  • Saat Apple Intelligence menggunakan PCC, perangkat menyusun permintaan dengan prompt, model yang diinginkan, dan parameter inferensi
  • Klien PCC di perangkat terlebih dahulu mengenkripsi permintaan secara langsung dengan kunci publik node PCC yang telah diverifikasi dan diautentikasi secara kriptografis
    • Ini menyediakan enkripsi end-to-end dari perangkat pengguna hingga node PCC yang telah diverifikasi
    • Layanan pusat data pendukung seperti load balancer dan privacy gateway berada di luar batas kepercayaan dan tidak memiliki kunci untuk mendekripsi permintaan
  • Node PCC hanya dapat menjalankan kode yang disetujui dan diukur secara kriptografis melalui Secure Boot dan Code Signing
    • Semua kode yang dapat dieksekusi harus ditandatangani Apple dan termasuk dalam trust cache yang disetujui untuk node PCC tertentu
    • Trust cache dimuat oleh Secure Enclave dan tidak dapat diubah atau ditambahkan saat runtime
    • Pemetaan JIT tidak dapat dibuat, sehingga kompilasi atau injeksi kode saat runtime dicegah
  • Kode dan aset model menggunakan perlindungan integritas yang sama seperti yang digunakan pada Signed System Volume
  • Secure Enclave memastikan kunci dekripsi permintaan tidak dapat direplikasi atau diekstrak
  • Untuk mencegah retensi data, Secure Enclave mengacak kunci enkripsi volume data pada setiap reboot dan tidak menyimpan kunci ini secara permanen
    • Setiap kali Secure Enclave Processor pada node PCC reboot, volume data dihapus secara kriptografis
    • Proses inferensi menghapus data terkait saat permintaan selesai
    • Address space yang memproses data pengguna didaur ulang secara berkala untuk mengurangi dampak data yang secara tak terduga tersisa di memori
  • Pointer Authentication Codes dan sandboxing mempersulit exploit yang berupaya melewati jaminan, serta membatasi pergerakan lateral di dalam node PCC
  • Lapisan kontrol inferensi dan dispatch ditulis dengan Swift untuk memastikan memory safety, dan pemrosesan awal permintaan dipisahkan ke address space tersendiri

Penghapusan akses runtime berprivilege

  • Node PCC tidak menyertakan remote shell atau mekanisme debugging interaktif
  • Code Signing mencegah pemuatan kode tambahan, tetapi Apple memandang akses terbuka semacam ini sendiri sebagai attack surface luas yang dapat melewati keamanan dan privasi sistem
  • Node PCC tidak dapat mengaktifkan Developer Mode dan tidak menyertakan alat yang diperlukan untuk workflow debugging
  • Alat observabilitas dan manajemen menyertakan perlindungan privasi yang mencegah tereksposnya data pengguna
    • Tidak ada mekanisme logging serbaguna
    • Hanya log dan metrik yang telah ditentukan sebelumnya, terstruktur, dan diaudit yang dapat keluar dari node
    • Beberapa lapisan peninjauan independen digunakan untuk mencegah eksposur data pengguna yang tidak disengaja melalui mekanisme tersebut
  • Desain ini memberikan jaminan yang dapat dipaksakan bahwa hanya kode yang ditetapkan yang mengakses data pengguna, dan bahwa data pengguna tidak bocor keluar dari node PCC selama pengelolaan sistem

Non-penargetan dan respons terhadap serangan hardware

  • Model ancaman PCC mencakup penyerang canggih yang memiliki akses fisik ke node komputasi dan dapat melewati sebagian properti keamanan hardware sistem untuk mengekstrak data yang sedang diproses
  • Apple bertahan dengan dua cara
    • Menerapkan rantai pasok yang diperkuat pada hardware PCC agar serangan hardware berskala besar menjadi sangat mahal dan dapat ditemukan
    • Mencegah serangan berskala kecil digunakan untuk menargetkan data pengguna tertentu
  • Keamanan hardware PCC dimulai pada tahap manufaktur
    • Sebelum server disegel dan tamper switch diaktifkan, komponen node PCC diinventarisasi dan dilakukan pencitraan beresolusi tinggi
    • Setelah tiba di pusat data, verifikasi ulang ekstensif dilakukan sebelum provisioning PCC
    • Beberapa tim Apple melakukan cross-check data dari sumber independen, dan pengamat pihak ketiga yang tidak terkait dengan Apple turut memantau prosedur
    • Setiap node PCC diberi sertifikat kunci yang berakar pada Secure Enclave UID
    • Perangkat pengguna tidak mengirim data ke node PCC yang sertifikatnya tidak dapat diverifikasi
  • Untuk mencegah serangan yang lebih kecil dan canggih, PCC menggunakan pendekatan target diffusion
  • Metadata permintaan tidak menyertakan informasi pengenal pribadi tentang perangkat asal atau pengguna
    • Hanya berisi data konteks permintaan terbatas yang diperlukan untuk routing ke model yang sesuai
    • Hanya metadata ini yang diberikan kepada load balancer dan komponen pusat data di luar batas kepercayaan PCC
  • Metadata menyertakan kredensial sekali pakai berbasis RSA Blind Signatures, yang mengesahkan permintaan valid tanpa mengaitkannya dengan pengguna tertentu
  • Permintaan PCC melewati OHTTP relay yang dioperasikan pihak ketiga
    • Menyembunyikan alamat IP asal perangkat sebelum permintaan mencapai infrastruktur PCC
    • Mencegah penyerang mengidentifikasi permintaan melalui alamat IP atau mengaitkannya dengan individu
    • Untuk mengarahkan traffic berdasarkan IP asal, penyerang harus mengompromikan relay pihak ketiga sekaligus load balancer Apple
  • Perangkat pengguna mengenkripsi permintaan hanya untuk subset node PCC, bukan seluruh layanan PCC
    • Load balancer mengembalikan subset node yang kemungkinan siap memproses permintaan
    • Karena load balancer tidak memiliki informasi identitas pengguna atau perangkat, ia tidak dapat membiaskan set tersebut untuk pengguna tertentu
    • Meski satu node dikompromikan, node tersebut hanya dapat mendekripsi sebagian kecil dari permintaan masuk
    • Set node PCC yang dipilih load balancer dapat diaudit secara statistik

Transparansi yang dapat diverifikasi dan akses peneliti

  • Apple memandang bahwa demi kepercayaan publik terhadap PCC, peneliti keamanan harus dapat memverifikasi jaminan keamanan dan privasi secara end-to-end
  • Saat PCC diluncurkan, Apple berencana merilis image software dari semua build produksi untuk tujuan riset keamanan
  • Perangkat pengguna dirancang agar hanya mengirim data ke node PCC yang dapat membuktikan secara kriptografis bahwa mereka menjalankan software yang terdaftar secara publik
  • Rencana transparansi yang dapat diverifikasi dari Apple mencakup hal berikut
    • Mempublikasikan measurement dari semua kode yang berjalan di PCC ke transparency log kriptografis yang bersifat append-only dan tahan perubahan
    • Membuka log dan image software biner terkait agar dapat diperiksa dan diverifikasi oleh pakar privasi dan keamanan
    • Menerbitkan dan memelihara set alat resmi untuk menganalisis software node PCC
    • Memberikan imbalan atas temuan riset penting melalui Apple Security Bounty
  • Semua image software PCC produksi dibuka untuk pemeriksaan biner independen
    • Mencakup OS, aplikasi, dan executable terkait
    • Peneliti dapat memverifikasinya dengan mencocokkannya terhadap measurement di transparency log
    • Software akan dipublikasikan dalam 90 hari sejak dimasukkan ke log, atau sejak pembaruan software terkait disediakan, mana yang lebih cepat
    • Setelah sebuah rilis ditandatangani dan masuk ke log, rilis tersebut tidak dapat dihapus tanpa terdeteksi
  • Perangkat pengguna hanya membungkus kunci payload permintaan dengan kunci publik node PCC ketika measurement yang dibuktikan oleh node PCC cocok dengan rilis software di transparency log publik
  • Code Signing mencegah pemuatan software yang tidak disetujui dan memastikan semua kode di node PCC termasuk dalam attestation

Lingkungan riset PCC dan bounty

  • Apple merencanakan tiga langkah tambahan agar peneliti dapat dengan cepat memverifikasi janji privasi PCC dan menemukan masalah
    • Merilis PCC Virtual Research Environment
      • Set alat dan image untuk menyimulasikan node PCC di Mac yang dilengkapi Apple silicon
      • Dapat mem-boot versi software PCC yang dimodifikasi seminimal mungkin agar berhasil divirtualisasikan
    • Secara berkala merilis sebagian source code PCC yang penting bagi keamanan, terpisah dari image biner semua build PCC produksi
    • Untuk pertama kalinya di platform Apple, menyertakan firmware sepOS dan bootloader iBoot dalam bentuk plaintext di image PCC
  • Apple Security Bounty memberikan imbalan untuk hasil riset pada seluruh software stack PCC
  • Masalah yang melemahkan janji privasi PCC direncanakan mendapat imbalan yang sangat besar

Hal yang akan diumumkan berikutnya

  • PCC dirancang untuk memenuhi persyaratan komputasi stateless, jaminan yang dapat dipaksakan, tanpa akses berprivilege, non-penargetan, dan transparansi yang dapat diverifikasi
  • Setelah PCC tersedia dalam versi beta, penjelasan teknis yang lebih mendalam akan menyusul
  • Ke depan, Apple berencana membagikan detail teknis tambahan tentang implementasi dan cara kerja masing-masing persyaratan inti
  • Apple akan segera merilis software PCC dan PCC Virtual Research Environment untuk pertama kalinya kepada peneliti keamanan

Bacaan terkait

1 komentar

 
GN⁺ 2024-06-11
Opini Hacker News

  • Apa pun yang terhubung ke cloud atau internet, pada akhirnya Anda harus memercayai seseorang kecuali semuanya open source dan servernya terdesentralisasi
    Apple bisa saja berupaya sebaik mungkin agar tidak ada siapa pun selain mereka yang bisa mengakses data, tetapi Apple mengendalikan semua endpoint, pembaruan iPhone, dan server
    Ini mengingatkan pada tulisan “kriptografi berbasis web selalu penipuan”: https://www.devever.net/~hl/webcrypto
    Bahkan data yang disimpan secara lokal pun dapat diakses Apple jika mereka mau, dan mungkin saja begitu jika ada perintah pemerintah. Jadi menurut saya, kata “privat” lebih berarti hanya Apple yang bisa tahu, bukan berarti ada lebih banyak pihak yang tidak bisa tahu
    Alternatifnya mungkin lebih buruk karena bisa membocorkan data ke lebih banyak tempat, tetapi ini jauh dari enkripsi yang tak bisa ditembus seperti yang dipromosikan

    • Menurut saya penilaian ini tidak sepenuhnya adil, karena memasukkan Apple ke kelompok yang sama dengan Google atau OpenAI
      Google jelas melacak pengguna untuk iklan, rekomendasi, AI, dan sebagainya; mereka juga tidak menyembunyikannya, dan itu inti model bisnis mereka
      Sebaliknya, Apple tampaknya berupaya cukup serius agar karyawan tidak bisa mengakses data pengguna di sistem AI ini, dengan sangat membatasi logging dan observability, bahkan merancang chip dan sistem operasinya sendiri
      Fakta bahwa klien tidak berkomunikasi dengan sistem yang belum diaudit juga merupakan perbedaan besar
      Kita tidak bisa begitu saja memercayai kata-kata Apple, tetapi menurut saya audit pihak ketiga adalah kunci untuk memercayai dan memverifikasi privasi sistem ini
      Pernyataan “Apple tahu apa yang kamu lakukan” bernuansa bahwa seseorang di internal Apple bisa mengakses data yang berpindah dari perangkat ke private cloud, tetapi tampaknya itu tidak benar
      Fakta bahwa privasi adalah salah satu pilar besar dalam model bisnis Apple juga menjadi salah satu faktor kepercayaan. Apple telah sukses secara finansial dengan membuat produk yang menghasilkan uang lewat cara lain, dan beralih menjual data bukanlah sesuatu yang perlu maupun ide bisnis yang bagus
      Bersikap skeptis sampai ada verifikasi pihak ketiga itu wajar, tetapi tidak adil mengatakan pendekatan Apple tidak lebih baik untuk data dan privasi dibanding OpenAI atau Google
    • Untuk “harus open source dan servernya terdesentralisasi”, yang lebih tepat adalah harus open source dan bisa di-host sendiri
      Jika orang tidak bisa menjalankan servernya sendiri, mereka tidak bisa tahu apakah kode di repositori publik benar-benar sama dengan kode yang berjalan di server cloud, jadi open source saja tidak cukup
    • Kecuali Anda memverifikasi sendiri desain hardware, proses manufaktur, dan semua software, menjalankannya secara lokal pun pada akhirnya tetap berarti memercayai sangat banyak orang
    • Itu tidak benar. Jika Anda memercayai matematika, Anda bisa membuktikan bahwa software benar-benar sesuai dengan klaimnya
      Tentu saja pekerjaan verifikasi tetap diperlukan, tetapi ini tetap kemajuan besar
    • Jika harus menggunakan teknologi, Anda harus memercayai seseorang. Sejak awal berdiri, Apple berfokus pada komputer untuk individu, pesannya juga konsisten, dan rekam jejaknya lumayan
      Menurut saya, alternatif lain tercerai-berai dan kurang fokus, jadi saya akan memercayai Apple

  • Ada komentar bagus dari kriptografer Matt Green di sini: https://x.com/matthew_d_green/status/1800291897245835616?t=C...
    Entah Matt tahu atau tidak bahwa orang tidak bisa membaca tweet tanpa akun X. Akan bagus jika ia memakai BlueSky atau Mastodon
    Gabungan thread: https://threadreaderapp.com/thread/1800291897245835616.html?...

    • Jika ia benar-benar ingin tidak ada seorang pun membaca tweet-nya, ia pasti memakai BluSky atau Mastodon
    • Terutama ada dua tweet yang menonjol
      “Di postingan blog itu mungkin ada sekitar enam detail teknis lagi. Ini desain yang sangat hati-hati. Jika Anda membayar mahal tim hebat dan menyuruh mereka membuat cloud ‘privat’ terbaik di dunia, kemungkinan bentuknya akan seperti ini”
      “Tentu saja perlu diingat bahwa super-spy bukanlah musuh terbesar. Bagi banyak orang, musuh terbesar adalah perusahaan yang menjual perangkat dan software kepada mereka. Sistem PCC ini merepresentasikan janji nyata bahwa Apple ‘tidak akan mengintip’ data pengguna. Itu berarti besar”
      Saya lebih suka data tetap berada di dalam perangkat, tetapi setidaknya ini adalah komitmen besar ke arah yang benar, atau mungkin saja ke arah yang salah namun dilakukan jauh lebih baik daripada para pesaing
    • Bagian ini mengganjal: “Apple tampaknya tidak berencana memberi tahu secara eksplisit ketika data keluar dari perangkat melalui Private Compute. Pengguna tidak menyetujuinya, dan belum tentu diberi pemberitahuan. Itu terjadi begitu saja seperti sihir”
      Saya menduga akan ada opsi untuk mematikan seluruh fitur AI, baik on-device maupun off-device
      Apakah ada alasan produsen perangkat tidak menyediakan opsi khusus AI on-device? Fitur AI iOS 17 saat ini pun bisa digunakan tanpa iCloud
      Akan bagus jika Apple memakai domain unik seperti *.pcc.apple.com sehingga bisa difilter di tingkat jaringan
    • Bisa dibaca di sini tanpa akun X: https://nitter.poast.org/matthew_d_green/status/180029189724...
    • Matt sebenarnya aktif memakai akun Mastodon, tetapi sepertinya pembahasan ini belum muncul di sana: https://ioc.exchange/@matthew_d_green

  • Setelah membaca semuanya, pada akhirnya tetap bermuara pada “percayalah pada kami.” Apple bisa kapan saja menandatangani dan menyetujui pembaruan yang berisi backdoor, pemerintah bisa memaksa Apple melakukannya hanya dengan satu tanda tangan, dan semuanya bisa berjalan diam-diam
    Saya paham bahwa ada kelebihan dari apa yang dilakukan Apple. Namun jika mereka menjual kepercayaan, mereka harus 100% jujur, dan jika tidak secara transparan menyatakan bahwa kemungkinan akses data seperti ini masih ada, seluruh pesannya jadi tercemar

    • Apple sudah memiliki hak root, dan perangkat lunaknya closed source. Saat ini tidak ada cara sama sekali untuk mencegah mereka mengunggah semua data
      Jika Anda tidak bisa mempercayai pembuat sistem operasi, berarti masalahnya jauh lebih dalam daripada sekadar mengkhawatirkan pemrosesan AI off-device
    • Logika itu tidak berbeda dari apa yang bisa Apple lakukan pada iPhone. Fakta bahwa pemrosesannya dilakukan di server tidak mengubah apa pun
      Dengan satu tombol, Apple bisa membuat iPhone mengunggah data apa pun yang mereka inginkan ke server. Dengan logika itu, kita tidak boleh mempercayai apa pun, termasuk AI yang berjalan lokal. Mungkin benar, tetapi tidak praktis
      Bagian akhir thread Matthew Green merangkumnya dengan baik: “Ada kalanya kesempurnaan menghalangi sesuatu yang sangat baik. Dalam praktiknya, alternatif on-device adalah mengirim data sensitif ke OpenAI atau tempat yang lebih mencurigakan. Bagi banyak orang, musuh terbesar adalah perusahaan yang menjual perangkat dan perangkat lunaknya. PCC adalah janji nyata bahwa Apple tidak akan ‘mengintip’ data, dan itu hal besar. Kini kita bergerak ke dunia ketika sebagian ponsel tinggal di data center yang berjarak 2.000 mil, jadi orang-orang keamanan juga harus terbiasa dengan fakta itu dan membuat setiap bagiannya seaman mungkin”

  • Sangat menarik. Private Cloud Compute dari Apple secara konseptual tampaknya sama dengan proyek open source System Transparency yang saya dan rekan-rekan mulai 6 tahun lalu
    Saya menantikan lebih banyak detail teknis. Jika ada orang Apple yang melihat ini, silakan hubungi stromberg@mullvad.net. Kami bisa mendiskusikan desain kami dan desain Apple, atau memberi masukan
    Tautan terkait: https://mullvad.net/en/blog/system-transparency-future
    http://system-transparency.org
    http://sigsum.org

    • https://en.m.wikipedia.org/wiki/Confidential_computing
      Yang dilakukan Apple adalah confidential computing. Jika mencari contoh implementasinya, Anda bisa memahami lebih banyak detail teknis
    • Saat menonton pengumumannya, saya juga langsung berpikir hal yang sama dan teringat System Transparency. Saya penasaran penilaian seperti apa yang akan muncul setelah detailnya dipublikasikan dan dipahami sepenuhnya
    • Seperti Intel SGX, AMD SEV, dan teknologi baru NVIDIA, sebagian besar sistem seperti ini memakai komponen dasar yang sama, tetapi menurut saya pembeda Apple adalah kualitas implementasi dan sistem secara keseluruhan
      Apple bukan anggota Confidential Computing Consortium, tetapi ARM adalah anggota
      Saya juga cukup optimistis terhadap trusted computing, dan tampaknya momentumnya makin besar
      Akan bagus jika lebih terbuka sehingga kita bisa mengendalikan seluruh stack dan memasang root certificate atau key sendiri pada platform hardware, tetapi tetap saja ini bisa memberi banyak manfaat
      Jika Apple mendorongnya ke arus utama, saya berharap adopsinya akan makin meningkat

  • Bagian “Untuk pertama kalinya di platform Apple, image PCC menyertakan firmware sepOS dan bootloader iBoot dalam bentuk plaintext, sehingga peneliti dapat mempelajari komponen inti ini lebih mudah daripada sebelumnya” sangat bagus
    Namun bagian “perangkat lunak akan dipublikasikan dalam 90 hari sejak dimasukkan ke log, atau setelah pembaruan perangkat lunak terkait tersedia, mana yang lebih dulu” secara teori menyisakan celah hingga 90 hari antara publikasi perangkat lunak yang rentan dan kemungkinan penemuannya
    Saya berharap penyediaan image sebenarnya jauh lebih dekat ke segera daripada batas maksimum itu

    • Jika auditor yang menyebalkan terlalu banyak bertanya soal backdoor NSA atau backdoor CCP, itu bisa diselesaikan dengan jadwal memperbarui lalu mengembalikan setiap 89 hari

  • Di AS, privasi penuh itu mustahil. Sebab pemerintah tidak hanya bisa memaksa Apple membuka bagian dalamnya, tetapi juga bisa melarang mereka mengatakan fakta tersebut
    Pada dasarnya tidak ada cara bagi Apple untuk mengakali “batasan” ini. Kalau ada kesempatan, silakan berterima kasih kepada “perwakilan” Anda yang memilih memperpanjang PATRIOT Act

    • Server Private Cloud Compute tidak memiliki penyimpanan permanen, jadi meskipun bagian dalamnya dibuka, tidak akan ada yang bisa dilihat
      Untuk mengumpulkan data dari permintaan yang masuk, pemerintah mungkin perlu semacam penyadapan real-time yang diminta, dan itu bisa jadi situasi yang berbeda
      Tentu saja saya hanya seseorang di internet, dan ini sekadar bantahan yang terpikirkan terhadap kekhawatiran tersebut, jadi saya juga tidak tahu apakah arahnya benar
    • Ungkapan “open up the kimono” terdengar tidak nyaman dan menyeramkan bagi saya sebagai orang Asia. Rasanya bukan hanya saya yang merasa begitu
    • Privasi yang dijamin dan privasi yang dapat dibuktikan itu berbeda
      Pemerintah bisa saja meminta data. Namun sistem Apple akan membuat penyusupan semacam itu terungkap kepada publik, meskipun Apple sendiri tidak boleh mengatakannya
    • Hal yang bisa dilakukan Apple, dan tampaknya memang mereka lakukan di seluruh produk, adalah sejak awal tidak memiliki data yang diminta, atau tidak memilikinya dalam bentuk plaintext
      Bahkan dengan surat keamanan nasional, data yang sudah tidak ada lagi tidak bisa diminta
    • Dari tulisan Apple, tampaknya itu mungkin. Saya penasaran apakah ada bagian tertentu yang terasa mengganjal

  • Ada pertanyaan besar. Ini sebenarnya untuk siapa?
    Jangan salah paham, ini upaya yang hebat dan kerjaan nerd kelas A+. Ini barang yang berbicara dalam bahasa saya
    Tapi saya mungkin hanya akan mencari cara untuk mematikan fitur menelepon pulang. Karena dari awal saya memang tidak menginginkan perilaku seperti itu
    Apakah ini dimaksudkan agar saya berkata kepada orang lain, “Apple adalah pilihan paling aman”? Saya tidak mau merekomendasikan Linux. Karena saya tidak ingin memberi dukungan teknis
    Rasanya sekarang saya sudah menjadi orang tua yang berteriak, “jangan sentuh data saya”

    • Apple butuh diferensiasi, dan mereka memilih privasi sebagai caranya; saya setuju
      Berita utama tentang upaya AI Microsoft sebagian besar nyaris seperti mimpi buruk, dengan banyak pemberitaan buruk
      Jika pemberitaan tentang Apple AI dipenuhi cerita bahwa mereka sampai berlebihan memperhatikan keamanan dan privasi, orang-orang kemungkinan akan sedikit lebih tenang untuk menggunakannya
      Saya tidak banyak memakai produk OpenAI, tetapi kalau memakainya, saya lebih suka lewat lapisan anonimisasi Apple daripada langsung ke OpenAI
    • Bagaimana kalau ini tidak bisa dimatikan, dan keamanan ekstrem seperti ini diajukan sebagai alasannya?
    • Ini untuk para pemegang saham. Berkat demam investasi AI, kapitalisasi pasar Microsoft dan Nvidia sekarang lebih besar daripada Apple
      Apple harus menunjukkan bahwa mereka juga bisa menjadi perusahaan yang berpusat pada AI. Hanya saja Apple punya budaya organisasi yang berusaha mempertahankan privasi
    • Ini untuk orang seperti saya
      Saya tidak peduli pemerintah mengakses data. Saya hanya tidak ingin pelaku jahat seperti penipu, pemerintah asing, perusahaan teknologi iklan, dan perusahaan asuransi mengakses data pribadi saya
      Pada saat yang sama saya juga ingin memakai kemampuan LLM. Apakah itu permintaan yang begitu tidak realistis?
      Secara realistis, saya menganggap pemerintah AS sudah memiliki semua data saya. Saya tidak suka keadaan saat ini, tetapi kenyataan tetaplah kenyataan
    • Ini juga untuk para pesaing yang mendorong narasi bahwa Apple “tertinggal”
      Kenyataannya, LLM dan infrastruktur cloud berskala iPhone sudah siap, dan ini bukan sekadar pekerjaan 2 tahun
      Apple menekankan privasi seperti yang diharapkan orang dari mereka
      Gemini juga bisa mengklaim privasi, tetapi jika itu benar, orang-orang justru mungkin akan berpikir performanya lebih buruk

  • Saya penasaran bagaimana perbandingannya dengan AWS Nitro Enclaves yang sempat disebut Apple secara singkat
    Perbedaan utamanya tampaknya ada pada kemampuan verifikasi hingga level firmware
    Nitro Enclaves tidak menyediakan nilai pengukuran firmware[0] atau hypervisor, dan menyatakan bahwa kode hypervisor dapat diperbarui secara transparan kapan saja[1]
    Apple berencana menyediakan sepOS, sistem operasi Secure Enclave Processor, serta image bootloader
    Tulisan blognya tidak sepenuhnya jelas, tetapi terdengar seolah mereka juga akan menyediakan kode sumber komponen-komponen ini
    [0]: https://docs.aws.amazon.com/enclaves/latest/user/set-up-atte...
    [1]: https://docs.aws.amazon.com/pdfs/whitepapers/latest/security...

    • Nitro mengukur firmware. Jika ada firmware yang berbeda dari yang diharapkan, server pada dasarnya akan dipisahkan dari jaringan berbasis EC2 atau diinisialisasi ulang secara otomatis
      Panggilan otomatis akan dibuat, dan tim keamanan juga kemungkinan besar ikut turun tangan
      Di EC2, hypervisor bukan firmware, jadi tidak ada alasan untuk mengukur firmware hypervisor
      Firmware BIOS/UEFI pada motherboard akan ditimpa jika dimodifikasi
      Kode hypervisor, seperti semua kode, selalu ditandatangani, dan dialirkan ke server oleh kartu Nitro melalui sistem keamanan yang dapat diverifikasi dengan memanfaatkan measured boot atau secure boot
      Saya tidak tahu persis apa arti “Nitro enclaves” sebagai istilah yang menghadap pelanggan, tetapi para engineer EC2 akan bergerak seperti pasukan lewat panggilan jika bahkan risiko keamanan kecil saja terdeteksi
      Hal-hal mendasar seperti ini sudah ditangani, bahkan sampai tingkat memastikan data pelanggan nyata tidak masuk ke core dump, bahkan dalam bentuk terenkripsi
    • AWS harus melakukan ini karena silicon buatannya sendiri. Intel, ARM, dan AMD menyediakan attestation di level firmware dan hypervisor

  • Saya sangat ingin melihat sistem operasi ini, dan saya optimistis secara hati-hati karena ini bisa menjadi kasus pertama perusahaan teknologi besar benar-benar menyediakan jaminan keamanan yang dapat diaudit
    Bergantung pada perkembangannya, Apple mungkin bisa benar-benar memperoleh sebagian dari kepercayaan yang sudah dimiliki pengguna terhadapnya, dan itu hal yang cukup keren
    Yang lebih keren lagi adalah menyediakan audit untuk seluruh rantai pengelolaan, dan untuk itu tampaknya sebagian bagian lain dari stack juga harus dibuka
    Terutama jika, sesuai janjinya, sistem operasi cloud ini menjadi open source, nilainya akan sangat besar
    Kekhawatiran utama saat ini adalah jika virtualisasi digunakan dalam deployment nyata, Secure Enclave pada bagian sistem operasi yang masih proprietary yang berjalan di perangkat pengguna akan menyerahkan kunci, dan hypervisor yang tidak kita audit bisa saja memiliki backdoor untuk mengakses container
    Orang-orang dengan keahlian keamanan yang lebih tinggi akan mengajukan pertanyaan yang lebih baik
    Jika Apple merespons masukan para peneliti, lebih banyak bagian dari toolchain ini bisa menjadi dapat diaudit
    Bahkan jika kita tidak dapat memverifikasi keamanan use case yang disetujui Apple, sistem operasi cloud ini bisa menjadi kemajuan besar dalam penalaran keamanan dan cloud yang aman, dan orang-orang juga bisa menghostingnya secara independen atau membuat turunannya
    Skenario terburuknya adalah Apple sebenarnya tidak melakukannya, tetapi setidaknya tampaknya cukup mungkin mereka akan menepati janji itu. Maka bahkan skenario terburuknya menjadi “muncul codebase open source yang sangat bermanfaat untuk komputasi aman berskala besar”, dan itu tetap hal yang baik apa pun yang terjadi pada bagian lain

    • AWS Nitro Enclaves[0] juga merupakan contoh yang dekat, tetapi yang besar dari Apple adalah mereka memprodukkan private compute untuk lebih dari 1 miliar pelanggan macOS dan iOS
      [0] https://docs.aws.amazon.com/enclaves/latest/user/nitro-encla...
    • Industri teknologi suka meniru Apple
      Asahi Linux memiliki ringkasan keamanan rantai boot on-device yang tersusun baik: https://github.com/AsahiLinux/docs/wiki/Apple-Platform-Secur...
      Kalimat “Kami akan merilis PCC Virtual Research Environment. Ini adalah satu set tool dan image yang dapat mensimulasikan node PCC di Apple silicon Mac, dan mem-boot versi software PCC yang dimodifikasi secara minimal agar virtualisasi berhasil” tampaknya berarti node PCC berjalan di bare metal
      Apakah node PCC juga bisa disimulasikan di iPad Pro dengan M4 Apple Silicon?

  • Bagian “Terakhir, kami menggunakan Swift on Server untuk membuat stack machine learning baru untuk hosting foundation model berbasis cloud” menarik
    Munculnya Swift on Server di sini cukup mencolok: https://www.swift.org/documentation/server/