Microsoft memantau pengguna alat AI miliknya

• Microsoft mengumumkan telah mendeteksi bahwa peretas dari Tiongkok, Rusia, dan Iran menggunakan alat AI miliknya untuk meningkatkan kemampuan peretasan mereka
• Microsoft dan OpenAI melacak penggunaan LLM oleh aktor yang berafiliasi dengan negara seperti Forest Blizzard, Emerald Sleet, Crimson Sandstorm, Charcoal Typhoon, dan Salmon Typhoon
• Schneier menilai alasan Microsoft atau OpenAI dapat mengetahui hal ini adalah karena memantau sesi chatbot
• Ada kemungkinan ketentuan layanan mencakup hak observasi semacam itu, dan layanan AI lain juga mungkin dapat melacak pola penggunaan serupa
• Pengguna alat AI perlu menilai sensitivitas keamanan dengan asumsi bahwa input dan sesi mereka dapat diamati oleh penyedia layanan

---

Pengumuman Microsoft dan penggunaan alat AI

• Microsoft mengumumkan bahwa peretas dari Tiongkok, Rusia, dan Iran berusaha meningkatkan kemampuan peretasan mereka dengan menggunakan alat AI miliknya
• Dari konteksnya, alat AI tersebut diduga merupakan alat pemrograman

Kelompok penyerang yang dilacak bersama OpenAI

• Microsoft membagikan intelijen ancaman yang dideteksi melalui kerja sama dengan OpenAI
• Menurut laporan tersebut, kelompok yang dilacak sebagai aktor yang berafiliasi dengan negara memperkuat operasi siber mereka dengan LLM
  • Forest Blizzard
  • Emerald Sleet
  • Crimson Sandstorm
  • Charcoal Typhoon
  • Salmon Typhoon

Interpretasi tentang pemantauan sesi chatbot

• Schneier menilai bahwa satu-satunya cara Microsoft atau OpenAI bisa mengetahui penggunaan AI oleh para penyerang adalah dengan melihat ke dalam sesi chatbot
• Ada kemungkinan ketentuan layanan mencakup kewenangan semacam itu
• Selain Microsoft dan OpenAI, perusahaan AI lain juga dapat memantau pola penggunaan, dan pengumuman ini dipandang sebagai kasus yang mengonfirmasi kemungkinan tersebut

Penjelasan tambahan tentang istilah “spying”

• Pada edit 22 Februari, ditambahkan penjelasan tentang penggunaan kata “spying”

[GN⁺]

Opini Hacker News

• Untuk menyebut ini tindakan mata-mata, orang perlu membaca ulang ketentuan OpenAI API. Kalau mengaku “hacker” tapi tetap memakai API itu, itu lebih dekat ke tanggung jawab sendiri
  OpenAI menyatakan bahwa mereka dapat menyimpan input dan output API secara aman hingga 30 hari untuk menyediakan layanan dan mendeteksi penyalahgunaan, lalu setelah 30 hari menghapusnya dari sistem kecuali ada kewajiban penyimpanan hukum. Untuk kasus penggunaan yang memenuhi syarat, zero data retention (ZDR) juga bisa diminta
  Sumber: https://openai.com/enterprise-privacy

  • Meski begitu, dibandingkan layanan online sebelum LLM, kebijakan privasinya sangat buruk
    Misalnya kebijakan Google Docs di https://support.google.com/docs/answer/10381817?hl=en mengatakan bahwa “Google menghormati privasi pengguna, dan hanya mengakses konten nonpublik jika ada izin atau diwajibkan secara hukum”
    Masuk akal untuk mengharapkan standar yang sama dari penyedia LLM API, dan tidak baik bahwa saat ini mereka mengawasi pengguna dalam skala besar
  • Ketentuan Azure berbeda. Penyimpanan data juga bisa ditolak: https://learn.microsoft.com/en-us/legal/cognitive-services/o...
  • Klausul seperti ini tidak terlalu unik, dan cukup umum di seluruh layanan cloud termasuk GCP, AWS, dan Azure
    Terutama di area layanan machine learning/AI, ini makin lazim, dan sulit melihat ketentuan ini sebagai sesuatu yang berada di luar akal sehat

• Lucu bagaimana itu diparafrasekan menjadi “Microsoft mengawasi pengguna alat AI.” Yang sebenarnya terjadi adalah pemerintah musuh dari negara otoriter memakai alat AI untuk aktivitas ilegal, dan Microsoft mengetahuinya; pelacakan semacam ini tercantum dalam ketentuan, dan pengguna harus mengeklik “setuju”
  Judul berikutnya mungkin kira-kira “Stasiun TV besar mengawasi pemain sepak bola selama pertandingan Champions League”

  • Hanya karena itu jelas bagi kita, bukan berarti jelas bagi semua orang
    Judul yang provokatif pun bisa dibenarkan, dan fakta bahwa hal ini umum bukan berarti harus diterima. Saya menyambut makin luasnya kesadaran bahwa ketentuan sepihak semacam ini memungkinkan tindakan yang bermusuhan terhadap pengguna
  • Bisakah memakai alat-alat itu tanpa menekan “ya”?
  • Ditambah lagi Microsoft sengaja membuat laboratorium riset AI di Tiongkok. Tidak masuk akal
  • Ini juga bukan “pengguna” acak, melainkan Bruce Schneier
  • Saya sangat setuju bahwa cerita ini bukan hal besar
    Namun yang justru terlihat seperti berita adalah bahwa kalimat seperti “Microsoft mengawasi X” kini diterima sebagai proposisi yang jelas dengan sendirinya. Dengan kata lain, “mata-mata mengawasi X” berarti “Microsoft = mata-mata”, dan itu akan terbaca demikian bukan hanya dalam konteks ini, melainkan dalam semua konteks
    Setelah itu, faktor seperti ketentuan, legalitas, ilegalitas, permusuhan, atau keramahan semuanya menjadi sekunder

• Google Bard, maksudnya Gemini, menyatakan hal ini dengan sangat jelas di halaman depannya
  “Untuk meningkatkan teknologi yang menjalankan Gemini Apps, percakapan Anda diproses oleh peninjau manusia. Jangan masukkan apa pun yang tidak ingin ditinjau atau digunakan.”
  Dijelaskan bahwa hanya dengan bercakap-cakap, pengguna ikut berkontribusi pada peningkatan layanan Google, termasuk model machine learning yang menjalankan Gemini, dan dalam proses itu peninjau terlatih harus memproses percakapan. Konten Google Workspace seperti Gmail atau Drive tidak ditinjau atau digunakan untuk meningkatkan Gemini, dan jika ingin percakapan mendatang tidak ditinjau atau dipakai untuk meningkatkan model machine learning, pengguna bisa mematikan Gemini Apps Activity

  • Akan lebih baik jika Google menjelaskan dengan lebih tegas apakah mereka benar-benar mendukung cara penggunaan yang tidak diawasi
    Di sini kelihatannya hanya sekitar setengah jelas

• Bisa juga dipersingkat saja menjadi “Microsoft mengawasi pengguna”
  Kalau memakai produk Microsoft modern, berarti Anda mengirim banyak data, dan selesai sampai di situ

  • Jika digeneralisasi lagi, “semua orang mengawasi pengguna, dan begitulah cara internet bekerja”

• Benar. Mereka cukup jelas mengatakan bahwa mereka memantau penyalahgunaan, dan periodenya 30 hari
  Saya tidak tahu kenapa ini mengejutkan

  • Di antara kasus yang bukan hal besar, ini termasuk cukup moderat dan mudah diperkirakan. Kalau memakai platform yang sepenuhnya berjalan di backend ter-hosting, semuanya memang bisa dicatat dan disimpan
    Dibandingkan itu, Nvidia mengirim semua nilai title bar dan setiap klik ke server, dan meskipun ditolak, tetap diklasifikasikan sebagai “wajib” lalu dikirim. Itu mungkin spyware paling invasif di antara yang terpasang saat ini

• Jika Anda berbicara dengan alat AI lewat berbagai kanal sosial, misalnya Facebook, Twitter, Instagram, SMS, dan sebagainya, Anda harus berasumsi bahwa chat itu dibaca secara aktif bukan hanya oleh karyawan perusahaan tersebut, tetapi juga oleh tim marketing perusahaan itu dan mitra eksternal
  Tentu saja mereka mungkin terikat kontrak, tetapi hal yang ditanyakan orang kepada chatbot mencakup informasi kesehatan, informasi seksual, bahkan hal-hal yang sangat pribadi yang biasanya hanya akan dikatakan kepada terapis. Namun itu juga dapat dibaca oleh anak magang marketing berusia 22 tahun, berupa plaintext yang tidak terenkripsi, bisa disalin/ditempel, dan dapat ditautkan dengan nama/ID pengguna

• Saya sama sekali tidak memercayai Microsoft, tetapi ini tidak mengejutkan, sama seperti ketika mendengar OpenAI, Google, dan lainnya melakukan hal semacam ini
  Bukan berarti itu bisa dibenarkan. Menurut saya sekarang saatnya semua pihak mengubah sikap privasi mereka sehingga membaca percakapan chat hanya boleh dilakukan ketika pengguna memberikan izin yang eksplisit dan dapat dicabut

• Orang yang memakai alat semacam ini pada dasarnya secara sukarela meminta seluruh datanya disedot. Kalau hal seperti ini mengkhawatirkan, satu-satunya cara yang layak dipakai adalah AI yang berjalan secara lokal

• AI dibangun di atas data. Makin banyak yang diawasi, makin banyak data untuk melatih AI; makin banyak dilatih, makin baik dan makin bernilai; makin banyak orang yang memakainya, lalu mereka kembali memberikan data, membentuk siklus

• Ini bahan yang mudah untuk memancing kemarahan
  Semua platform seperti ini sedang mengeruk input untuk melatih model berikutnya. Kalau begitu, bukankah sudah jelas mereka juga akan melakukan deteksi penyalahgunaan