- Tidak ada bukti jelas untuk anggapan umum bahwa smartphone terus-menerus menyadap percakapan untuk menampilkan iklan; penargetan iklan yang sebenarnya lebih dekat pada penggabungan data lokasi, relasi, dan perilaku
- Kontroversi Active Listening Cox Media Group pada 2024 meluas karena materi tentang “real-time intent data” dan penggunaan data suara, tetapi perusahaan teknologi besar mengambil jarak dari CMG dan CMG menghentikan produk tersebut
- Eksperimen Wandera pada 2019 memutar audio iklan makanan hewan peliharaan masing-masing selama 30 menit ke iPhone dan Samsung Galaxy, lalu membandingkan tayangan iklan, penggunaan data, baterai, dan aktivitas latar belakang, tetapi tidak menemukan jejak unggahan mikrofon secara terus-menerus
- Peneliti Northeastern University memeriksa lebih dari 17.000 aplikasi Android dan tidak menemukan kasus mikrofon diam-diam diaktifkan, tetapi menemukan masalah privasi yang lebih langsung: sebagian aplikasi mengirim screenshot dan rekaman layar ke pihak ketiga
- Platform seperti Facebook dapat memprediksi minat dengan data pribadi berskala besar seperti pelacakan lintas perangkat, relasi pertemanan, lokasi, informasi pembelian, serta metadata panggilan dan SMS Android, sehingga sistem iklannya lebih sulit dipahami dan lebih buram daripada sekadar penyadapan
Mengapa teori penyadapan smartphone terus muncul
- Ketika melihat iklan yang sangat cocok dengan percakapan yang baru saja terjadi di media sosial, tafsir paling sederhana tampak seperti penyadapan mikrofon
- Cerita bahwa Facebook, Google, dan Apple mendengarkan kata kunci dari percakapan pribadi lalu menampilkan iklan yang dipersonalisasi telah menjadi teori konspirasi teknologi yang lama bertahan
- Namun, selain kasus-kasus anekdotal, tidak ditemukan bukti jelas bahwa smartphone terus-menerus mendengarkan percakapan pribadi dan menggunakannya untuk iklan
Kontroversi Active Listening pada 2024
- Dalam materi yang diungkap 404 Media pada 2024, Cox Media Group(CMG) memperkenalkan sistem bernama Active Listening
- Materi itu memuat klaim bahwa “real-time intent data” bisa diperoleh melalui mikrofon perangkat pintar
- CMG menilai “voice data” dapat diproses dengan AI dan digabungkan dengan “behavioral data” lain untuk menyediakan iklan yang sangat tertarget
- Bagaimana Active Listening benar-benar bekerja tidak jelas
- Segera setelah kontroversi itu, perusahaan teknologi besar mengambil jarak dari CMG
- Amazon menyatakan tidak pernah bekerja dengan CMG sebagai mitra iklan
- Google dan Meta memutus hubungan dengan CMG
- CMG menyatakan menghentikan produk Active Listening “untuk menghindari kesalahpahaman”
- Dalam batas yang dapat dipahami, sistem CMG tampaknya bukan cara mendengarkan mikrofon ponsel 24 jam, melainkan lebih dekat pada pemanfaatan potongan suara pendek yang dikirim ke cloud setelah kata pemicu seperti “Hey Google” atau “Hey Siri”
Kontroversi transkripsi Facebook Messenger dan kesalahpahaman
- Pada 2019, laporan Bloomberg mengungkap bahwa Facebook menyerahkan percakapan audio di Facebook Messenger kepada kontraktor eksternal untuk ditranskripsikan
- Facebook mengatakan itu adalah prosedur untuk menguji akurasi algoritme transkripsi otomatis, dan pengguna yang opt-in ke fitur transkripsi mengetahui adanya kemungkinan peninjauan oleh manusia
- Sebagian laporan mempertanyakan seberapa transparan pemberitahuan Facebook
- Peristiwa ini menyebar dengan judul seperti “Facebook mendengarkan percakapan pribadi”, sehingga kembali memperbesar teori penyadapan mikrofon untuk iklan
- Pada April 2018 di Kongres AS, Mark Zuckerberg menjawab “kami tidak melakukan itu” ketika ditanya apakah Facebook mendengarkan pengguna melalui mikrofon dan memanfaatkannya untuk iklan
- Facebook juga menyatakan pada 2016 bahwa pihaknya tidak menggunakan mikrofon ponsel untuk iklan atau News Feed, dan iklan didasarkan pada minat serta informasi profil pengguna
Eksperimen Wandera: penggunaan data tidak cocok
- Perusahaan keamanan mobile Wandera melakukan eksperimen sederhana pada 2019 untuk memeriksa apakah smartphone terus mendengarkan percakapan
- Mereka menaruh iPhone dan Samsung Galaxy di sebuah ruangan, lalu memutar audio iklan makanan hewan peliharaan selama 30 menit per hari selama 3 hari
- Banyak izin aplikasi diaktifkan
- Ponsel yang sama juga ditempatkan di ruangan sunyi sebagai kelompok kontrol untuk dibandingkan
- Eksperimen itu memeriksa dua hal
- Apakah iklan makanan hewan peliharaan muncul di feed aplikasi setelah eksperimen
- Penggunaan data, penggunaan baterai, dan aktivitas latar belakang dilacak
- Tidak ada aplikasi yang menampilkan iklan makanan hewan peliharaan
- Perbedaan penggunaan data, penggunaan baterai, dan aktivitas latar belakang antara ruangan audio dan ruangan sunyi juga hampir tidak ada
- James Mack dari Wandera mengatakan data pengujian selama 30 menit jauh lebih rendah daripada penggunaan data asisten virtual, yang mengindikasikan bahwa aplikasi yang diuji tidak melakukan perekaman terus-menerus dan unggahan ke cloud
- Mantan manajer produk Facebook Antonio Garcia-Martinez juga menghitung dalam tulisan di Wired bahwa pengawasan mikrofon membutuhkan penggunaan data pada tingkat yang sulit disembunyikan
- Panggilan VoIP satu arah membutuhkan sekitar 24 kbps, atau sekitar 3 kB data per detik
- Jika diasumsikan ponsel menyala selama setengah hari, itu menjadi sekitar 130 MB per pengguna per hari
- Dengan 150 juta pengguna aktif harian di AS, dibutuhkan sekitar 20 PB per hari
- Total penyimpanan data Facebook disebut sekitar 300 PB, dengan pengumpulan harian sekitar 600 TB
- Ada sanggahan bahwa kata kunci cukup dideteksi secara lokal di perangkat, tetapi dibantah bahwa kata kunci iklan yang harus dilacak Facebook berjumlah jutaan dan beban CPU akan terlihat, sehingga sulit disembunyikan
Pelacakan yang lebih langsung daripada mikrofon: tangkapan layar
- Jingjing Ren dan Elleen Pan dari Northeastern University merancang penelitian pada awal 2017 untuk menyelidiki apakah smartphone mendengarkan percakapan pengguna secara diam-diam
- Para peneliti tidak menemukan kasus mikrofon diam-diam diaktifkan
- Sebaliknya, mereka menemukan sejumlah aplikasi yang secara otomatis menangkap layarnya sendiri dan mengirimkannya ke pihak ketiga
- Christo Wilson menyatakan tidak ada kebocoran audio sama sekali, dan dalam satu kasus sebuah aplikasi mengirim video aktivitas layar ke pihak ketiga
- Dari lebih dari 17.000 aplikasi Android, lebih dari 9.000 memiliki potensi izin untuk mengambil screenshot
- David Choffnes mengatakan tangkapan layar bisa lebih buruk daripada kamera yang merekam langit-langit atau mikrofon yang merekam percakapan tanpa makna, dan tidak ada cara mudah untuk menutup celah privasi ini
Penargetan iklan sudah memiliki data yang cukup
- Facebook memiliki cara yang lebih baik untuk menargetkan pengguna lewat sinyal lemah tanpa keajaiban teknis melalui mikrofon
- Garcia-Martinez menilai Facebook dapat menemukan pengguna di semua perangkat yang pernah dipakai untuk mengakses Facebook, serta memanfaatkan informasi yang diketahui peritel hingga pembelian tunai offline
- Data yang dapat dimanfaatkan platform sangat beragam
- Lokasi pengguna saat ini
- Relasi pertemanan dan minat teman-teman mereka
- Informasi tentang dengan siapa pengguna menghabiskan waktu
- Pelacakan di berbagai perangkat
- Metadata panggilan dan SMS dari ponsel Android
- Kemungkinan pelacakan atas input yang diketik lalu dihapus tanpa benar-benar dikirim
- Ketika data seperti ini diproses oleh algoritme, platform dapat memprediksi apa yang mungkin sedang dibicarakan pengguna dan teman-temannya, lalu menampilkan iklan yang sesuai dengan kebutuhan saat itu
- Algoritme iklan tidak sempurna, dan iklan yang sama sekali tidak sesuai minat juga sering muncul
- Meski begitu, karena sebagian iklan terasa sangat menyeramkan akurasinya, pengguna mudah menerima penjelasan sederhana berupa penyadapan mikrofon
Perbedaan asisten suara dan perekaman terus-menerus
- Perangkat pintar yang dikendalikan suara, dalam arti tertentu, hampir selalu “mendengarkan” pengguna
- Namun cara kerjanya berbeda dari perekaman terus-menerus
- Perangkat mendeteksi kata pemicu seperti “Hey Google” secara lokal
- Ketika kata pemicu terdeteksi, perangkat menyala sebentar dan merekam data suara beberapa detik setelahnya
- Data ini dikirim ke cloud untuk memproses respons, lalu hasilnya dikirim kembali ke perangkat
- Transfer data seperti ini dapat dideteksi dan dilacak
- Masalahnya bukan penyadapan mikrofon, melainkan sulitnya manusia memahami bagaimana algoritme kompleks yang melacak begitu banyak titik data pribadi menentukan waktu kemunculan iklan
- Rasa tidak nyaman dari iklan smartphone berasal dari pelacakan data yang kompleks dan buram, bukan dari penyadapan sederhana
1 komentar
Opini Hacker News
Tulisan ini mengingatkan pada satir hebat yang ditulis Jonathan Zeller di McSweeney's: Calm Down—Your Phone Isn’t Listening to Your Conversations. It’s Just Tracking Everything You Type, Every App You Use, Every Website You Visit, and Everywhere You Go in the Physical World
https://www.mcsweeneys.net/articles/calm-down-your-phone-isn...
Mirip dengan Facebook yang mengatakan “kami tidak pernah menjual data” (kami hanya melacak Anda dan menjual iklan dengan data itu). Rasanya pasti ada kalimat untuk berkelit seperti “kami tidak pernah mendengarkan audio” (hanya saja kami menganalisisnya untuk meningkatkan penjaminan mutu)
Saya yakin Toshiba Fire TV saya mendengarkan semua percakapan dalam jangkauan dengar meski saya tidak memakai remote suara, lalu menjualnya ke jaringan iklan. Tentu saja mungkin ia juga melakukan pengenalan layar seperti yang disebut artikel asli, tetapi yang saya maksud adalah pengumpulan percakapan real-time orang-orang di ruangan lewat mikrofon
Dulu saya pernah mengungkap bahwa Google mengumpulkan data dalam skala besar dari Twitter, sehingga hanya dengan memasukkan handle Twitter ke kotak pencarian Google Maps, lokasi-lokasi tempat Twitter digunakan bisa ditampilkan
Bahkan ketika berbagi lokasi dimatikan di Twitter, Google tetap mengetahui lokasi itu, jadi ini hanya mungkin jika Twitter memberikan informasi tersebut kepada Google secara privat. “Eksperimen” itu kemudian dihentikan, tetapi karena pengungkapan seperti ini dan berbagai aktivitas lain, saya kehilangan akun Twitter secara permanen. Setelah beberapa kali meminta pemulihan karena merasa ditangguhkan permanen tanpa alasan yang sah, X Support akhirnya tampaknya mengarahkan semua banding saya langsung ke tempat sampah digital. Sekarang tidak ada lagi yang mengejutkan
Pada saat saya menulis ini, judul halamannya adalah “Your phone isn’t secretly listening to you, but the truth is more disturbing”, dan judul postingan ini saat ini juga sama
Namun setelah dibaca, tulisan itu pada dasarnya hanya berfokus pada Facebook. Ungkapan “ponsel Anda tidak diam-diam mendengarkan” bisa membingungkan. Artikel ini tidak membuktikan bahwa ponsel tidak mendengarkan, hanya membahas bahwa sebagian perusahaan mungkin tidak melakukannya. Secara realistis, ponsel sangat mungkin saja mendengarkan. Ada banyak malware/spyware yang melakukannya dengan memanfaatkan kerentanan, dan ada juga contoh seperti NSO Group. Selain alat yang bisa dibeli di pasar terbuka, Mossad, NSA, dan badan-badan intelijen besar semestinya dianggap memiliki alat yang lebih kuat lagi. Ponsel Anda bisa saja secara mutlak mendengarkan Anda, tetapi mungkin tidak demikian
https://www.bloomberg.com/news/features/2023-01-24/nso-group...
https://www.britannica.com/topic/Pegasus-spyware
https://citizenlab.ca/2016/08/million-dollar-dissident-iphon...
https://newatlas.com/computers/smartphone-listening-conversa...
https://www.bloomberg.com/news/features/2023-01-24/nso-group...
Namun jika situasinya sudah sampai level itu, rasanya hal tersebut termasuk bagian kecil dari daftar kekhawatiran
Sebagai catatan, TV “smart” juga mengirim screenshot
[0] https://dl.acm.org/doi/10.1145/3646547.3689013
Ada pernyataan bahwa “aplikasi secara otomatis mengambil screenshot layarnya sendiri dan mengirimkannya ke pihak ketiga, dan dalam satu kasus merekam video aktivitas layar lalu mengirimkannya ke pihak ketiga”, serta bahwa dari lebih dari 17.000 aplikasi Android, lebih dari 9.000 memiliki potensi izin untuk mengambil screenshot. Izin apa itu, dan bagaimana cara mendeteksi serta mencegah aplikasi yang melakukan hal seperti itu?
Yang dibicarakan tulisan itu tampaknya adalah kasus ketika aplikasi mengambil screenshot jendelanya sendiri. Ini tentu saja bisa dilakukan dan sama sekali tidak memerlukan izin. Cukup buat bitmap sebesar layar lalu jalankan
getWindow().getDecorView().draw(new Canvas(bitmap));. Masuk akal bahwa SDK iklan/pemasaran/pelacakan pihak ketiga yang tertanam di banyak aplikasi bisa melakukan hal semacam ini.Namun mereka melakukan analisis statis terhadap 9.100 dari 17.260 aplikasi untuk menilai hal-hal seperti “apakah API media dirujuk dalam kode aplikasi sebenarnya”, lalu memakai analisis dinamis untuk memastikan apakah aplikasi benar-benar memanggil API tersebut. Artinya mereka membedakan kasus ketika library hanya ditautkan tetapi tidak dipanggil oleh aplikasi. Ringkasan artikelnya buruk. Bukan “memiliki potensi izin untuk mengambil screenshot”, melainkan seharusnya “memiliki potensi untuk mengambil screenshot”.
Kemungkinan besar ini adalah kombinasi beberapa izin, seperti izin koneksi jaringan dan izin untuk menangkap layar tanpa terlihat jelas oleh pengguna.
Sangat berguna untuk memperbaiki bug, tetapi juga sangat besar kemungkinannya disalahgunakan atau dipakai secara bermusuhan terhadap pengguna.
Sepertinya orang-orang mengabaikan biaya dan akurasi ketika mengklaim bahwa ponsel mendengarkan 24 jam sehari. Setidaknya dengan keterbatasan saat ini, kemungkinan hal itu terjadi sangat rendah.
Transkripsi audio tidak gratis dan biaya komputasinya besar. Jaringan iklan atau layanan berskala besar sulit menanggungnya, terutama organisasi yang sangat memperhatikan unit economics. Akurasinya juga akan buruk. Sebagian besar ponsel berada di dalam saku dan hampir tidak menangkap apa pun. Selain itu, percakapan biasa jarang berisi hal yang bernilai bagi pengiklan, sementara Google mencetak uang berkat pencarian yang menunjukkan niat membeli. Rasio sinyal terhadap noise pada percakapan umum jauh lebih rendah, sehingga unit economics-nya makin buruk. Selain itu, kalau hal ini benar-benar terjadi, tidak mungkin sulit diketahui. Ponsel akan panas, baterai cepat habis, dan data yang dipakai banyak. Di iOS, indikator penggunaan mikrofon terlihat, dan jika sebuah aplikasi memakai terlalu banyak sumber daya di latar belakang, sistem operasi kemungkinan akan mematikannya. Sampai ada kasus nyata yang ditemukan, ini tidak layak dikhawatirkan.
Perangkat semacam itu bisa menjalankan model transkripsi secara lokal dan hanya mengirim teks hasilnya, wajar memakai cukup banyak daya dan internet pada waktu acak, misalnya smart TV.
Membuat word cloud itu sepele dan dampaknya pada baterai mungkin minimal.
Bagaimana jika yang direkam hanya audio dari target “bernilai tinggi”, yaitu orang-orang yang banyak membeli barang? Bisa jadi hanya mereka yang layak direkam, sehingga pengujian acak dengan ponsel yang biasanya baru dan bersih tidak mendeteksi peristiwa perekaman.
Ini bukan ponsel melainkan TV, tetapi kemarin YouTube setidaknya cukup mencurigakan.
Pertama, cukup jelas bahwa meskipun riwayat tontonan dimatikan, YouTube tetap memanfaatkan riwayat akun lain yang mengakses dari IP yang sama untuk rekomendasi. Jika tidak ada riwayat, rekomendasi beranda memang mati, tetapi ketika saya melakukan pencarian, muncul video-video yang sama sekali tidak terkait dari kanal panjat tebing yang pernah ditonton istri saya dengan akun lain. Saya tidak pernah menonton konten panjat tebing dengan akun ini. Yang kedua adalah sisi “mendengarkan”. Saya sedang berbicara dengan petugas pengendalian hama yang datang untuk layanan kuartalan, sambil menunjukkan bekas luka dari kejadian akhir tahun lalu ketika saya jatuh saat turun dengan skateboard di bukit yang terlalu berat untuk saya. Kurang dari 5 menit kemudian, saya menyalakan TV dan membuka YouTube, lalu rekomendasi pertama di akun istri saya adalah video orang jatuh saat naik longboard dengan kecepatan 50 mil per jam. Memang bukan rahasia bahwa kami berdua bermain skate dan akun ini banyak menonton video downhill, tetapi video kecelakaan tidak pernah kami cari, tonton, atau dapatkan sebagai rekomendasi sebelumnya, lalu direkomendasikan 5 menit setelah kami membicarakannya di depan TV itu.
Omong kosong. Ada eksperimen sederhana yang pernah saya coba dan masih berfungsi.
Dulu di YouTube Inggris, iklan pembersihan kotoran telinga muncul sangat sering dan benar-benar menjijikkan. Sebagai eksperimen sekaligus bercanda, saya memberi tahu dua teman dekat betapa menjijikkan dan merusak seleranya iklan itu, lalu sengaja mengulang “ear wax removal” beberapa kali dengan keras. Dan benar saja, sehari kemudian teman saya mengirim pesan kira-kira “aku benar-benar benci kamu”. Ponsel teman-teman saya Android dan iOS, dan sepertinya yang terkena dampak adalah pengguna Android.
Perangkat lunak iklan yang berjalan di ponsel punya jutaan cara untuk menghubungkan profil dan menyebarkan “infeksi” ke teman. Akses lokasi default adalah yang paling penting; alamat IP yang sama (WiFi teman?), berada di dekat beacon Bluetooth yang sama, SSID tersimpan yang sama, atau teman kebetulan melihat iklan dengan target demografis luas, semuanya jauh lebih masuk akal daripada “ponsel mendengarkan 24 jam sehari”.
Apakah Anda tidak melihat bias dan kekeliruan dalam komentar Anda sendiri?
Pada minggu pertama dari kampanye 4 minggu, semuanya mengabaikan, tetapi sekitar minggu keempat kalian sudah terlalu sering melihatnya sampai tertanam di kepala.
Yang menciptakan korelasi pun bukan manusia. Seperti halnya transformer bisa mempelajari sebagian besar pengetahuan manusia hanya lewat prediksi token, tidak mengherankan jika sistem machine learning untuk penyajian iklan juga telah mempelajari manusia dengan tingkat detail yang kurang lebih serupa.
Sekitar 10 tahun lalu, state of the art saat itu adalah memprediksi rasio klik berdasarkan konteks yang tersedia seperti profil pengguna, situs web saat ini, dan kata kunci dengan akurasi empat angka 9; ini ditafsirkan sebagai perlunya model pembelajaran yang cukup akurat tentang perilaku manusia. Saya sudah keluar dari industri itu, jadi tidak tahu state of the art teknologi iklan saat ini, tetapi kemungkinan sudah lebih maju. Model dilatih dengan data label otomatis berdasarkan rasio klik nyata terbaru (skala GB per detik), dan jumlah data latihnya kira-kira sebanding dengan LLM berukuran kecil. Sebagai anekdot terbaru, tiga orang duduk di meja makan dengan ponsel diletakkan di luar dan membicarakan topik burung yang langka, lalu tak lama kemudian topik itu muncul di aliran iklan Facebook salah satu dari mereka. Penjelasan yang mungkin: banyak aplikasi menautkan banyak pustaka pengumpulan data pihak ketiga dan iklan, dan salah satunya bisa saja mengumpulkan serta menjual ulang data konteks yang cukup untuk membuat korelasi; juga mungkin teman-teman lain baru-baru ini membicarakan topik itu, dan tautan jejaring sosial menyimpulkan bahwa kami akan mengetahuinya. Kemungkinan ketiga yang lebih jauh adalah model sudah cukup bagus untuk menyimpulkan ucapan dari side channel aneh seperti akselerometer, misalnya dari gerakan tangan saat orang berbicara. Kecepatan sampling akselerometer memang di bawah 1 KHz tetapi di atas 100 Hz, jadi jika dilemparkan ke model raksasa, mungkin saja cukup
Jika rasio klik dari 1.000.000 tayangan iklan adalah 24,5898% dan machine learning memprediksi 25,1926%, itu akurasi berapa angka 9?
Di perusahaan lama, kami membuat SDK aplikasi mobile yang cukup populer dan dimasukkan developer aplikasi ke dalam aplikasi mereka
Ada sebuah perusahaan yang mendekati kami dan mengklaim memiliki teknologi pengenalan audio yang katanya dikembangkan di MIT atau mungkin Bell Labs, mirip Shazam tetapi beberapa orde magnitudo lebih efisien. Mereka mengatakan ini untuk pelacakan: mengenali dan mencatat apakah pengguna terpapar iklan TV atau radio, lalu menawarkan bagi hasil jika kami diam-diam membundel SDK mereka ke dalam SDK kami. Itu setidaknya 10 tahun lalu, sebelum Apple mewajibkan izin akses mikrofon dan indikator titik oranye, jadi saya tidak ingat namanya. Tentu saja kami menolak, jadi saya tidak tahu lebih jauh atau menguji kebenarannya, tetapi memang ada perusahaan-perusahaan yang benar-benar kotor. Smartphone modern punya performa yang cukup untuk pemrosesan audio di perangkat, jadi argumen bahwa hal itu akan terlihat dari lalu lintas jaringan tidak berlaku
https://www.pcworld.com/article/424417/ad-tracking-tech-uses...