Ban-Rays, kacamata yang mendeteksi kamera pada kacamata pintar

• Ban-Rays adalah perangkat eksperimental untuk mendeteksi kacamata pintar yang memiliki kamera terintegrasi, menggunakan dua pendekatan: refleksi optik dan analisis sinyal jaringan
• Metode optik menyorotkan inframerah ke lensa untuk mendeteksi karakteristik refleksi sensor CMOS (efek mata kucing), tetapi dengan perangkat keras saat ini sinyalnya lemah dan tidak stabil
• Metode jaringan mengidentifikasi perangkat Meta Ray-Ban berdasarkan sinyal iklan Bluetooth Low Energy (BLE), dan dapat dideteksi melalui ID pabrikan (0x01AB) serta UUID layanan (0xFD5F)
• Sinyal BLE umumnya hanya terdeteksi saat pairing atau ketika perangkat dinyalakan, sehingga untuk deteksi real-time saat digunakan dibutuhkan teknik tambahan seperti pelacakan paket CONNECT_REQ
• Proyek ini merupakan upaya eksperimental untuk perlindungan privasi dan teknologi pengenalan perangkat pengawasan, serta menunjukkan kemungkinan deteksi presisi melalui peningkatan perangkat keras dan pembelajaran pola sinyal di masa depan

---

Gambaran proyek

• Ban-Rays adalah perangkat berbentuk kacamata yang mendeteksi kacamata pintar dengan kamera terintegrasi, dan saat ini sedang menguji dua pendekatan
  • Optics (optik): mengklasifikasikan lensa kamera dengan memanfaatkan pantulan cahaya
  • Networking (jaringan): menganalisis sinyal Bluetooth dan Wi-Fi
• Hingga kini, pendekatan fingerprinting perangkat berbasis BLE dinilai sebagai metode yang paling sederhana dan paling andal
• Prototipe pertama akan memutar efek suara 'penemuan rahasia The Legend of Zelda' ketika mendeteksi iklan BLE dari Meta Ray-Ban

Optics – Deteksi berbasis optik

• Jika inframerah (IR) diarahkan ke lensa kamera, kamera dapat diidentifikasi dengan memanfaatkan 'retro-reflectivity' sensor CMOS
• Dalam penelitian tahun 2005, prinsip ini digunakan untuk menerapkan 'capture-resistant environments'
• Dalam penelitian tahun 2024, diajukan metode untuk mengklasifikasikan kamera individual berdasarkan pola pantulan lensanya
• Kebanyakan penelitian sebelumnya membutuhkan kamera, machine learning, dan sudut yang terkontrol, tetapi Ban-Rays menghindari penggunaan kamera internal dan sedang mengembangkan pengklasifikasi berbasis data sinyal
• Hasil eksperimen
  • Kamera belakang ponsel menunjukkan gelombang lonjakan yang pendek dan besar, sedangkan layar menunjukkan gelombang yang lebih landai
  • Dalam pengujian Meta Ray-Ban, sinyal lemah dan tidak stabil sehingga sulit dibedakan dengan perangkat keras saat ini
  • Hampir tidak ada perbedaan antara LED 940nm dan 850nm
• Ide perbaikan
  • Pengguna menelusuri target dengan pola pemindaian 'kiri-kanan-atas-bawah' untuk mengumpulkan bentuk gelombang
  • Saat membandingkan Meta Ray-Ban dan kacamata hitam biasa (aviator), konsepnya valid tetapi masih perlu eksperimen tambahan
• Susunan rangkaian IR
  • Menggunakan Arduino Uno, LED IR 940nm/850nm, fotodioda, dan transistor 2222A
• Item eksperimen selanjutnya
  • Eksperimen pola pemindaian
  • Penggabungan data per panjang gelombang
  • Tinjauan kolimasi cahaya

Networking – Deteksi berbasis jaringan

• Mencoba mengidentifikasi fingerprint perangkat Meta Ray-Ban dengan memanfaatkan sinyal iklan BLE
• Saat ini trafik BLE hanya dapat dideteksi selama pairing, saat perangkat dinyalakan, atau saat dikeluarkan dari casing
• Untuk mendeteksi komunikasi saat sedang digunakan, perlu melacak paket CONNECT_REQ, tetapi ESP32 yang digunakan saat ini tidak mendukung hal tersebut
  • Ada kemungkinan peningkatan dengan memanfaatkan modul nRF Sniffer
• Deteksi trafik Bluetooth Classic (BTC) memerlukan perangkat keras yang mahal
• Contoh iklan BLE yang terdeteksi
  • ID pabrikan: Meta (0x01AB)
  • UUID layanan: Meta (0xFD5F)
  • RSSI: -59 dBm
  • Alamat MAC diacak sehingga tidak terlalu membantu untuk deteksi BLE
• Sebagai referensi, disediakan tautan ke Bluetooth Assigned Numbers, kode dissector Wireshark, dan data merek MAC Netify
• Rencana ke depan
  • Meninjau makalah terkait (https://dl.acm.org/doi/10.1145/3548606.3559372)
  • Mencoba active probing dan interrogating

Ucapan terima kasih

• Menyampaikan terima kasih kepada Trevor Seets dan Junming Chen atas saran terkait optik dan BLE, serta kepada Sohail yang menyediakan Meta Ray-Ban untuk pengujian

[GN⁺]

Komentar Hacker News

• Ini ide yang menarik. Sebagian besar objek yang perlu dilindungi dari pengawasan sifatnya tetap, jadi sepertinya tidak harus memakai detektor di tubuh. Meski begitu, memulai dari batasan perangkat bergerak tetap pendekatan yang bagus
  Dan permainan kata “inti dari pendekatan ini adalah sound — padahal sebenarnya light” benar-benar mengesankan
  • Saya ingin terlindungi dari kamera tersembunyi di kacamata pintar milik orang lain
  • Sebenarnya, kasus penggunaan bergerak terbesar mungkin adalah agar tidak direkam diam-diam di ruang publik. Dulu saat era Google Glass pun ini jadi kontroversi besar
  • Sudah ada sistem pendeteksi penembak jitu berbasis deteksi pantulan optik sejak 20 tahun lalu. Sistem seperti ini adalah peralatan statis yang digunakan di lokasi tetap seperti pangkalan militer
  • Akan bagus jika perangkat seperti ini dipakai oleh petugas keamanan di area terlarang untuk memotret. Ide yang cukup keren
  • Saya juga tertawa keras dengan permainan katanya
• Kalau teknologi ini tersebar luas, rasanya bakal muncul ledakan video kemarahan viral di media sosial. Ini bercanda, tapi saya sungguh penasaran
  Saya penasaran bagaimana rasanya ketika seseorang memegang ponsel pada sudut yang mengarah ke saya, dan saya merasa itu mungkin sedang merekam
  Saya berasal dari generasi sebelum smartphone menutupi dunia, jadi awalnya saya sadar akan semua ‘kamera’ di sekitar, tapi sekarang saya jadi mengabaikannya
  • Pada akhirnya, sepertinya tak terhindarkan bahwa kacamata AR pintar akan tampak seperti kacamata biasa. Dalam 10–20 tahun, ini terasa seperti perkembangan yang alami
• Saya ingat pada akhir 2000-an melihat selebritas memakai kacamata hitam pemancar IR (infrared) untuk mengganggu kamera paparazi
  Apakah cara seperti ini juga akan bekerja terhadap kamera di kacamata? Misalnya melumpuhkan sensor dengan cahaya IR yang kuat
  • Menurut makalah ini, cara itu bisa dipakai untuk mengelabui pengenalan wajah atau CCTV, tetapi sulit terhadap kamera profesional karena ada filter IR. Tidak ada LED yang lebih terang daripada matahari
  • Saya juga pernah bereksperimen dengan ide serupa, yaitu perangkat penyala otomatis LED IR. Ada sedikit efek pada kamera ponsel, tetapi filter IR-cut pada kamera modern cukup kuat sehingga tidak praktis
  • Itu hanya bekerja pada kamera malam. Kebanyakan kamera otomatis memasang filter IR pada mode siang
  • Saya dengar topi IR serupa pernah dipakai saat protes Hong Kong, tetapi kamera zaman sekarang umumnya menyaring IR. Sebagai gantinya, jaket reflektif jauh lebih efektif. Di kamera, itu akan terlihat seperti gumpalan terang yang overexposed
  • Saya sedang memikirkan alat pengganggu pembaca plat nomor. Caranya dengan memancarkan IR atau cahaya tampak yang kuat agar plat tidak bisa dibaca. Akan lebih baik jika digabung dengan lapisan reflektif atau retroreflector
• Pertanyaan terkait, saya penasaran apakah mungkin membuat cetak kaus yang hanya terlihat di kamera dan tidak terlihat oleh mata telanjang. Kalau memungkinkan, saya ingin menaruh gambar di depan dan belakang untuk ‘glasshole’ atau memblokir kamera smartphone
  • Pola moiré bisa dimanfaatkan, tetapi akan sulit dijaga tetap benar-benar rata di atas pakaian, dan tampaknya tidak cukup jelas untuk dikenali AI
  • Mungkin bisa dengan memanfaatkan LED inframerah atau prinsip greenscreen
• Bukan saran teknis, tapi soal idenya,
  1. Saya juga menginginkan ini
  2. Kalau memungkinkan, saya ingin bentuknya detektor clip-on sehingga saya bisa tetap memakai kacamata yang saya suka
  3. Dan saya sangat berharap Anda bekerja sama dengan sosok yang dipercaya di bidang teknologi privasi.
     Alasannya sederhana — kalau Meta menambahkan fungsi ini ke kacamatanya, saya mungkin akan membelinya meski harus mematikan semua fitur lain. Tetapi mereka juga bisa saja mengakuisisi perusahaan Anda lalu menghapus fungsi itu. Jadi Anda butuh mitra yang bisa membangun kepercayaan publik
• Saya pernah melihat seseorang berkata soal AI bahwa “sekarang adalah era terakhir ketika kacamata pintar masih bisa dideteksi”. Rasanya sekarang memang masa transisi singkat itu
• Saya penasaran apakah ada orang yang membuat kacamata pintar untuk tunanetra. Bentuknya menjelaskan adegan lewat suara melalui pengenalan gambar dari balik lensa hitam
  Misalnya peringatan saat mendekati jalan, deteksi rintangan, menemukan benda, dan hal-hal lain yang bisa meningkatkan kualitas hidup
  • Saya pernah mendengar kacamata pintar Meta dipakai sebagai alat bantu penglihatan. LLM melihat feed kamera lalu membacakan label atau menjelaskan benda. Namun, fungsi peringatan real-time masih belum ada. Pendekatan seperti ini terasa sangat berguna dari sisi aksesibilitas
  • Katanya ada aplikasi di App Store iOS bernama Seeing AI yang menjelaskan dunia sekitar lewat suara
  • Dokumenter Seeing into the Future yang dibuat oleh komedian tunanetra dari Inggris juga membahas topik seperti ini
  • Tetapi jika perangkat pendeteksi seperti ini berhasil, ada risiko bahwa bahkan alat bantu untuk tunanetra pun bisa ikut diblokir. Ini bisa memunculkan persoalan hukum baru
• Saya rasa proyek seperti ini benar-benar kebutuhan yang mendesak. Kita butuh teknologi untuk menyembunyikan diri dari perangkat yang melanggar privasi.
  Dari dua pendekatan yang diajukan, metode pemblokiran/pengacauan sinyal nirkabel akan menarik jika memang memungkinkan
  • Tetapi itu kemungkinan besar ilegal
  • Saya rasa saya akan merasa lebih aman jika dunia tetap terlihat oleh semua kamera ATM, transportasi, dan bel pintu, tetapi tidak terlihat oleh kacamata orang
• Akan bagus kalau petugas keamanan pengadilan memakai perangkat seperti ini. Tetapi sekarang kamera terlalu kecil sehingga deteksinya sendiri terasa tidak realistis. Jadi saya cuma berasumsi setiap hari hidup di dalam Candid Camera
• Di eBay, Anda bisa dengan mudah menemukan perangkat yang mendeteksi pantulan kamera dengan filter polarisasi dan lampu LED. Jika terlihat titik berkilau di posisi sensor, berarti itu kamera