Holocam dari Zeiss yang Mengubah Jendela Menjadi Kamera

 (digitalcameraworld.com)
2 poin oleh GN⁺ 2024-01-06 | 1 komentar | Bagikan ke WhatsApp
  • Holocam dari Zeiss adalah teknologi berbasis holografi yang memungkinkan media transparan seperti kaca jendela, layar laptop, jendela mobil, dan kaca pintu depan digunakan seperti kamera
  • Jika kamera diintegrasikan secara transparan ke dalam layar, kamera dapat ditempatkan tanpa cutout atau punch-hole, sekaligus mengurangi masalah kontak mata dalam panggilan video
  • Prinsip intinya adalah holographic in-coupling, pemanduan cahaya, dan elemen de-coupling, yang mengarahkan ulang cahaya yang masuk ke media transparan menuju sensor gambar tersembunyi
  • Pengumuman di CES 2024 berfokus pada Multifunctional Smart Glass dari Zeiss dan penerapannya di mobil, lalu berlanjut ke contoh penggunaan seperti smart doorbell, webcam, kamera parkir, pengenalan wajah/gestur, dan deteksi kelelahan pengemudi
  • Ada kekhawatiran terkait kamera tersembunyi, karena jendela atau bahkan pintu shower bisa digunakan seperti perangkat pengawas; penerapannya pada produk sehari-hari akan membawa isu kenyamanan sekaligus privasi

Konsep dasar Holocam

  • Zeiss memperkenalkan Holocam di CES 2024, dan teknologi ini membuat media transparan seperti kaca atau layar dapat berfungsi seperti kamera
  • Target penerapannya mencakup jendela mobil, layar laptop, kaca pintu depan, dan lainnya
  • Kaca atau layar transparan dapat digunakan seolah-olah memiliki sensor gambar yang tidak terlihat

Desain layar yang diubah oleh kamera transparan

  • Jika kamera bisa dibuat sepenuhnya transparan, cutout atau punch-hole pada layar tidak lagi diperlukan
  • Dalam panggilan video, kamera dapat ditempatkan di atas layar atau di posisi mana pun yang diinginkan di dalam layar, sehingga memungkinkan kontak mata yang lebih alami dengan lawan bicara
  • Cara penggunaan seperti “webcam yang memungkinkan Anda melihat ke bagian mana pun di layar” juga menjadi mungkin

Cara kerja

  • Holocam memiliki struktur yang mengirimkan cahaya yang masuk ke media transparan menuju sensor gambar tersembunyi

  • Elemen optik utama

    • Holographic in-coupling
    • Pemanduan cahaya(light guiding)
    • De-coupling
    • Tanpa membuat seluruh kaca menonjol seperti modul kamera yang terlihat, cahaya tetap dapat diteruskan ke sensor

Fokus di CES 2024 dan contoh penerapan

  • Presentasi CES dari Zeiss berfokus pada keseluruhan sistem Multifunctional Smart Glass dan aplikasi otomotif
  • Di dalam mobil, fokus utamanya adalah contoh bagaimana holografi meningkatkan kemudahan pengoperasian, tetapi teknologi ini dapat diperluas ke lini produk yang lebih luas
  • Contoh penerapannya adalah sebagai berikut
    • Smart doorbell tanpa perlu modul kamera terpisah
    • Webcam yang memungkinkan pengguna melihat ke bagian mana pun di layar
    • Kamera parkir yang bisa disembunyikan sepenuhnya
    • Pengenalan wajah atau gestur berbasis layar
    • Membuka kunci pintu dengan pengenalan wajah
    • Deteksi kelelahan pengemudi
    • Ponsel dan tablet tanpa notch atau punch-hole

Kemungkinan optik dan pertanyaan yang tersisa

  • Jika seluruh panel kaca digunakan seperti lensa kamera, muncul kemungkinan optik baru
  • Entri Zeiss mencakup “large aperture invisible camera” dan “individual adjustment of orientation and size of the field of views”
  • Seberapa besar aperture maksimum dan rentang fokus kamera semacam ini masih menjadi pertanyaan

Kekhawatiran privasi

  • Teknologi seperti Holocam dapat langsung berkaitan dengan masalah kamera tersembunyi
  • Di tengah kekhawatiran tentang kamera tersembunyi di Airbnb, kemungkinan bahwa jendela atau bahkan pintu shower di akomodasi sewaan dapat digunakan untuk pengawasan terasa meresahkan
  • Teknologinya sendiri menarik, tetapi jika masuk ke penggunaan sehari-hari, cara menangani keberadaan kamera yang tidak terlihat akan menjadi hal penting

Bacaan terkait

1 komentar

 
GN⁺ 2024-01-06
Pendapat di Hacker News

  • Bagi yang khawatir, ini adalah kaca yang sangat terspesialisasi yang saat ini sangat rumit untuk diproduksi, dan menurut hukum termodinamika juga tidak mungkin 100% transparan.
    Ini bukan sesuatu yang memungkinkan pengawasan lewat jendela kaca yang sudah ada; kemungkinan hanya bisa dipasang pada instalasi baru jika ada ruang untuk peralatan pendukung dan biaya puluhan ribu hingga ratusan ribu dolar.
    Kaca kamera seperti ini setidaknya akan memiliki sedikit tint dan akan dipakai untuk tujuan khusus, sementara rasio signal-to-noise, resolusi, dan performa low-light-nya juga kemungkinan cukup buruk.
    Saat ini komponen struktural teknologi ini terutama dipakai pada jenis head-up display di bidang kedirgantaraan yang sangat mahal, jadi kecil kemungkinan Anda akan menemukannya dalam 10 tahun ke depan.
    Teknologi penginderaan jarak jauh yang layak dikhawatirkan sekarang adalah pengawasan RF dengan kombinasi mmWave, radar tembus dinding, dan interferometri Wi-Fi. Ada juga fakta bahwa iPhone melakukan randomisasi MAC, tetapi perangkat lain, termasuk TPMS mobil, tidak. Lidar Geiger-mode juga menarik; perusahaan tempat saya dulu bekerja pernah, sebagai demo, memetakan bagian dalam rumah seseorang.

    • Jika Anda khawatir host Airbnb akan mengawasi dengan ini, ini tidak menciptakan kerentanan baru kecuali Anda memang sudah memeriksa semua lubang paku, bingkai foto, peralatan listrik, stopkontak, detektor asap, dan sebagainya.
      Kamera pinhole dengan lensa 2 mm sudah murah dan mudah didapat, jadi dengan begitu banyak pilihan, hampir tidak ada alasan memakai “kamera jendela” yang mahal.
      Jika yang Anda khawatirkan adalah pengawasan pemerintah atau pihak dengan dana besar, mungkin layak diperhatikan, tetapi sebagian besar dari kita tidak masuk kategori itu.
    • Namun patut dicatat bahwa jendela dengan transmitansi sekitar 60% di spektrum cahaya tampak bukanlah hal yang terlalu aneh.
    • Saya tidak tahu seberapa bergunanya pernyataan “menurut hukum termodinamika tidak bisa 100% transparan”.
      Kaca biasa pun tidak 100% transparan, bahkan jika hanya melihat cahaya tampak. Jika kekhawatirannya adalah apakah mudah diidentifikasi, bukankah seharusnya kita melihat perbedaannya di spektrum cahaya tampak?
      Selain itu, sebagian kaca memang sengaja diberi warna, dan pengaturan tint dinamis juga merupakan salah satu aplikasi di sini. Secara teori, bukankah kita bisa mendapatkan sinyal yang lumayan hanya dengan menangkap pantulan di sekitar tepi kaca?
      Sekarang pun rekonstruksi 3D bisa dilakukan dengan memotret bola cermin menggunakan kamera. Noise-nya memang besar, tetapi sinyalnya akan ada. Jika proyeksi memungkinkan, kebalikannya juga semestinya memungkinkan, dan saya rasa struktur internal kaca tidak akan sampai sebegitu bergantung pada arah. Saya sudah lama tidak berkecimpung di optik, jadi mungkin ada sesuatu yang saya lewatkan.
    • Dari penjelasan aslinya saja, ini terlihat seperti sihir teknologi masa depan yang jauh.
      Sebuah sistem yang menganalisis sembarang panel kaca dan menurunkan semua transformasi untuk menggunakannya sebagai waveguide presisi tinggi. Sebenarnya dulu seorang manajer pernah menyuruh saya mencoba mengembangkan hal seperti itu, dan saya bertanya apakah boleh merekrut puluhan PhD optik untuk mewujudkannya.
    • Saya setuju dengan apa yang dikatakan, tetapi pada demo di lantai pameran CES, saya tidak melihat tint yang mencolok.

  • Artikelnya lemah karena hanya membahas komponen kameranya. Anehnya, mereka memilih stok image display holografik/optik, tetapi justru tidak pernah membahas hal itu sama sekali.
    Situs Zeiss jauh lebih layak dibaca: https://www.zeiss.com/corporate/en/about-zeiss/present/newsr...
    Ringkasnya, di CES 2024 ZEISS memperkenalkan Smart Glass holografik untuk display, proyeksi, dan filtering, serta komponen terpisah berupa kamera holografik.
    Holocam memakai elemen coupling, decoupling, dan light-guiding untuk mengirim cahaya yang masuk ke sensor tersembunyi, sehingga tidak perlu cutout atau ruang pemasangan di area yang terlihat.
    ZEISS tampaknya tidak berencana menjadi produsen, melainkan ingin memungkinkan perusahaan lain memakai teknologi ini.

    • Artinya, untuk mengirim cahaya yang masuk ke sensor tersembunyi, ini tidak bisa sekadar ditempelkan ke jendela lama atau sembarang panel kaca. Syukurlah.
    • Video demo yang cukup bagus untuk menunjukkan kondisi teknologi sebenarnya terkubur di komentar bawah, jadi saya taruh di sini: https://www.youtube.com/watch?v=NORPeCcIXRQ
      Sisanya hampir semuanya lebih seperti gambar tipu-tipu buatan artis.
      “Permukaan kaca juga bisa menghasilkan energi. Lapisan mikrooptik pada kaca jendela menyerap sinar matahari yang masuk dan meneruskannya dalam bentuk terkonsentrasi ke sel surya. Ini menggabungkan keunggulan jendela konvensional—cahaya alami dan pandangan tanpa batas—dengan manfaat tambahan berupa produksi energi yang efisien.” Ini benar-benar menakjubkan.
    • Terima kasih untuk tautannya. “Mengirim cahaya yang masuk ke sensor tersembunyi dengan elemen coupling, decoupling, dan light-guiding” membuat saya berpikir bahwa maksudnya kamera di dalam dasbor menatap ke atas ke kaca depan, memfokuskan pada posisi yang diperkirakan ada wajah, dan memakai kaca depan sebagai reflektor.
      Mungkin ada etsa tambahan atau lapisan deposisi pada kaca depan untuk mendukung sudut yang diperlukan.
      Sepertinya kamera juga bisa ditempatkan di lokasi lain lalu kaca depan atau kaca lain dimodifikasi secara halus dengan cara serupa untuk melihat objek lain.
    • “Misi luar angkasa ESA dan NASA telah membawa teknologi ZEISS perintis ini selama bertahun-tahun, dan teknologi ini juga sudah mapan di bidang semikonduktor dan teknologi medis.” Kalau begitu, seharusnya informasi terkait mudah ditemukan, tetapi setelah mencari, mungkin yang dimaksud adalah teknologi yang lebih umum seperti kisi difraksi.
    • Pertama, ini benar-benar menakjubkan.
      Kedua, poin nomor 3 selalu terasa seperti sinyal peringatan. Kadang itu kode untuk “berhasil di lab, tetapi kami tidak tahu cara memproduksinya.” Mirip dengan “kami punya ide program hebat yang bisa dilisensikan, tetapi tidak ada orang di sini yang benar-benar bisa coding.”
      Ketiga, sulit melebih-lebihkan dampaknya jika ini menjadi arus utama. Ini bisa membuat display transparan seperti di film SF, memungkinkan sistem konferensi video dengan kontak mata yang benar, dan tampaknya juga bisa mewujudkan cermin yang menunjukkan penampilan Anda dengan pakaian lain.
      Namun poin nomor 3 meredam antusiasme saya. Saya penasaran apakah saya melewatkan pengumuman bahwa ada pameran fisik di CES. Kalau memang dipamerkan secara nyata, saya akan serius mempertimbangkan terbang ke Las Vegas untuk mengeceknya.

  • Ini adalah pemandu cahaya terbalik. Kita sudah lama melakukan pembentukan berkas, dan tidak mengejutkan bahwa kebalikannya—pencitraan melalui pipa cahaya—bisa dilakukan
    Masalah utamanya adalah mengumpulkan energi yang cukup. Untuk objek yang terang dengan baik, seperti cermin kamar mandi, menurut saya ini bisa bekerja cukup baik karena cerminnya berada di belakang pemandu cahaya
    Jika pemandu cahayanya terlalu efisien, ia akan tampak buram, jadi perlu kompromi
    Ungkapan “mengubah jendela apa pun” cukup menyesatkan. Kalau tidak ada yang saya lewatkan, ini membutuhkan kaca yang sangat khusus, atau setidaknya pelapis/laminasi khusus
    Bagi orang yang mengkhawatirkan privasi, hampir selalu lebih mudah dan murah memasang kamera mata-mata yang sangat kecil di suatu tempat
    Saya rasa Zeiss tidak akan turun tangan menjual kaca murah dengan margin tipis

    • Apalagi Zeiss sejak awal tidak berencana menjual ini sendiri, melainkan ingin menjual lisensi teknologi
      Meski begitu, argumen soal privasi tidak banyak melemah. Sekalipun lisensinya gratis, biaya produksi komponennya hampir pasti beberapa orde besaran lebih tinggi daripada teknologi saat ini yang bisa mencapai tujuan serupa
    • Seperti yang saya tulis di bawah, sepertinya Microsoft Applied Sciences Group pernah membuat sesuatu yang mirip pada 2011: https://www.microsoft.com/applied-sciences/uploads/publicati...
      https://www.microsoft.com/applied-sciences/projects/the-wedg...
    • Pembentukan berkas pada frekuensi RF memang sudah lama, tetapi pembentukan berkas pada panjang gelombang optik adalah teknologi yang cukup baru
      Kebalikannya, yaitu menerima sinyal, hampir merupakan teknologi baru di frekuensi mana pun
    • Saya datang untuk mengeluh soal pipa cahaya, tetapi solusinya mungkin membuat lensa menjadi lensa majemuk yang bisa ditempatkan sembarang dengan mencetak 3D lensa ke header berulir, lalu menarik feed itu melalui pemetaan spasial AI
      Sekarang hal seperti ini sudah mudah, dan bisa dibuat dalam beberapa tahap hingga skala mikro. Rasanya seperti, “NSA, taruh Prince Rupert drop optik sederhana di atas mata sintetis.” Semacam lensa serat yang menghancurkan diri jika ditemukan

  • Beberapa tahun lalu saya pernah mengunjungi Zeiss di Oberkochen. Kantor pusatnya mengesankan dan ada beberapa cetakan litograf tua. Saya rasa beberapa peralatannya bernilai sekitar 80 juta dolar
    Fasilitas di seberang Autobahn begitu sensitif sampai peralatannya bergetar hanya karena truk lewat, sehingga mereka harus memasang peredam di Autobahn untuk mencegahnya
    Sebelumnya mereka bahkan sudah meletakkan fondasinya di atas semacam suspensi. Seorang rekan mengatakan Zeiss adalah perusahaan yang merekrut doktor terbanyak di Eropa

    • Sepertinya akan lebih mudah membeli lahan yang tidak berada di sebelah jalan tol
    • Saya jadi teringat LIGO. Hanya saja LIGO berada di AS
      Konon peralatannya begitu sensitif sampai unit AC seluruh fasilitas harus diletakkan di atas suspensi, dan orang-orang diminta tidak melakukan akselerasi atau pengereman mendadak saat berkendara di dalam kampus

  • Saya setuju dengan bagian “Di tengah ketakutan terhadap kamera tersembunyi di Airbnb, gagasan bahwa semua jendela di properti sewaan, bahkan pintu bilik mandi, bisa menjadi perangkat pengawas terasa cukup meresahkan”
    Teknologi ini punya potensi aplikasi yang sangat menarik, tetapi sekaligus juga cukup meresahkan
    Meluasnya ponsel berkamera dan kemunculan teknologi seperti kacamata Meta sudah mendorong kita ke arah yang meresahkan tetapi menarik dan kadang berguna. Meski begitu, sebagian konsep mutakhir seperti ini membuat saya khawatir. Saya juga teringat Wi‑Fi yang bisa melihat menembus dinding

    • Kita sudah bisa membeli kamera superkecil dengan harga sepersekian ribu dari ini
    • Saya terkejut ini bukan komentar paling atas. Saya setuju dengan keunggulan teknologi ini, tetapi belum terpikir implikasinya ala Airbnb
      Orang-orang tidak suka Google Glass karena bisa selalu merekam, dan sekarang bahkan kamera fisiknya mungkin tidak terlihat sama sekali
      Setahu saya Ray-Ban/Meta punya sensor yang mendeteksi apakah pemakai menutupi lampu yang menunjukkan kamera sedang digunakan, tetapi kalau setiap potongan kaca bisa menjadi kamera, saya tidak tahu bagaimana pendekatan itu akan bekerja

  • Setelah mencari, saya menemukan paten yang tampaknya terkait: https://patents.google.com/patent/WO2020225109A1/en
    Paten ini menggunakan istilah “Holocam”, berbasis bahasa Jerman, dan siaran persnya menyebut aplikasi otomotif sebagai penggunaan awal utama karena diajukan oleh Audi. Karena ini terjemahan dari bahasa Jerman, membacanya sedikit lebih sulit dibanding paten biasa
    Agak menjengkelkan karena selain klaim dalam siaran pers yang berani tetapi samar, hampir tidak ada informasi mendalam sama sekali. Kalau hanya melihat PR-nya, ini terdengar seperti terobosan ajaib yang akan mengubah segalanya
    Siaran pers asli Zeiss hanya menambahkan kira-kira bahwa “transparansi lapisan holografik hanya berdampak minimal pada ketajaman reproduksi gambar. Untuk melengkapi citra yang terlihat, komponen spektral juga dapat dideteksi sebagai informasi tambahan. Data yang dihasilkan memberikan wawasan tentang pencemaran lingkungan seperti polusi udara dan paparan UV”
    Namun dari pengalaman, klaim yang berani tetapi samar seperti ini biasanya diikuti kompromi dan batasan nyata yang cukup besar terkait biaya, daya, fidelitas, ukuran, dan kecepatan, sehingga membatasi cakupan penerapannya. Terutama pada implementasi awal teknologi baru
    Meski begitu, ini tetap bisa menarik dan berguna. Sayangnya, alih-alih merilis penjelasan teknis yang merangkum kompromi dan batasan terkait, pemasaran Zeiss memilih bermain petak umpet, sehingga hampir tidak ada cara untuk memikirkan di mana ini akan berguna
    Kalau bisa berbicara dengan orang Zeiss, pertama-tama saya ingin bertanya seberapa besar komponen tambahan memengaruhi karakteristik optik kaca, berapa resolusi data gambar yang dihasilkan, seberapa besar komponen di tepinya, dan seberapa jauh komponen itu bisa berada dari area tangkapan
    Saya juga penasaran bagaimana keluaran sistem pencitraan yang dihasilkan dipetakan ke metrik kamera dan lensa tradisional seperti f-number, aperture, ukuran dan kepadatan sensor gambar, gain, serta panjang fokus. Pada akhirnya Zeiss adalah perusahaan optik

  • Saya mencari beberapa menit, tetapi tampaknya Zeiss belum mempublikasikan apa pun selain siaran pers: https://www.zeiss.com/corporate/en/about-zeiss/present/newsr...

  • Bagian “permukaan kaca juga dapat menghasilkan energi. Lapisan mikro-optik pada kaca jendela menyerap sinar matahari yang masuk dan mengarahkannya dalam bentuk terkonsentrasi ke sel surya. Ini menggabungkan keunggulan jendela konvensional—cahaya alami dan pandangan tanpa batas—dengan manfaat tambahan berupa produksi energi yang efisien” cukup keren

    • Setuju. Tentu biayanya harus diturunkan beberapa orde magnitudo, tetapi ini terlihat punya potensi menarik untuk produksi energi di gedung-gedung tinggi yang saat ini hampir tidak memiliki jejak surya
      Namun karena tidak ada penyebutan efisiensi sama sekali, bagian siaran pers ini terasa sedikit seperti trik asap dan cermin

  • Coba cari “non-line-of-sight imaging”, yaitu NLOS. Satu makalah terbuka saja sudah seperti ini: https://www.pnas.org/doi/full/10.1073/pnas.2024468118
    Kalau yang dipublikasikan saja sudah sejauh ini, jadi terpikir badan intelijen punya apa

  • Video ini tampaknya menunjukkan apa yang mereka maksud lebih baik daripada artikelnya: https://www.youtube.com/watch?v=NORPeCcIXRQ