Kamera “meta-optics” seukuran butiran garam
(cacm.acm.org)- Peneliti dari Princeton University dan University of Washington mewujudkan kamera meta-optics seukuran butiran garam, mengusulkan perangkat imaging yang 500.000 kali lebih kecil daripada kamera konvensional dengan kualitas gambar setara
- Mereka menempatkan 1,6 juta nano-antenna silindris di atas metasurface selebar 0,5 mm, dengan struktur yang dapat diproduksi seperti chip semikonduktor sehingga meningkatkan kemungkinan miniaturisasi
- Kamera meta-optics sebelumnya memiliki keterbatasan dalam menghasilkan gambar full-color dengan sudut pandang lebar yang tajam, tetapi perangkat ini menghasilkan gambar full-color dan bersudut pandang lebar dengan kualitas yang mirip kamera konvensional
- Peneliti menggunakan pipeline terpadu hardware–software: desain nano-antenna dihitung cepat lewat optimisasi AI, dan aberasi yang dibuat kamera dihilangkan dengan jaringan saraf berbasis fisika
- Ini dapat berlanjut ke aplikasi seperti endoskop yang lebih kecil, kamera smartphone, wearable, AR/VR, drone, susunan yang menjadikan seluruh permukaan sebagai kamera, hingga teleskop ultraringan untuk antariksa
Kamera meta-optics seukuran butiran garam
- Peneliti dari Princeton University dan University of Washington mewujudkan kamera meta-optics seukuran satu butiran garam
- Kamera ini jauh lebih kecil daripada kamera konvensional, sekaligus menargetkan kualitas gambar full-color setara kamera konvensional
- Dibandingkan kamera konvensional yang menangkap kualitas gambar pada tingkat yang sama, ukurannya 500.000 kali lebih kecil
- Perangkat ini adalah sistem kamera ultrakecil yang dikembangkan para peneliti dan berbasis teknologi metasurface
- Di dalam metasurface tertanam 1,6 juta pilar silindris
- Metode pembuatannya mirip dengan produksi chip komputer
Keterbatasan lensa konvensional dan pendekatan metasurface
- Dalam desain kamera, kendala utama adalah kompromi antara ukuran dan jumlah cahaya, yaitu membuat perangkat sekecil mungkin sambil tetap merekam banyak cahaya
- Smartphone adalah contoh ketika bodinya makin tipis, tetapi modul kamera membesar dan menonjol karena memasukkan banyak lensa demi kualitas foto yang lebih tinggi
- Metasurface adalah material buatan yang dapat mengendalikan cahaya dengan cara unik
- Bentuknya berupa struktur datar ultratipis dengan lebar sekitar 0,5 mm
- Pada permukaannya ada jutaan pilar silindris yang disebut “nano-antenna”
- Setiap nano-antenna dapat disetel untuk membentuk cahaya dengan cara tertentu
- Lensa refraktif standar meningkatkan performa melalui bentuk permukaan lensa dan perubahan material, sedangkan metasurface dapat mengatur cahaya pada skala sub-panjang gelombang
- Lensa meta-optic pada kamera ini berukuran 0,5 mm, sensornya 1 mm, dan satu metasurface dirancang agar memiliki kemampuan pengarahan cahaya yang lebih besar daripada lensa tradisional
Perbedaan dari kamera meta-optics sebelumnya
- Para peneliti tidak berfokus pada konsep penggunaan metasurface di kamera itu sendiri, melainkan pada perwujudan kualitas yang dapat dipakai untuk aplikasi pencitraan nyata
- Pendekatan sebelumnya belum mencapai desain kamera meta-optics yang mampu menangkap gambar full-color tajam dengan sudut pandang lebar
- Perangkat ini diperkenalkan sebagai nano-optic imager berkualitas tinggi pertama untuk pencitraan full-color dan sudut pandang lebar yang tidak bergantung pada polarisasi
- Kualitas gambarnya setara bahkan ketika dibandingkan dengan kamera konvensional yang lebih besar hingga satu orde magnitudo
Desain berbasis AI dan pipeline pascapemrosesan
- Para peneliti memperbaiki desain hardware dan pascapemrosesan software secara bersamaan untuk mengurangi keterbatasan sistem imaging meta-optics sebelumnya
- Tahap pertama adalah menghitung desain nano-antenna di atas metasurface dengan algoritme optimisasi AI
- Mensimulasikan respons optik metasurface dan menghitung gradiennya membutuhkan biaya komputasi besar
- Para peneliti membuat “proxy” yang mengaproksimasi fisika metasurface secara cepat untuk menghitung desain dengan cepat
- Tahap kedua adalah memproses gambar yang ditangkap kamera dengan jaringan saraf berbasis fisika
- Jaringan saraf ini dilatih berdasarkan fisika metasurface
- Ia dapat menghilangkan aberasi yang dibuat kamera
- Para peneliti memperlakukan metasurface sebagai layer terdiferensiasi yang dapat dioptimalkan, lalu mengoptimalkannya seperti layer jaringan saraf optik yang melakukan komputasi dengan cahaya
- Simulator fisika metasurface dan algoritme pascapemrosesan digabungkan menjadi satu pipeline
- Pipeline ini digunakan untuk membuat kamera meta-optic nyata
- Gambar yang ditangkap direkonstruksi menjadi gambar full-color berkualitas tinggi
- Agar lensa berfungsi dengan baik pada aplikasi broadband, diperlukan pendekatan yang digabungkan dengan pemrosesan komputasional
Aplikasi medis, perangkat konsumen, dan drone
- Bidang aplikasi yang paling langsung adalah imaging medis
- Semakin kecil kamera, semakin rendah sifat invasifnya
- Endoskop ultrakecil yang menggunakan kamera meta-optics dapat memungkinkan diagnosis dan operasi noninvasif baru
- Ada juga kemungkinan merekam bagian tubuh yang sulit dijangkau dengan teknologi saat ini
- Pada hardware konsumen, kamera dan lensa juga dapat dirancang lebih kecil hingga satu orde magnitudo dibandingkan perangkat saat ini
- Layar smartphone atau bagian belakang smartphone itu sendiri dapat menjadi kamera
- Kamera berkualitas tinggi dapat dimasukkan ke permukaan wearable seperti kacamata
- Headset VR dapat menjadi lebih ringan dan ramping
- Drone juga dapat terdampak oleh kamera yang lebih kecil
- Baik tujuan militer seperti pengintaian maupun tujuan sipil seperti pengiriman sama-sama membutuhkan kamera
- Kamera yang jauh lebih kecil dapat menghasilkan drone yang lebih ringan dan konsumsi baterai yang lebih rendah
Kemungkinan menjadikan seluruh permukaan sebagai kamera
- Kamera kecil dari para peneliti ini membuat kamera besar dapat dipikirkan ulang sebagai susunan datar kamera seukuran butiran garam
- Susunan seperti ini dapat mengarah pada cara mengubah permukaan itu sendiri menjadi kamera
- Metasurface yang lebih besar berpotensi menggantikan lensa yang dibutuhkan teleskop
- Pembuatan teleskop dapat menjadi lebih mudah
- Mengirim lensa yang lebih kuat ke antariksa juga dapat menjadi lebih mudah
Metode manufaktur dan material
- Metasurface dapat dibuat dengan cara yang sama seperti teknologi matang yang digunakan dalam produksi chip komputer
- Saat ini chip komputer diproduksi di atas wafer, dan satu wafer berisi ratusan salinan chip yang sama
- Karena metasurface juga diproduksi dengan cara yang sama, ada kemungkinan besar untuk menurunkan biaya per metasurface individual
- Para peneliti menggunakan silica wafer untuk permukaan pemasangan dan silicon nitride untuk nano-antenna
- Kedua material tersebut kompatibel dengan teknologi manufaktur semikonduktor yang saat ini digunakan untuk memproduksi chip komputer
Bacaan lebih lanjut
- Researchers shrink camera to the size of a salt grain: pengantar riset Princeton University tahun 2021
- Researchers develop tiny camera the size of a grain of salt – and it could turn your phone into one big camera: artikel terkait dari The Independent
- Neural nano-optics for high-quality thin lens imaging: makalah terkait yang diterbitkan di Nature Communications
1 komentar
Pendapat di Hacker News
Saya cukup skeptis dengan frasa “menghasilkan gambar penuh warna dengan kualitas setara kamera biasa” karena artikel itu tidak memiliki contoh foto dari kamera nano, tetapi makalah aslinya punya contoh yang cukup mengesankan
https://www.nature.com/articles/s41467-021-26443-0/figures/2
Ketajaman dan warnanya terlihat jelas kurang
Kalau sekadar memulihkan gambar dengan neural network, itu tidak terlalu mengesankan karena mirip cara Samsung menempelkan foto bulan saat mendeteksi piringan putih
Beberapa tahun lalu saya mendengar cerita seperti ini dalam wawancara dengan seorang futuris: suatu hari anak-anak akan membeli selembar stiker di toko mainan, dan setiap stiker itu sebenarnya adalah kamera dengan alamat IPv6
Tempelkan stiker di suatu tempat, lalu buka alamatnya di browser dan Anda bisa melihat video kamera secara real-time
Katanya, komponen penyusun teknologi seperti ini sudah ada, hanya saja belum cukup murah untuk dilepas ke pasar massal; dan ketika skala ekonomi mulai bekerja, masyarakat harus benar-benar meninjau ulang makna privasi fisik
Mungkin bisa kalau makna “stiker” diubah cukup drastis
Sepertinya kita perlu menambahkan satu lagi untuk Vernor Vinge
Teknologi ini tampaknya bisa secara langsung memungkinkan pengawasan universal seperti di A Deepness in the Sky, jadi perlu diperhatikan dengan serius
Kalau ingatan saya benar, ukurannya sekitar sebesar biji
https://en.wikipedia.org/wiki/The_Peace_War
Mungkin karena topik lain menarik perhatian dan pendanaan, tetapi mungkin juga karena sekarang sudah mencapai tingkat yang cukup menarik sehingga banyak tim R&D masuk ke bawah perjanjian kerahasiaan pemerintah
Selain itu, namanya memang “Vernor”
Kamera selalu digambarkan jauh lebih besar daripada butiran pasir
Di sana, utility fog orphidnet memungkinkan persepsi dan visualisasi universal
Di sini semua orang memikirkan privasi dan pengawasan, tetapi saya penasaran apakah teknologi ini bisa memungkinkan kamera nano dipercepat dengan laser hingga kecepatan relativistik untuk memotret tata surya lain dari dekat
Bahkan kalau tidak sampai ke Proxima Centauri, akan bagus kalau ada lebih banyak kamera di dalam tata surya kita
https://en.wikipedia.org/wiki/Breakthrough_Starshot
Kalau ukurannya sangat kecil dan bidang pandangnya lebar, rasanya bisa saja lensa biasa diletakkan di atas array untuk membuat ultrawide sekitar 160×160 derajat pada kamera smartphone
Kamera mandiri 360×180 derajat yang sangat kecil juga mungkin, dan jika beberapa kamera dimasukkan ke kacamata AR, perangkat itu bisa memahami lingkungan sekitar dengan sangat baik dalam cakupan 360×160 derajat
Aplikasi lain mungkin adalah kamera light field kecil
Saya tidak tahu apakah teknologi ini bisa langsung diterapkan atau perlu dimodifikasi, tetapi kamera light field yang kecil dan murah akan berguna untuk mengubah fokus setelah pemotretan serta deteksi 3D dan rekonstruksi adegan yang lebih baik daripada stereo
Dari penjelasan “mengimplementasikan post-processing gambar berbasis AI milik sendiri untuk menghasilkan gambar berkualitas tinggi dari kamera”, sulit mengatakan bahwa ini bisa dibandingkan dengan kamera biasa dalam arti intuitif
Setelah melewati pipeline pemrosesan—upscaling, noise removal, deblurring, penyesuaian warna, koreksi bayangan dan highlight—hampir tidak ada lagi yang tersisa persis seperti yang dilihat sensor
Kamera ponsel hanya melakukannya jauh lebih ekstrem daripada kamera profesional, tetapi semuanya melakukan pemrosesan semacam itu
Sepertinya ini bukan kabar baru
Ini makalah yang dipublikasikan pada 2021, dan pernah diunggah di sini juga
https://news.ycombinator.com/item?id=29399828
Kalau benar, mungkin kita bisa memasukkan array 10.000 kamera (100×100) ke smartphone dan melakukan hal-hal menarik dengan computational photography
Jika diterapkan begitu saja ke 10.000 sensor, akan memakan waktu sekitar 10 menit, tetapi jelas ada ruang untuk optimasi dan paralelisasi
Karena sensor menghasilkan gambar 720×720px, array 100×100 berarti 72.000×72.000px, yaitu sekitar 5 gigapiksel
Itu jumlah piksel yang luar biasa besar untuk diproses dan disimpan oleh smartphone
Itulah sebabnya para profesional masih membawa kamera full-frame besar, bukan ponsel
Memang ada juga soal kecepatan seperti dalam fotografi olahraga, tetapi kalau disederhanakan, kecepatan pun dipengaruhi oleh jumlah data dan resolusi yang harus diproses
Sensor beresolusi tinggi punya masalah ukuran file yang terlalu besar, lebih lambat diproses daripada foto kecil berkualitas tinggi, dan memakan jauh lebih banyak ruang penyimpanan
Dalam video, masalahnya lebih parah
Itu mungkin juga alasan Apple mempertahankan kamera utama pada 12 megapiksel selama bertahun-tahun
Ada penjelasan perangkat optik yang terdengar keren, tetapi tidak terlalu dijelaskan bagaimana gambar sebenarnya direkam
Ditambah lagi ada bagian “neural network”
Saya penasaran apakah AI generatif mengisi bagian buram berdasarkan piksel yang secara statistik paling mungkin lalu menyebutnya “peningkatan”
Artikelnya lumayan buruk
Mungkin bisa juga dilakukan dengan model komputasi standar, tetapi tampaknya kebutuhan komputasinya akan sangat besar
Jadi mungkin “peningkatan” di sini mirip dengan bagaimana JPEG menyimpan gambar dalam format lossy
(2021) Teks aslinya sebenarnya ada di sini: https://light.princeton.edu/publication/neural-nano-optics/