- Dalam foto gaun pengantin milik komedian sekaligus aktris Inggris Tessa Coates, sosok asli dan dua pantulan di cermin tampak dalam pose berbeda, sehingga mengungkap kelemahan pemrosesan foto iPhone
- Penyebabnya bukan fenomena surealis, melainkan kesalahan fotografi komputasional karena iPhone gagal mengelompokkan pantulan di cermin sebagai orang yang sama
- Foto tersebut diambil dalam mode panorama, dan saat Coates bergerak, citra dari momen yang berbeda digabungkan menjadi satu foto
- Algoritme Apple memilih gambar “terbaik” untuk tiap area berdasarkan saturasi, kontras, detail, ketiadaan blur, dan lain-lain, lalu memilih momen yang berbeda untuk masing-masing cermin
- Dalam adegan yang memadukan cermin dan gerakan, bahkan smartphone terbaru pun bisa menghasilkan komposit yang berbeda dari kenyataan, sehingga ada situasi ketika hasil foto sulit dipercaya begitu saja
Tiga pose yang muncul dalam foto di depan cermin
- Komedian sekaligus aktris Inggris Tessa Coates difoto di depan cermin saat sedang mencoba gaun pengantin
- Dalam foto itu, Coates sendiri dan pantulannya di cermin kiri dan kanan terlihat bersama, tetapi ketiga sosok tersebut memiliki pose yang berbeda
- Satu cermin menampilkan pose dengan lengan diturunkan
- Cermin lainnya menampilkan pose dengan tangan dirapatkan di depan pinggang
- Sosok aslinya menampilkan lengan kiri di samping tubuh
- Sekilas terlihat sangat aneh, tetapi penyebabnya adalah kesalahan yang terjadi dalam proses pemotretan iPhone
Apa yang terjadi di pipeline pemotretan iPhone
- iPhone melakukan miliaran komputasi pada saat tombol rana ditekan untuk menghasilkan satu foto
- Dalam kasus ini, kamera tidak menyadari bahwa ia sedang memotret cermin, dan memproses tiga sosok Coates seolah-olah adalah orang yang berbeda
- Saat Coates bergerak, beberapa gambar dari momen berbeda pada adegan yang sama ikut tertangkap
Mode panorama dan komposit gambar
- Menurut pembaruan, foto tersebut diambil dalam mode panorama
- Dalam pemotretan panorama, kamera menangkap banyak gambar saat menyapu adegan, lalu algoritme menyambungkannya setelah itu
- Algoritme Apple memilih gambar yang lebih baik untuk tiap bagian berdasarkan saturasi, kontras, detail, ketiadaan blur, dan lain-lain
- Gambar komposit akhir seharusnya menjadi interpretasi paling baik dan paling realistis dari momen tersebut, tetapi karena ada cermin, momen yang berbeda tertinggal pada masing-masing pantulan
Mengapa muncul “tiga Tessa”
- Algoritme gagal mengelompokkan sosok asli dan dua pantulan di cermin sebagai satu orang yang sama
- Karena pada area masing-masing cermin dinilai frame yang berbeda lebih cocok, foto akhir memuat pose yang berbeda secara bersamaan
- Akibatnya, tercipta gambar komposit di mana sosok asli dan dua pantulannya melakukan gerakan yang berbeda
Kemungkinan reproduksi dan keterbatasan
- Hasil seperti ini dapat direproduksi bukan hanya pada iPhone terbaru, tetapi juga di berbagai smartphone lain
- Penyebabnya terletak pada keterbatasan fotografi komputasional dalam menangani cermin
- Sebagian generasi muda memahami fenomena ini dan memanfaatkannya untuk membuat gambar lucu untuk media sosial
1 komentar
Komentar Hacker News
Saya rasa artikel asli[0] yang dirujuk ringkasan singkat ini mungkin merupakan sumber yang lebih baik
[0]: https://petapixel.com/2023/11/16/one-in-a-million-iphone-pho...
Kaum puris mungkin akan selalu tidak menyukai gagasan fotografi komputasional, tetapi saya benar-benar suka iPhone bisa menghasilkan foto malam, cahaya rendah, dan objek bergerak yang bagus saat digenggam
Saya juga pernah memotret foto malam yang menurut saya mustahil dengan sensor yang secara fisik kecil
Apakah foto itu 100% mencerminkan adegan nyata pada saat itu secara sempurna hingga tingkat piksel? Tidak, tapi saya tidak terlalu peduli
Dulu saya juga pernah melakukan penggabungan eksposur HDR, focus stacking untuk kedalaman bidang yang dangkal, dan memotret ruang ramai berkali-kali lalu menyambungkannya menjadi foto tanpa orang dan mobil; semuanya bukan reproduksi sempurna dari pemandangan yang dilihat mata, tetapi untuk menangkap subjek yang diinginkan, penggabungan beberapa eksposur memang menjalankan fungsinya
Lensa itu sendiri menciptakan cacat dan perubahan, begitu pula film dan proses pencuciannya
Namun, menginginkan hak untuk menentukan apa yang dipotret dan bagaimana tampilannya tidak otomatis membuat seseorang menjadi puris
Pilihan-pilihan seperti itulah yang menjadikan fotografi sebagai seni
Pada akhirnya, teknologi ini mengambil kendali itu dari pengguna
Kalau Anda tidak keberatan Apple menentukan subjek dan tampilan foto, tidak masalah, tetapi saya rasa banyak orang tidak akan demikian
Tidak lama lagi kamera mungkin tidak hanya memilih frame terbaik untuk setiap orang, tetapi juga memilih mata terbaik, memperbaiki simetri, memilih rona kulit yang paling enak dilihat secara estetis, dan seterusnya
Sampai taraf tertentu hal ini memang selalu ada, tetapi begitu foto melepaskan kepura-puraan bahwa ia “nyata”, arahnya tampak tak terelakkan
Saya teringat adegan di WALL-E ketika potret para kapten makin lama makin gemuk, padahal sebenarnya seiring waktu kapten di dalam foto semestinya menjadi semakin menarik dan seperti pahatan
Walau di dunia nyata tetap saja obesitas
Memang bisa memotret di malam hari, tetapi sering kali sulit dikenali dibandingkan dengan apa yang dilihat sensor saya, yaitu mata
Rasanya bukan seperti realitas yang sedikit lebih baik, melainkan kamera memutuskan bagaimana menata cahaya dengan cara yang tidak terkait dengan komposisi di depannya
Ada juga tulisan yang mengatakan bahwa ketika asumsi iPhone tentang apa itu pencahayaan yang bagus runtuh, ia begitu saja merusak foto potret
Kadang saya lebih suka foto dari ponsel berumur 5 tahun dibandingkan ponsel terbaru, bukan karena perangkat kerasnya lebih baik, melainkan karena penyetelannya buruk
Hal menarik terjadi ketika memotret objek yang jarang ada di model, misalnya ruang merangkak, perpipaan, atau foto jarak dekat kedokteran gigi
Saya pernah mendapat hasil yang benar-benar tidak berguna jika tidak memakai mode RAW, dan tahap pemrosesan fotografi komputasionalnya tampak sama sekali tidak tahu apa yang sedang dilakukan
Ini bukan semata batas sensor; kadang iPhone mengambil keleluasaan lebih besar dan membuat foto jauh lebih buruk daripada sebelumnya
Kebutuhan agar realitas yang dilihat sensor digambarkan sempurna piksel demi piksel sepertinya hanya relevan untuk polisi atau penyelidik asuransi
Fotografi sebagai seni tidak pernah soal kemurnian, dan kebanyakan orang menginginkan foto yang mencerminkan apa yang kita lihat dan cara kita melihatnya, serta akan menerima langkah teknis untuk merendernya
Jika bulan tampak indah dan menerangi lanskap dengan lembut, kita menginginkan foto yang memuat bulan terang sekaligus latar belakang gelap, dan itu bisa membutuhkan banyak komputasi
Namun pengantin doppelgänger, foto HDR berlebihan, atau lanskap yang burung dan tiangnya dihapus bukanlah adegan yang dilihat seseorang
Itu bisa saja menjadi gambar yang keren, tetapi bagi saya pribadi rasanya masuk ke bentuk seni lain yang berbeda dari fotografi
Beberapa bulan lalu saya mengalami hal serupa dengan Pixel 7
Pada foto rusa ini: https://photos.app.goo.gl/qChwaw9C29WVdAmr6
Jika diperbesar, pada tingkat detail semuanya tampak seperti lukisan cat minyak, terutama wajah rusa dan dinding di belakangnya
Dinding maupun rusanya sama sekali tidak tampak seperti itu aslinya, dan saya juga tidak memakai filter
Fotografi komputasional memang sangat keren, tetapi juga agak mengkhawatirkan
Foto yang diambil dengan iPhone 6s sekitar 2016 juga terlihat mirip saat diperbesar
Pola seperti mosaik semacam itu terlihat lebih enak di mata daripada foto yang penuh noise
Berdasarkan hukum fisika, lensa dan sensor ponsel yang kecil memiliki batas dalam menangkap cahaya
Perangkat keras memang sudah cukup membaik tetapi belum mencapai batasnya, dan tetap saja orang tidak akan suka jika ponsel menampilkan begitu saja gambar RAW yang penuh noise tanpa pemrosesan
Pemrosesan yang diperlukan untuk memindahkannya ke kisi piksel dan ruang warna yang benar juga tidak bisa dikecualikan
Pixel 7 tidak punya kamera zoom khusus, jadi kalau memakai zoom berarti itu zoom digital, dan kualitasnya turun banyak
Tahap pemrosesan harus memakai frame berkualitas rendah, dan hasil seperti itu sering muncul
Pengguna ponsel semestinya tidak perlu memikirkan hal semacam ini, tetapi dari pengalaman, pada ponsel tanpa kamera zoom sering kali lebih baik memotret tanpa zoom, atau tidak melewati 2x lalu memotongnya belakangan
Mungkin intensitas pemfilterannya bisa dikurangi di pengaturan
Hal seperti ini makin sering terjadi, dan rasanya seperti kombinasi menyeramkan antara “kompresi yang lebih baik asalkan orang tidak benar-benar memperhatikan gambarnya” dan “peningkatan AI”
Beberapa minggu lalu saya mengambil foto anak saya yang benar-benar bagus; komposisi, ekspresi, fokus, hingga cahayanya sempurna, tapi ada satu masalah
Algoritme ponsel memutuskan bahwa akan lebih baik jika kulit anak saya dikupas lalu diganti dengan tekstur dinding di belakangnya
Tentu saja mungkin ini salah saya karena membeli ponsel murah seperti Galaxy S22 Ultra, dan S23 Ultra mungkin lebih baik, tetapi saat itu belum dirilis
Jadi saya menyalakan RAW agar setidaknya bisa menyelamatkan foto ke depannya, tetapi RAW hanya berfungsi di mode kamera “pro” yang merepotkan dan kadang diam-diam kembali ke mode non-pro
Akhirnya saya menyerah dan memasang aplikasi kamera pihak ketiga
Setidaknya Mark tidak secara aktif merusak foto saya, jadi sepertinya harus dipercaya: https://play.google.com/store/apps/details?id=net.sourceforg...
Selain penghilangan noise bawaan dan sihir koreksi kecerahan dalam cahaya rendah, serta fitur penggantian bulan yang bodoh, rasanya bahkan tidak memakai fotografi komputasional
Dengan lensa 10x saja sudah mengalahkan Apple, jadi tidak perlu omong kosong soal bulan itu
Menurut saya aplikasi kamera bawaan cukup baik
Contoh-contoh seperti ini, kalaupun belum sekarang, tampaknya akan terus dikumpulkan dan diajukan sebagai bagian dari pembelaan hukum
Valid atau tidak, kasus ekstrem semacam ini bisa membuat sebagian hakim dan juri melewati ambang keraguan yang wajar
Manipulasi AI benar-benar terjadi, dan batasnya bisa sulit diprediksi
Lebih buruk lagi, seseorang di lokasi bom bisa terlihat seolah-olah bereaksi sebelum ledakan terjadi
Kita punya asumsi bawaan tentang hubungan sebab-akibat, dan AI ini menghancurkannya
Dalam beberapa situasi tertentu, ini berpotensi menjadi hal yang sangat besar
Keluarga kami suka mengambil foto pano-Frankenstein
Kalau kita memotret panorama melintasi wajah seseorang saat ia mengubah ekspresi dengan cepat secara dramatis, ponsel akan mencoba menyatukan wajah itu menjadi satu gambar yang konsisten, dan hasilnya cukup lucu
Google Pixel terbaru mulai menyimpan frame sejak aplikasi kamera dibuka
Saat benar-benar mengambil foto, ia memakai sebagian frame sebelumnya untuk melakukan komposit HDR secara praktis tanpa jeda
Hal serupa mungkin saja terjadi di sini
Sepertinya dalam proses pengolahan dari frame yang berbeda-beda, sistem memilih eksposur terbaik untuk tiap bagian foto hingga menghasilkan efek seperti ini
Ada orang yang menyalakan kamera selama berjam-jam saat berkeliling tempat baru supaya bisa langsung memotret hal keren, lalu mengeluh baterainya habis saat makan siang
Saya tidak begitu yakin apakah ini benar
Apple tidak pernah mengatakan secara terbuka bahwa mereka melakukan manipulasi sejauh ini, dan tentu saja itu bukan berarti mereka tidak melakukannya, tetapi rentang gerakan yang harus dilalui perempuan itu dalam satu kali pengambilan rasanya tidak mungkin
Bahkan dengan Live Photos, rasanya hal seperti ini tidak akan terjadi
Kalau benar, ini cukup aneh sehingga saya ingin percaya, tetapi terlihat sedikit terlalu sempurna
Sepertinya sudah ada orang yang mencoba membuktikan atau membantahnya
Saya berada di rumah kupu-kupu, dan foto jarak dekat menghapus kaki kupu-kupu hingga hanya menyisakan sayapnya
Tautan gambar: https://ibb.co/nwbw5xY
Ponsel menganggap kaki itu sebagai bagian dari latar belakang
Hal yang sama juga terjadi pada rambut
Kakinya tipis, sehingga mudah ditafsirkan sebagai noise
Terutama jika memakai zoom digital dan cahaya redup, pikselnya sangat sedikit dan noise di tiap piksel menjadi besar, jadi makin begitu
Dari yang saya dengar di podcast terbaru[0], jika tombol di aplikasi kamera iPhone ditekan lama, aplikasi akan menangkap sekumpulan foto lalu menampilkan satu foto yang dianggap “terbaik”, misalnya foto ketika semua orang membuka mata
Tentu saja ini bukan hal yang sama dengan yang terjadi di sini
Karena saya cenderung menyingkirkan orang dari foto, saya selalu lupa mengujinya
[0] Sepertinya episode ini: https://podcasts.apple.com/nz/podcast/the-talk-show-with-joh...
Sekarang kalau tombol ditekan lama, ia beralih ke perekaman video
Bagi saya yang tidak merekam video, ini menjengkelkan
Kalau memakai tombol di layar, bisa digeser ke kiri untuk mengambil burst shot, tetapi setahu saya tidak ada cara memicu foto burst dengan tombol volume
Mungkin bisa dengan tombol baru yang dapat diprogram di seri iPhone 15
Mengambil foto pada dasarnya adalah video pendek, lalu memilih frame terbaik di antaranya