They See Your Photos - Informasi yang Ditunjukkan oleh Foto

• Ini adalah eksperimen yang menunjukkan bahwa foto pribadi dapat mengungkap bukan hanya objek yang terlihat, tetapi juga informasi privat
• Saat pengguna mengunggah satu foto, mereka dapat melihat informasi apa saja yang dibaca AI melalui Google Vision API
• Poin utamanya bukan analisis profil yang menggabungkan berbagai data, melainkan bahwa bahkan dari satu foto saja, AI dapat membuat lebih banyak inferensi daripada yang diperkirakan
• Tidak membahas beberapa foto atau analisis perilaku jangka panjang; cakupan input dibatasi pada satu foto
• Membuat pengguna merasakan langsung bahwa berbagi atau mengunggah foto, jika melewati analisis AI, dapat berujung pada terungkapnya informasi yang tidak disengaja

---

Informasi yang Diungkap oleh Satu Foto

• They See Your Photos adalah eksperimen yang dibuat agar pengguna dapat melihat langsung apa yang dilihat AI dari foto yang mereka unggah
• Foto dapat mengungkap banyak informasi pribadi, dan eksperimen ini berfokus pada informasi yang dapat diinferensikan hanya dari satu foto

Cara Menggunakan

• Pengguna mengunggah foto
• Sistem menggunakan Google Vision API untuk memeriksa informasi yang dapat dibaca dari foto
• Melalui pesan “lihat apa yang mereka lihat”, pengguna diajak merasakan bagaimana AI menafsirkan foto

[GN⁺]

Opini Hacker News

• magick convert IMG_1111.HEIC -strip -quality 87 -shave 10x10 -resize 91% -attenuate 1.1 +noise Uniform out.jpg
  Perintah ini menghapus semua metadata EXIF, mengubah kualitas JPEG, memangkas 10 piksel dari setiap tepi, mengubah ukuran dengan rasio tertentu, menerapkan attenuate, lalu menambahkan noise bertipe Uniform
  Selain itu, attenuate harus muncul sebelum switch +noise di command line, dan makin buruk angka kualitas JPEG, makin sulit mendeteksi modifikasi gambar[1]
  Rasio resize juga bisa berupa angka pecahan seperti 91,5% atau 92,1%. Terlepas dari deteksi gambar AI, ini bukan hanya menghapus metadata, tetapi juga bisa membuat setiap gambar yang dipublikasikan berbeda satu sama lain, dan jelas berbeda dari foto aslinya
  [1] https://fotoforensics.com/tutorial.php?tt=estq

  • Meski disebut AI image detection notwithstanding, tidak ada gunanya dicoba. Ini hanya membuat gambar tampak lebih buruk bagi manusia
  • Tidak ada jaminan metode ini tahan terhadap perceptual hashing
    https://en.wikipedia.org/wiki/Perceptual_hashing
  • Jelas lebih baik daripada tidak melakukan apa pun, tetapi saya penasaran bagaimana ini bekerja terhadap perceptual hashing. Saya sempat mengutak-atik pHash secara lokal sekitar 5 menit, tetapi tidak mendapatkan hasil yang berguna; mungkin saya yang salah menggunakannya
  • Crop atau kompresi ulang gambar juga tidak terlalu membantu
    Kalau melihat pencarian gambar terbalik TinEye, variasi seperti ini pun mudah dicocokkan
    https://tineye.com/
  • Jika gambar memiliki watermark, cara seperti itu tidak bisa menghapusnya. Watermark mudah bertahan bahkan terhadap noise seragam yang sampai sulit ditoleransi manusia, dan karena biasanya disimpan secara redundan di banyak posisi dan channel, noise seragam umumnya akan dirata-ratakan dan crop juga tidak banyak berpengaruh
    Watermark sering menaruh sinyal pada model warna selain RGB atau pada area gambar yang sudah ditransformasi besar-besaran, jadi noise yang ditambahkan pun bukan di sepanjang “sumbu” sinyal watermark. Untuk pencarian gambar serupa juga tidak banyak berpengaruh; algoritma seperti ini mencari puluhan landmark lalu mencari gambar yang berbagi proporsi tinggi dari landmark tersebut. Dulu landmark adalah fitur geometri kontras tinggi seperti sudut dan hampir tidak terpengaruh noise; sekarang landmark bisa berupa apa pun yang dipilih jaringan saraf yang dilatih terhadap transformasi umum seperti kompresi dan noise

• Saat menggunakan ini, perlu diingat bahwa Anda melepaskan hak untuk menggugat pembuatnya di pengadilan: https://theyseeyourphotos.com/legal/terms
  PLEASE NOTE THAT THESE TERMS CONTAIN A BINDING ARBITRATION PROVISION AND CLASS ACTION/JURY TRIAL WAIVER.
  Klausul seperti ini umum di AS dan secara konsisten diakui oleh pengadilan AS. Menariknya, Ente tidak memasukkan klausul opt-out di sini, padahal ada di syarat umum mereka (https://ente.io/terms). Saya penasaran kenapa mereka membuat ketentuan yang lebih membatasi hanya untuk layanan tertentu ini

• Ini cuma iklan untuk layanan foto mereka sendiri. Kalau tidak dianalisis dengan AI, fitur pencariannya juga sepertinya akan buruk, padahal itu salah satu fitur terbaik Google Photos

  • Saya orang yang bekerja di layanan foto tersebut
    Ente menyediakan pencarian[1] yang cukup baik[2] dan digerakkan oleh machine learning on-device
    [1]: https://ente.io/blog/machine-learning
    [2]: https://ente.io/ml
  • Mengatakan pencarian akan buruk tanpa AI itu agak berlebihan. Google juga tidak memonopoli pengenalan objek dan wajah dalam foto
    Tanpa memberi foto ke AI tanpa wajah dan menghabiskan banyak listrik, solusi self-hosted pun bisa menyediakan fitur seperti itu dengan cukup baik
  • Layanan bernama Ente itu pada akhirnya juga akan melihat foto pengguna, jadi terasa seperti iklan yang aneh
  • Bagaimana cara opt out agar Google tidak memperbarui profil pengguna/iklan dari informasi yang diperoleh dari foto?
  • Semakin banyak perusahaan yang memperlakukan pengguna seperti manusia, bukan ternak, semakin baik

• Ini bisa cukup bagus untuk membuat deskripsi gambar bagi penyandang tunanetra, tetapi tidak memberikan wawasan mendalam di luar hal yang bisa diketahui sekilas
  Banyak kalimat panjang yang “berusaha terdengar pintar”. Misalnya untuk foto ranting pohon, ia berkata, “pengamat yang cermat juga dapat memperhatikan perubahan halus pada ketebalan dan tekstur cabang, yang menunjukkan pola pertumbuhan yang alami dan organik”
  Terima kasih. Kalau tidak, mungkin saya mengira pohon itu adalah pohon anorganik yang tidak alami

  • Sepertinya prompt-nya berisi instruksi seperti “jelaskan detail halus pada foto secara rinci” atau “kesimpulan apa yang bisa ditarik dari situasi ini?”
    Tampaknya ia mencoba melakukan ini pada foto apa pun, entah ada detail atau implikasi yang layak diperhatikan atau tidak. Saya mengerti niatnya untuk menunjukkan penalaran ala Sherlock Holmes yang menyimpulkan fakta tersembunyi dari foto, tetapi ketika model tidak punya apa pun untuk ditemukan, hasilnya jadi konyol
  • Facebook sudah membuat teks alternatif otomatis dasar sejak beberapa tahun lalu. Bukan yang terbaik, tetapi lebih baik daripada tidak ada, misalnya seperti “mungkin gambar berisi 4 orang, orang-orang tersenyum, dan teks”

• Akan lebih menakutkan kalau bukan karena ia berhalusinasi soal anting di telinga yang berada di luar frame, atau mengatakan sepatu kiri anak yang bertelanjang kaki tidak fokus

  • Sekarang di atas meja makan saya menggantung dekorasi lilin yang melayang ala Harry Potter. Saat saya mengunggah foto yang memperlihatkannya dengan jelas, model itu menjelaskan semua hal lain di ruangan dengan sangat baik, tetapi sama sekali mengabaikan lilinnya
    Saya membayangkan model itu mati-matian berpikir, “jangan berhalusinasi lilin melayang, jangan berhalusinasi lilin melayang”
  • Ia mencoba menebak status ekonomi macan tutul salju
    “Gambar ini berfokus pada seekor macan tutul salju dan tidak ada manusia. Ekspresi macan tutul tampak waspada dan agak berhati-hati, tetapi tidak agresif. Sulit untuk memastikan usia atau kondisi kesehatan tepat macan tutul dari gambar ini, tetapi ia tampak sebagai individu dewasa dengan kondisi tubuh yang relatif baik. Tidak ada petunjuk yang jelas menunjukkan status ekonomi atau gaya hidup”
  • Justru karena langsung berhalusinasi, itulah yang menakutkan
  • Saya mencoba beberapa foto, dan ia berhalusinasi bahwa ada sesuatu di jaket atau ada pakaian lain
    Cukup menarik melihat momen ketika ia kebingungan. Rasanya bukan seperti perhitungan kata oleh LLM, di mana kita bisa menebak, “ya, mungkin saja jawabannya bisa seperti itu.” Halusinasi visual lebih seperti, “itu sama sekali tidak ada di gambar…”

• Saya menghargai upaya membuat solusi teknis untuk menghindari Big Tech seperti Google, tetapi menurut saya cara terbaik tetap mencetak foto
  Di keluarga, biasanya saya yang menjadi “penanggung jawab foto”, jadi setelah acara saya memesan cetakan foto ke rumah keluarga terkait atau mengantarkannya sendiri. Tidak banyak yang bisa dibandingkan dengan memegang benda fisik di tangan
  Selain itu, karena mencetak foto memakan sedikit biaya, ada dorongan untuk hanya menampilkan beberapa foto yang benar-benar bagus, bukan membiarkannya mengalir dalam scroll tanpa akhir

  • Sudahkah Anda memeriksa kebijakan privasi lab foto atau printer yang Anda gunakan? Mereka bisa saja mengumpulkan salinan digital foto, menjualnya ke pihak ketiga atau menjual informasi yang diperoleh dari foto, dan menyerahkannya kepada polisi atau lembaga pemerintah
  • Kalau aplikasi penyimpanan foto menyediakan pemesanan cetak dengan mudah, itu bisa menjadi ide bisnis yang bagus
  • Di mana Anda mencetaknya?

• Saya mengunggah foto kerusakan pada cerobong asap karena masalah flashing, dan ternyata wawasannya cukup bagus. Hanya saja ia mengatakan rumah saya tua dan terbengkalai. Hei, itu keterlaluan
  Bagaimanapun, saya cukup skeptis terhadap sebagian besar AI, tetapi memakainya untuk mendapat arah yang benar dalam perbaikan rumah terdengar cukup menarik. Karena hampir mustahil menemukan kontraktor yang tidak omong kosong, murah, dan benar-benar datang

• Tampaknya seperti LLM belakangan ini: banyak bicara tetapi sebenarnya tidak banyak mengatakan apa-apa. Saya mengunggah beberapa foto pribadi, tetapi selain deskripsi biasa tentang adegan, ia tidak memberi banyak informasi yang dapat diidentifikasi
  Contoh: “Di latar belakang terdapat campuran bangunan modern dan lama yang menjadi ciri kota Eropa, dengan berbagai gaya arsitektur terlihat”

  • Pengalaman saya cukup berbeda. Saya memasukkan foto ini:
    https://postimg.cc/yD4YZKFk
    Meski saya yakin foto itu tidak memiliki data lokasi, kalimat pertamanya adalah “Gambar ini memperlihatkan bagian dalam Union Station di Chicago, Illinois.” Di bagian akhir ada sedikit kritik seni yang kurang matang, tetapi ia menebak lokasi yang tepat, pohon Natal, dan orang-orang yang duduk di bangku. Ia melewatkan ansambel jazz di sisi samping

• Ente terlihat seperti Immich[0], yang saya hosting sendiri bersama keluarga, tetapi dengan enkripsi ujung ke ujung. Saya lebih suka yang tidak terenkripsi. Karena saat ada sesuatu yang rusak, file tersimpan di disk apa adanya dan mudah dipulihkan
  [0]: https://immich.app/

  • Ente CLI[0] memiliki layanan ekspor yang mengakses cloud secara read-only, dan item yang dihapus akan diganti namanya
    Binary Go berjalan hampir di mana saja, termasuk sebagian besar NAS, tetapi karena Argon2, untuk mendekripsi master key diperlukan RAM minimal 1GB
    [0] https://github.com/ente-io/ente/tree/main/cli
  • Saya terkejut karena terlihat sangat mirip Google Photos. Kalau Google menaikkan harga lagi, Immich mungkin bisa menjadi alternatif sempurna

• “Untuk angsa, usia dan detail lainnya (ciri rasial, etnisitas, status ekonomi, gaya hidup) tidak dapat dipastikan.”
  Penekanan ditambahkan oleh saya

  • Saya mengunggah beberapa gambar, dan untuk hampir semua potret ia secara eksplisit menyatakan tidak dapat memastikan “ciri rasial, etnisitas, status ekonomi, gaya hidup”
    Saya bukan pelukis hebat, tetapi ia cukup baik menangkap detail di bagian lain. Mungkin prompt-nya menanyakan hal-hal semacam ini dan AI enggan menjawab. Namun ia mengatakan, karena gaya gambarnya, pembuatnya mungkin laki-laki. Saya memang laki-laki, dan mungkin gaya gambar saya lebih maskulin, tetapi saya tidak tahu bagaimana mengukurnya secara kuantitatif