rPPG - Cara Baru untuk Membedakan Video DeepFake Hasil Sintesis

<p>Teknologi DeepFake yang berkembang pesat bisa sangat membantu industri hiburan, tetapi juga dapat menimbulkan masalah dengan memperparah seriusnya berita palsu. Karena itu, memiliki teknologi untuk membedakan DeepFake semacam ini memiliki makna yang penting.<br /> <br /> Upaya MS untuk mencegah berita palsu pada pemilu AS yang akan datang:<br /> https://id.news.hada.io/topic?id=2767<br /> <br /> Saya membagikan artikel yang memperkenalkan metode baru untuk membedakan video DeepFake. (Bahasa Inggris) Metode ini membedakan wajah manusia asli dan DeepFake berdasarkan sinyal detak jantung yang diekstraksi dari wajah seseorang.<br /> <br /> Metode untuk mengukur detak jantung manusia pada alat pengukur saturasi oksigen noninvasif di rumah sakit atau smartwatch yang kini sudah cukup umum, dalam istilah teknis disebut PPG (Photoplethysmography, pengukuran aliran darah optik). Ketika cahaya disinarkan ke tubuh manusia, cahaya tersebut akan diserap, dan tingkat penyerapannya sebanding dengan volume kulit, jaringan, dan darah pada jalur yang dilalui cahaya itu. Volume kulit atau jaringan tidak banyak berubah secara mendadak, tetapi volume darah di dalam pembuluh darah pada lokasi tertentu bertambah saat jantung berkontraksi dan berkurang saat jantung relaksasi. Jadi, jika pola penyerapan cahaya digambar sebagai grafik dan interval antar nilai puncaknya diukur, itulah detak jantung. Lebih sederhana dari yang dibayangkan, bukan.<br /> <br /> rPPG (Remote photoplethysmography, pengukuran aliran darah optik jarak jauh) melangkah lebih jauh dari sini. Manusia atau kamera bisa melihat objek karena cahaya dari suatu tempat dipantulkan oleh objek lalu masuk ke mata atau kamera. Jika kita mengingat prinsip PPG yang disebut di atas, maka pada cahaya yang dipantulkan dari bagian tubuh seperti wajah manusia yang hidup, terdapat perubahan yang sangat samar tetapi jelas mencerminkan pola denyut nadi. rPPG adalah pengukuran detak jantung dengan sangat memperkuat perubahan samar ini sehingga, tanpa alat ukur khusus atau kontak langsung, cukup dengan video wajah yang direkam kamera. Metode ini bergantung pada perubahan warna wajah yang amat kecil, tetapi sistem rPPG modern yang menerapkan deep learning diketahui dapat mengekstraksi perubahan seperti ini bahkan dari video wajah dengan tingkat kompresi yang cukup tinggi.<br /> <br /> Kalau begitu, jika sinyal biologis dapat diekstraksi dengan cara ini, bukankah kita juga bisa membedakan wajah manusia asli dan wajah yang dibuat dengan DeepFake? Karena itu, baru-baru ini dipublikasikan makalah tentang hasil eksperimen yang menggunakan teknik rPPG terbaru untuk menyaring video wajah DeepFake. Singkatnya, sinyal rPPG yang muncul pada wajah manusia nyata dan wajah hasil DeepFake memiliki pola yang sangat berbeda, dan pola sinyal rPPG yang diekstraksi juga berbeda tergantung pada jenis model yang digunakan untuk DeepFake. Karena itu, metode ini tidak hanya berhasil membedakan video DeepFake, tetapi juga dikatakan mampu mengidentifikasi secara spesifik model apa yang digunakan dengan akurasi yang cukup tinggi.<br /> <br /> Teks asli makalah terkait:<br /> https://arxiv.org/abs/2006.07634<br /> https://arxiv.org/abs/2008.11363</p>;

[xguru]

<p>Menarik, tetapi saya juga jadi khawatir jangan-jangan nanti DeepFake akan meniru hal itu juga. Seperti tombak dan perisai, haha.</p>

[qodot]

<p>Iya juga sih, malah jadi kepikiran jangan-jangan makalahnya justru sebaiknya tidak dipublikasikan wkwk</p>

[sduck4]

<p>Tombak dan perisai yang saling bersaing sambil belajar ini jadi mengingatkan saya pada GAN.<br /> <br /> Teknologi kecerdasan buatan baru GAN - https://samsungsds.com/global/ko/…;