RealFill: Penyelesaian Gambar Menggunakan Model Difusi

• Pendekatan generatif baru untuk penyelesaian gambar yang dikembangkan oleh Google Research dan Cornell University
• RealFill bertujuan mengisi bagian gambar yang hilang dengan konten yang seharusnya ada agar menghasilkan gambar yang lebih autentik
• Model ini dipersonalisasi menggunakan beberapa gambar referensi yang tidak harus cocok persis dengan gambar target, dan dapat bervariasi dalam sudut pandang, kondisi pencahayaan, aperture kamera, atau gaya gambar
• RealFill jauh melampaui pendekatan sebelumnya pada benchmark penyelesaian gambar baru yang mencakup beragam skenario menantang
• Proses ini mencakup fine-tuning model difusi inpainting yang telah dipra-latih untuk gambar referensi dan target, sehingga model mempelajari konten, pencahayaan, dan gaya dari adegan pada gambar masukan
• Model yang telah di-fine-tune kemudian digunakan untuk mengisi area yang hilang pada gambar target melalui proses sampling difusi standar
• RealFill menghasilkan gambar berkualitas tinggi yang tetap setia pada adegan asli dan menarik secara visual bahkan ketika terdapat perbedaan besar antara referensi dan target
• Keterbatasan RealFill adalah proses fine-tuning berbasis gradien yang relatif lambat serta kesulitan memulihkan adegan 3D ketika perubahan sudut pandang antara gambar referensi dan target sangat besar
• RealFill juga mengalami kesulitan pada kasus-kasus menantang untuk model dasar yang telah dipra-latih seperti Stable Diffusion

[GN⁺]

Opini Hacker News

• Artikel tentang 'RealFill', alat penyempurnaan gambar yang menggunakan model difusi
• Alat yang berpotensi bernilai untuk meningkatkan foto yang diambil saat ini maupun di masa lalu
• RealFill dapat ditingkatkan dengan menggabungkan foto-foto serupa menjadi satu gambar yang lebih baik
• Alat yang memungkinkan pembuatan gambar buatan untuk postingan media sosial, meningkatkan daya tarik dan kesenangan
• RealFill adalah alat pascaproduksi yang berguna untuk film dan TV, menawarkan fleksibilitas untuk "uncropping" dan mengubah format 4:3 menjadi widescreen
• Alat yang dapat digunakan untuk memperbaiki masalah kamera pinhole murah dalam array kamera holografik
• RealFill dapat digunakan untuk memperbaiki foto keluarga yang terpotong secara tidak sengaja
• Fitur zoom out digital berbasis AI, alat untuk membuat foto yang diperluas tanpa terikat pada lensa atau jarak
• Kekhawatiran tentang penggunaan istilah "asli" dan "pemulihan" dalam demo, karena gambar hasilnya bukan gambar asli atau yang dipulihkan, melainkan ilusi
• Alat yang dapat membuat ponsel Pixel lebih menarik, dengan fitur seperti Magic Eraser dan "penyempurnaan gambar asli"
• Kemajuan AI dalam beberapa tahun terakhir sangat mengesankan, dan alat seperti RealFill menandai tahap perkembangan yang penting
• Beberapa komentator menyatakan kekhawatiran tentang implikasi penggunaan AI untuk menciptakan ilusi realisme
• Fungsionalitas alat ini dibandingkan dengan cara kamera GoPro menghilangkan selfie stick, menggunakan frame yang berdekatan untuk mengisi piksel