AV1@Scale: Kebangkitan Sintesis Film Grain

• Netflix mulai menerapkan teknologi AV1 Film Grain Synthesis (sintesis film grain) dalam skala besar kepada para anggotanya di seluruh dunia
• Fitur ini memungkinkan noise dan tekstur sinematik dipertahankan secara lebih realistis sekaligus meningkatkan efisiensi kompresi video
• AV1 FGS menggunakan 2 teknik inti (pemulihan pola, penyesuaian intensitas) untuk mereproduksi karakteristik grain asli dengan akurat
• Melalui ini, dimungkinkan penghematan bitrate sekaligus peningkatan kualitas video dan pengalaman menonton
• Netflix meningkatkan efisiensi data di lebih banyak konten melalui teknologi ini sambil tetap menjaga integritas artistik

---

AV1@Scale: Kebangkitan Sintesis Film Grain

Netflix mengadopsi sintesis film grain dan meningkatkan kualitas video untuk jutaan penonton

• Netflix mewujudkan inovasi yang memaksimalkan efisiensi data sambil mempertahankan nuansa artistik dan realisme film grain melalui adopsi besar-besaran stream AV1 Film Grain Synthesis (FGS)
• Film grain adalah elemen visual penting yang menambah kedalaman penceritaan serta menghidupkan suasana dan realisme film klasik
• Namun, algoritme kompresi tradisional kesulitan menangani dan mengompresi grain yang sangat acak secara efektif

# Memahami sintesis film grain di AV1

• Alat AV1 Film Grain Synthesis (FGS) menggunakan dua model utama

  • Pola film grain: memodelkan pola grain dengan model autoregresif (AR), dan koefisien AR diestimasi dari selisih antara video sumber dan video yang telah di-denoise (noise)
    • Dengan koefisien tersebut, dibuat template noise 64x64, lalu saat pemutaran patch acak 32x32 diambil untuk digabungkan ke video hasil rekonstruksi
    • Pendekatan ini mereproduksi karakteristik noise dan korelasi spasial video asli dengan setia
  • Intensitas film grain: menggunakan fungsi penskalaan untuk menyesuaikan intensitas grain secara rinci sesuai kondisi kecerahan
    • Saat encoding, hubungan antara nilai piksel dan intensitas noise dimodelkan sebagai fungsi linear bertingkat, lalu intensitas grain disesuaikan menurut kecerahan dan warna video
    • Dengan cara ini, tekstur video asli dapat dipulihkan dengan lebih akurat

• Standar AV1 tidak mewajibkan metode tertentu untuk teknik denoise, sehingga pengguna dapat memilih denoiser yang diinginkan

• Setelah denoise, video (video tanpa grain) dikompresi dan dikirim bersama data parameter pola dan intensitas grain

• Di pemutar pengguna, grain dipulihkan dengan metode berbasis blok, sebuah implementasi yang dioptimalkan untuk perangkat konsumen

# Efisiensi kompresi, kualitas video, dan manfaat bagi penonton

• Dengan mengaktifkan AV1 FGS di Netflix, kini dimungkinkan menghadirkan streaming video berkualitas tinggi yang mempertahankan nuansa artistik film sekaligus memberikan penghematan bitrate
• Melalui contoh nyata, dibandingkan metode sebelumnya terjadi peningkatan kualitas dan pengurangan penggunaan data secara bersamaan
• FGS terutama mampu memenuhi dua tujuan sekaligus pada konten dengan banyak pemrosesan filter atau grain tambahan: efisiensi data dan pelestarian tekstur asli

# Ringkasan

• AV1 Film Grain Synthesis (sintesis film grain) adalah teknologi yang mewujudkan integritas artistik, peningkatan pengalaman menonton, dan efisiensi streaming yang lebih baik
• Melalui adopsi teknologi ini dalam skala besar, Netflix menghadirkan lebih banyak karya dengan keseimbangan antara kualitas dan penghematan data
• Dengan demikian, dari film klasik hingga video modern, kini dimungkinkan menghadirkan sekaligus tekstur emosional dan efisiensi teknis

[GN⁺]

Komentar Hacker News

• Menurut saya, diskusi ini mengabaikan fakta bahwa noise sintetis tidak bisa sepenuhnya mereproduksi informasi dan detail yang dimiliki noise asli. Pada encoding berkualitas tinggi ketika noise asli dipertahankan, ada pengalaman resolusi yang terasa melonjak saat beralih dari gambar diam ke video. Pada 24fps, noise tampak bergerak di atas sinyal, tetapi sinyalnya sendiri tetap tajam. Sebaliknya, jika kompresi lossy atau noise sintetis diterapkan per frame, detail yang tadinya ada tidak bisa dipulihkan. Pada video 24fps nyata, hasilnya terasa lebih buram, dan khususnya pada film lama, perbedaan detailnya bisa lebih dari 2x. Kalau h.265 atau AV1 selalu mempertimbangkan banyak frame dan hanya menghilangkan noise sesuai gerakan, tidak akan ada kehilangan detail, tetapi saya tidak tahu apakah memang bekerja seperti itu. Perbandingan denoise vs sintesis tidak seharusnya dinilai dari gambar diam; harus membandingkan video aslinya secara berdampingan. Intinya, noise itu sendiri juga merupakan detail.

  • Grain (pola noise) ada secara independen di tiap frame dan tidak bergerak mengikuti objek dalam adegan, jadi selama noise sintetis tidak punya pola temporal yang mencolok, menurut saya perbandingan frame diam saja sudah cukup. Dari sudut pandang estetika, grain sintetis AV1 kurang merefleksikan ukuran grain sumber, sehingga butiran besar khas film lama tidak terlalu terasa hidup, dan channel warna juga tidak dimodelkan terpisah, meski karena sumber Netflix memang sudah chroma subsampling, mungkin dampaknya tidak besar. Tautan paper terkait ada di sini. Saya hanya membacanya sekilas, jadi bisa saja ada yang saya pahami keliru

  • Untuk menjelaskan aspek temporalnya, bayangkan proyektor film lama. Di antara tiap frame ada momen gelap, tetapi mata hampir tidak menyadari kedipan itu dan merata-ratakannya (flicker fusion threshold). Noise dan grain juga dipersepsikan dengan cara serupa, sehingga kurang menonjol dibanding sinyal yang stabil. Dalam astrofotografi pun, beberapa gambar digabung untuk mendapatkan SNR yang lebih baik, dan otak manusia sedikit banyak memprosesnya seperti itu. Seiring waktu, noise dirata-ratakan menuju nilai rata-rata sementara sinyal menjadi lebih jelas. Algoritma denoise yang hanya memproses satu frame tidak punya konteks itu, sehingga detail bisa hilang atau diganti dengan tebakan. AV1 tidak menetapkan algoritma denoise tertentu, jadi kalau algoritmanya pintar, mestinya konteks temporal bisa dipertahankan dengan baik

  • Noise itu sendiri tidak mengandung sinyal; ia hanyalah gangguan acak yang ditambahkan di atas sinyal, bukan informasi. Jika beberapa gambar statis dirata-ratakan, sinyal tetap ada sementara noise saling meniadakan sehingga SNR meningkat; dari situ saya melihat tidak banyak gunanya sengaja mempertahankan noise. Kalau ada efek yang terasa, mungkin itu kepuasan estetis terhadap grain film asli, atau perbedaan akibat membandingkan video bitrate rendah (kompresi kuat) dengan video bitrate tinggi (lebih mempertahankan sumber)

  • Menurut saya bagian ini sangat menarik. Machine learning kadang juga bisa menganalisis video malam hari lebih baik daripada manusia, dan bahkan noise sensor bisa dipakai sebagai fitur. Ini menegaskan bahwa noise bukan sekadar noise belaka

  • Pada Blu-ray 4K belakangan ini ada teknik DRR yang dipakai, dan dalam proses denoise kadang pori-pori wajah ikut hilang sehingga ekspresi aktor terlihat seperti lilin

• Terlepas dari makna filosofis penambahan noise, dalam contoh ini proses denoise memberi blur berlebihan sehingga hasilnya kurang tajam dari aslinya, dan grain sintetisnya sendiri juga terasa lebih seperti noise biasa daripada grain film sungguhan

  • Saya rasa itu benar. Sampai bitrate-nya cukup tinggi, proses kompresi justru harus menghabiskan terlalu banyak bit untuk grain asli sehingga video terlihat lebih kabur atau muddy. Film grain synthesis (FGS) cukup masuk akal untuk streaming dengan keterbatasan bandwidth, tetapi saya setuju bahwa pada contoh videonya, grain sintetis itu tidak benar-benar terlihat seperti grain asli. Tingkat dan metode denoising memang bisa jelas mengaburkan detail adegan

  • Dalam post-production film, berbagai trik memang selalu digunakan. Akan menarik jika penonton punya opsi untuk memilih apakah efek yang diinginkan (misalnya simulasi film) diterapkan atau tidak. Pada film seperti The Holdovers, simulasi filmnya terasa sangat keren untuk mereplikasi era tertentu. Ke depan, Netflix mungkin juga akan memproses post effect di sisi klien, misalnya menyediakan mode buta warna atau memungkinkan grain buatan dimatikan

  • FGS di AV1 bisa diatur levelnya, dan menurut mata saya setting-nya tampak agak tinggi (meski tergantung lingkungan bitrate, level seperti ini kadang jauh lebih enak dilihat daripada artefak lain). Sebagai catatan, adegan statis memang terbatas untuk menilai kualitas video, dan bahkan filter penghapus noise yang secara teoretis sempurna (100% mempertahankan detail non-noise) pun bisa terasa kurang detail dibanding aslinya. Ada fenomena di mana otak dan mata justru “menciptakan” lebih banyak detail saat melihat gambar yang ber-noise

  • Film yang terkenal mengeksplorasi tema ini adalah Blowup karya Antonioni. Wikipedia Blowup

  • Sebagai orang yang sering mengamati motion picture film dari dekat, saya merasa grain film pada contoh video ini jauh dari yang sebenarnya. Pada akhirnya ini hanya efek yang mirip dithering

• Poin terpenting dalam diskusi ini adalah bagian “at scale”. Selama ini memang sudah ada film grain synthesis di encoder AV1, tetapi agar tidak menimbulkan masalah, setting-nya harus disetel manual setiap kali, sehingga dalam praktiknya hanya dipakai pada konten terbatas. Di sini tidak dijelaskan rinci bagaimana metode yang dibahas mengatasi kesulitan itu, tetapi saya senang melihat bahwa operasional skala besar kini memungkinkan

  • Sekarang sudah ada varian adaptif (Adaptive variant), jadi otomatisasinya jauh lebih mudah

• Menanggapi pandangan negatif terhadap grain film: semua gambar memiliki sejumlah noise atau grain. Sensor digital terbaik sekalipun, bahkan mata kita sendiri, memilikinya. Selain fungsi estetis, ia juga berperan nyata dalam meningkatkan persepsi ketajaman serta menyamarkan banding atau artefak kompresi. Tentu bukan berarti semua grain itu bagus; banyak juga yang muncul karena keterbatasan teknis atau keputusan kreatif yang buruk. Meski begitu, menurut saya hasil semua video yang di-denoise lalu dibuat mulus justru jauh lebih tidak realistis dan lebih mengganggu

  • Grain pada sensor digital canggih saat ini sangat kecil dibanding jumlah grain yang biasa ditambahkan ke film modern

  • Keberatan saya adalah bahwa keputusan menerapkan grain seharusnya merupakan keputusan artistik kreator, bukan sesuatu yang dipilih sepihak oleh pihak kompresi data

  • Animasi intro HBO memanfaatkan noise sinyal siaran analog lama, dan bahkan di 4K kualitasnya tetap berantakan. Noise acak hampir tidak bisa dikompresi, jadi metode seperti ini (menghapus noise lalu memulihkannya kembali) memang jadi perlu

• Saya tidak setuju dengan klaim bahwa “grain memberi rasa nyata dan menambah kedalaman cerita”. Di mata saya tidak ada grain di dunia nyata, jadi logika “realitas = grain” tidak masuk akal. Meski begitu, saya tetap menganggap grain sebagai alat estetis yang keren, dan teknologi ini menarik untuk dilihat

  • Selain efek masking grain yang disebut dalam artikel (menutupi artefak) dan faktor keakraban serta nostalgia, ada satu penjelasan tambahan. Semua permukaan di dunia nyata punya tekstur halus, tetapi saat direkam ke video, detail ini hilang karena kamera, resolusi, batas kompresi, dan sebagainya. Grain film mengembalikan rangsangan visual frekuensi tinggi itu. Mata dan otak menyukai rangsangan tersebut, dan tidak terlalu peduli pada posisi atau pola noise-nya. Misalnya, parameter psy-rd dan psy-rdoq pada encoder x265 dapat diatur agar “video terasa lebih berenergi (sedikit kasar)”, dan kualitas persepsinya bisa meningkat tanpa memakai lebih banyak data

  • Pada malam yang gelap, mata kita sendiri kadang melihat semacam “sparkling” atau “static”, dan secara teknis mata manusia memang punya sedikit noise. Rasa nyata (realness) dibentuk oleh jejak teknologi pada zamannya. Seperti sapuan kuas Vincent van Gogh yang menjadi bagian dari lukisan, grain film juga merupakan salah satu realitas medium itu, jadi kalau bisa, orang ingin mempertahankan jejak tersebut semaksimal mungkin

  • Orang suka merasionalisasi selera estetis mereka secara logis. Semakin tinggi pengalaman dan pemahaman seseorang terhadap media, semakin peka ia terhadap perubahan kecil pada detail, dan itu tercermin dalam seleranya. Anak-anak akan bereaksi pada isi komedi bisu lama, bukan pada sifat material filmnya. Sebaliknya, para ahli justru makin peka pada perbedaan-perbedaan kecil semacam itu. Bahwa grain film sendiri terasa nyata juga merupakan hasil pengalaman sosial dan kesadaran diri pada setiap zaman. Bisa jadi 40 tahun dari sekarang grain film justru akan dianggap surealis atau sekadar “noise” saja

  • Menurut saya, grain membuat video tampak lebih detail daripada kenyataannya, sekaligus menyamarkan artefak kompresi atau keburaman. Saya tidak yakin soal faktor psikologisnya, tetapi jelas ada tambahan frekuensi tinggi atau efek dithering di sana. Mata manusia sendiri juga benar-benar memiliki grain karena fenomena kuantum, hanya saja otak memfilternya dengan kuat sehingga kita tidak menyadarinya

  • Pada awal masa kamera digital mulai mendominasi, video digital terasa tidak realistis, sehingga ada persepsi kuat bahwa film seluloid lebih indah. Mungkin juga para sinefil yang menyukai film klasik ikut memperkuat anggapan film = bagus. Pada akhirnya, saya melihat ini sebagai alat estetis yang berguna ketika ingin mengurangi ketajaman

• Codec audio AMR-WB untuk panggilan ponsel juga secara resmi mendukung 50 Hz-7.000 Hz, tetapi pada 12,65 Kbps yang paling luas dipakai, yang benar-benar disimpan hanya sampai 6.400 Hz dan sisanya diisi dengan sintesis frekuensi rendah + noise. Ini terdengar jauh lebih alami daripada sekadar memotongnya tanpa noise

• Sebagai fotografer kamera mirrorless, saya selalu berusaha menciptakan nuansa khusus lewat pascaproses. Misalnya dengan menutup aperture semaksimal mungkin, lalu aktif memakai denoise-sharpening-color grading. Kalau foto saya terasa seperti diambil dari buku tua, saya menganggap itu hal positif. Saya juga sudah mencoba berbagai filter film look, tetapi sampai sekarang belum pernah melihat filter yang benar-benar mereproduksi grain film bergaya kristal tak beraturan seperti yang saya bayangkan (piksel tak beraturan yang sudah ada pada film bahkan sebelum pemotretan). Kebanyakan hanya grain kotak berbentuk piksel, jadi tidak meyakinkan

• Saya tidak setuju dengan klaim bahwa “grain film menambah kesan autentik dan nostalgia”. Dari sudut pandang saya, itu hanya noise visual yang justru menutupi detail. Nostalgia datang dari aktornya atau dari pengalaman saya menonton di masa itu, bukan karena grain. Klaim “menambah realisme” juga terasa tidak realistis. Bahwa AV1 memungkinkan sampah visual seperti ini disintesis atau dihapus dengan mudah dan fleksibel tanpa membuang bit, menurut saya justru hal yang positif

  • Dokumenter mungkin bertujuan “merepresentasikan realitas”, tetapi film lebih mengutamakan visi sutradara. Grain, seperti musik, bisa dilihat sebagai elemen artistik untuk membangun emosi dan suasana

  • Secara fisik, pada pencahayaan maupun proses pengambilan gambar memang ada shot noise, jadi dalam kenyataannya tidak ada dunia yang “benar-benar tanpa noise”. Lihat Wiki shot noise

  • Saya rasa penjelasan soal kelebihan grain film memang belum terlalu berhasil, tetapi pada praktiknya grain memang meningkatkan ketajaman dan rasa detail gambar (meski hanya ilusi), dan sinematografer Steve Yedlin juga pernah mengatakan bahwa grain “memberi sesuatu untuk ditangkap mata penonton”

  • Saya pikir penilaian apakah sesuatu itu “noise” atau “detail” dalam film sangatlah subjektif. Ada juga bentuk noise visual lain yang jelas-jelas muncul akibat teknologi kompresi video modern

• Hal utama yang banyak diabaikan orang adalah bahwa setelah noise dihilangkan, efisiensi kompresi meningkat drastis. Pada bitrate yang sama, jika noise tidak dihilangkan dan langsung dikompresi, detail dan edge akan jauh lebih rusak. Ini adalah konsep yang juga sudah lama dipakai bahkan di media player desktop

  • Betul. Semua orang fokus pada kualitas grain, padahal yang sungguh penting bagi Netflix adalah rasio bandwidth/kualitas. Pada bitrate yang mirip, menghilangkan noise lalu memulihkannya lewat software menghasilkan kualitas yang jauh lebih baik. Mengompresi noise itu benar-benar buruk

• Menurut saya, film grain sudah saatnya ditinggalkan. Era foto sepia dan film bisu 16fps sudah lama berakhir, jadi grain film juga sudah waktunya berhenti. Eastman Business Park pun sudah dibongkar. Saya juga sudah bosan melihat video YouTube yang menambahkan efek debu dan goresan

  • Mungkin fake film grain bisa diperdebatkan, tetapi menghapus film grain sepenuhnya terdengar seperti ingin menghapus sapuan kuas dari lukisan cat minyak

  • Saya penasaran apa alasan kuatnya sampai film grain harus benar-benar dihapus