Peningkatan utama di Opus 1.5
- Versi Opus 1.5 diumumkan, dengan berbagai peningkatan termasuk perbaikan kualitas berbasis machine learning.
- Tetap sepenuhnya kompatibel dengan versi sebelumnya sambil menghadirkan fitur-fitur baru yang meningkatkan pengalaman audio.
- Untuk pertama kalinya, teknik deep learning digunakan dalam pemrosesan dan generasi sinyal melalui machine learning.
Penanganan packet loss
- Packet loss adalah salah satu gangguan terbesar saat panggilan, karena jika paket tidak terkirim, kualitas codec yang baik pun menjadi tidak berguna.
- Packet loss concealment (PLC) berfungsi mengisi audio sebagai pengganti paket yang hilang, dan machine learning sangat membantu di sini.
- PLC dilakukan menggunakan deep neural network (DNN), yang dapat dilihat dalam makalah dan rincian teknisnya.
Deep Redundancy (DRED)
- Saat paket hilang secara berurutan, PLC saja memiliki keterbatasan, dan hal ini diatasi melalui redundansi.
- Opus mencakup mekanisme low bitrate redundancy (LBRR), tetapi memperkenalkan DRED yang menggunakan ML untuk mengompresi suara secara efisien.
- DRED dapat mengirim redundansi selama 1 detik dengan overhead sekitar 12-32 kb/s.
Neural vocoder
- Kompleksitas rendah dari DRED dan PLC dimungkinkan oleh teknologi neural vocoder baru.
- Vocoder FARGAN memiliki kompleksitas 1/5 dari LPCNet dan menggunakan kurang dari 1% inti CPU bahkan pada laptop atau ponsel modern.
Peningkatan kualitas suara pada bitrate rendah
- Ketika bit yang tersedia tidak cukup, artefak coding dapat terdengar, sehingga diperkenalkan dua metode peningkatan bernama LACE dan NoLACE.
- LACE mirip dengan post-filter tradisional, tetapi DNN mengoptimalkan koefisien post-filter berdasarkan semua data yang dapat digunakan decoder.
- NoLACE membutuhkan komputasi lebih besar, tetapi lebih kuat berkat pemrosesan sinyal nonlinier tambahan.
Integrasi WebRTC
- DRED memerlukan integrasi yang erat dengan jitter buffer, dan ukuran jitter buffer menentukan jumlah maksimum keterlambatan kedatangan paket yang diizinkan.
- Data DRED diperlakukan mirip dengan paket audio yang datang terlambat, dan ukuran buffer dapat diperkecil ketika kondisi jaringan membaik.
IETF dan standardisasi
- Pekerjaan ini dilakukan dalam working group IETF mlcodec, dengan fokus pada mekanisme ekstensi umum Opus, deep redundancy, dan peningkatan coding suara.
- Mekanisme DRED memungkinkan informasi tambahan dimasukkan ke dalam paket Opus sambil tetap memungkinkan decoder versi lama untuk mendekode data Opus normal.
Peningkatan lainnya
- Opus menambahkan dukungan AVX2 dan deteksi runtime, sehingga kode DNN baru dan encoder SILK menjadi lebih cepat.
- Optimasi ARMv7 Neon diaktifkan kembali pada AArch64 sehingga encoding menjadi lebih efisien.
- Untuk mensimulasikan packet loss secara lebih realistis, model packet loss dapat dibuat guna meniru kehilangan yang mirip kondisi nyata.
Opini GN⁺
- Opus 1.5 menghadirkan pendekatan inovatif yang meningkatkan teknologi codec audio yang ada dengan machine learning. Ini bisa menjadi kemajuan penting bagi perkembangan teknologi komunikasi.
- Masalah packet loss adalah isu penting dalam komunikasi real-time, dan teknologi Opus 1.5 menawarkan cara efektif untuk mengatasinya. Khususnya, fitur seperti DRED dapat berguna di lingkungan dengan ketidakstabilan jaringan yang tinggi.
- Teknologi seperti neural vocoder memainkan peran penting dalam meningkatkan kualitas suara, tetapi dengan mempertimbangkan kompleksitas dan kebutuhan performanya, masih perlu dibahas apakah semua pengguna dapat menikmati manfaatnya.
- Teknologi Opus 1.5 dapat menunjukkan nilai sebenarnya ketika diintegrasikan ke platform komunikasi real-time seperti WebRTC, dan ini dapat sangat meningkatkan kualitas kerja jarak jauh serta komunikasi online.
- Proses standardisasi memainkan peran penting agar teknologi ini diadopsi secara luas dan tetap kompatibel, dan upaya IETF akan membantu teknologi ini digunakan di cakupan aplikasi dan layanan yang lebih luas.
Belum ada komentar.