Speakz - alat dubbing AI yang dibuat untuk menonton video berbahasa asing bersama anak berusia 7 tahun

Speakz: layanan terjemahan media multibahasa

• Menerjemahkan video dalam satu bahasa ke bahasa lain untuk membuat trek audio baru
• Menyediakan terjemahan yang alami dan autentik dengan menyelaraskan makna, karakter, dan timing secara harmonis sambil mempertahankan suara asli, suara lain, atau musik latar
• Pengembangnya, yang berasal dari Jerman, membuat alat ini agar dirinya dan putrinya yang berusia 7 tahun dapat menikmati konten YouTube dalam bahasa Jerman

Bahasa yang didukung dan kecepatan terjemahan

• Bahasa keluaran: mendukung Inggris, Tionghoa, Spanyol, Arab, Prancis, Rusia, Jerman, Italia, Korea, Polandia, dan Belanda
• Bahasa masukan: selain itu juga mendukung berbagai bahasa seperti Hindi, Bengali, Portugis, dan lainnya
• Menerjemahkan video berdurasi 30 menit membutuhkan sekitar 1 jam, dan ada potensi pengembangan menuju terjemahan serta streaming real-time

Pemanfaatan untuk kreator dan pengguna umum

• Kreator dapat menggunakan Speakz untuk menjangkau audiens yang lebih luas dengan konten yang sudah ada
• YouTube mendukung penambahan beberapa trek audio ke video, sehingga melalui Speakz trek audio dalam berbagai bahasa dapat ditambahkan secara otomatis
• Pengguna umum juga dapat bergabung dalam beta privat untuk menerjemahkan video yang mereka inginkan

Biaya dan partisipasi beta privat

• Biaya belum ditetapkan, tetapi diperkirakan sekitar $5 per jam per bahasa
• Mungkin akan ada diskon untuk menerjemahkan video yang sama ke beberapa bahasa atau diskon volume untuk kreator
• Pengguna yang ingin ikut serta dalam beta privat dapat mendaftar melalui situs web

Pendapat GN⁺

• Speakz adalah alat yang berguna baik bagi pengguna yang ingin mengonsumsi konten multibahasa maupun kreator yang menargetkan pasar global
• Fitur terjemahan real-time memiliki potensi untuk meruntuhkan hambatan bahasa dalam live streaming atau acara real-time
• Layanan lain dengan fungsi serupa antara lain fitur subtitle otomatis dari Google atau platform terjemahan berbasis komunitas seperti Amara
• Saat mengadopsi Speakz, akurasi terjemahan dan nuansa budaya perlu dipertimbangkan
• Keuntungan yang bisa diperoleh dengan memilih teknologi ini adalah akses konten tanpa hambatan bahasa, tetapi biaya dan kualitas terjemahan tetap perlu diperhatikan

[GN⁺]

Opini Hacker News

• Di Jerman, sebagian besar video didubbing, tetapi ada pendapat bahwa anak usia 7 tahun pun bisa membaca subtitle, dan ini merupakan cara yang baik untuk belajar bahasa Inggris. Di Swedia, dikatakan bahwa sebagian besar anak belajar bahasa Inggris dengan cara ini sebelum masuk sekolah. Selain itu, diajukan klaim bahwa ada korelasi kuat bahwa semakin umum dubbing di suatu negara, semakin rendah kecakapan bahasa Inggris rata-ratanya.
  • Sampel di situs web mengesankan, dan ada pertanyaan tentang bagaimana pemisahan penutur dan kloning suara dilakukan. Diduga prosesnya dapat mencakup pemecahan per kalimat menggunakan pengenalan suara dan petunjuk waktu, menyediakan berbagai hasil terjemahan menggunakan mesin terjemahan, mengkloning suara asli tanpa memandang bahasa, lalu memilih terjemahan yang paling cocok dari sisi waktu.
• Ada permintaan agar bahasa Inggris sederhana ditambahkan sebagai opsi bahasa keluaran. Dengan ini, tingkat kompleksitas bahasa dapat disesuaikan dengan level anak-anak dan dukungan bisa dikurangi secara bertahap.
• Seorang pengguna berbahasa Rusia memuji bahwa dubbing pada sampel Lex sangat mirip dengan aslinya. Memang belum setingkat dubbing profesional, tetapi sangat bagus, dan juga sangat dekat dengan suara Lex dan Elon.
• Seorang pengguna yang memiliki pengalaman mengembangkan solusi pembuatan subtitle otomatis memuji proyek dubbing otomatis ini. Dia menjelaskan bahwa dubbing otomatis memerlukan penyesuaian manual untuk hasil yang nyaman bagi penonton, dan mereka berfokus menyediakan editor canggih yang memungkinkan penyempurnaan dubbing tanpa harus kembali ke perangkat lunak penyuntingan.
• Ada pendapat yang mengungkapkan kekaguman terhadap proyek ini sekaligus kesediaan untuk membayar per video secara terpisah. Sebagai masukan untuk halaman, disebutkan masalah bahwa video terus diputar sehingga sulit membandingkan bagian yang sama dalam bahasa lain. Juga disebutkan adanya kesalahan terjemahan dan masalah timing, serta dalam beberapa kasus sebagian audio asli tidak diterjemahkan.
• Disebutkan bahwa dubbing bahasa Belanda sejauh ini hanya ditemui di TV anak-anak, tetapi ada pendapat bahwa model bahasa Belanda perlu ditingkatkan. Secara khusus, dubbing dokumenter Taiwan disebut sulit dipahami. Ia mempertanyakan alasan memasukkan bahasa Belanda, sambil menyebut bahwa sebagian besar penutur bahasa Belanda memahami bahasa Inggris.
• Ditunjukkan masalah bahwa di banyak negara seperti Yunani, tempat film dan acara TV tidak didubbing, orang dengan gangguan penglihatan atau masalah penglihatan akibat penuaan yang tidak mahir berbahasa Inggris pada akhirnya hanya bisa menonton film dan program produksi lokal. Proyek ini dinilai dapat membantu menyelesaikan masalah tersebut.
• Ada pujian bahwa metode timing audio sangat cerdas, disertai pertanyaan tentang model apa yang digunakan.
• Ada pendapat bahwa saat menonton konten Jerman, pernah muncul rasa penasaran apakah subtitle bahasa Inggris dibuat oleh AI. Terkadang subtitle terasa lebih membingungkan daripada bahasa Jermannya, dan tampak seperti hasil generasi otomatis ketimbang terjemahan oleh penerjemah sungguhan yang menggunakan petunjuk konteks dan sebagainya.