Saya juga tidak yakin apakah ini cocok untuk ASK GN..! Tapi sepertinya ini bukan berita atau Show, jadi saya posting di sini.
Saya sedang mencoba membuatnya berdasarkan masukan yang diberikan waktu itu.
Kebetulan, teman yang bekerja bersama saya di bagian bisnis juga punya ide seperti itu, jadi dua orang non-developer sedang jungkir balik mencoba membuat MVP.
(Claude Code 5X + semua biaya API kami tanggung sendiri.. teman dari tim bisnis mentraktir minuman dan makanan.. hehe)
Karena kami membuatnya dengan acuan konten seperti drama/variety show/film, model yang bisa dipakai ternyata terbatas.
Jadi setelah mencari ke sana kemari, kami sekarang menggunakan Whisper(Open AI API), Pyannote, dan Assembly AI.
Masa gratis pyannote sudah habis jadi harus berlangganan, tapi karena biayanya berbentuk langganan ($19/month), bukan berdasarkan penggunaan, jadi kami melewatinya,
dan sekarang sedang menguji Deepgram Nova-3. (Kalau daftar anggota dapat $200.)
Tapi.. seperti yang diduga, tanpa pyannote pemisahan pembicara memang sulit, jadi kami melakukan speaker diarization dengan meronym/speaker-diarization di replicate.com.
Kalau melihat hasil akhirnya, pemisahan pembicara lumayan berhasil.
Kami berencana membandingkannya dengan Clova, dan hasil perbandingannya juga akan saya bagikan!
Sekarang, hal berikutnya yang sedang saya pikirkan adalah
- Pemisahan pembicara dilakukan berbasis audio, tapi kalau ditambahkan fitur pengenalan wajah, apakah hasilnya akan jadi lebih presisi?
- Metadata yang dibutuhkan untuk pengenalan wajah sebaiknya dikumpulkan dengan cara bagaimana?
- Jika basisnya adalah konten seperti drama/film/variety show, dari mana sebaiknya mendapatkan metadata? (Naver, Namuwiki, dll.)
- Apakah mengumpulkan metadata benar-benar meningkatkan kualitas jika dibandingkan dengan biaya dan waktu yang dibutuhkan?
Kalau ada senior yang pernah memikirkan hal seperti ini, saya sangat berharap bisa mendapat banyak saran...!!!
Belum ada komentar.