tts-bench - Benchmark untuk Membandingkan Model TTS Secara Lokal

• Benchmark open-source untuk membandingkan 55 model TTS lokal dari tiga sudut pandang di hardware apa pun
• Terdiri dari tiga lensa: Speed (kecepatan)/Listen (mendengarkan)/Scores (metrik objektif), diukur di CPU/CUDA/Apple Silicon
  • Speed mengukur TTFA cold/warm (time to first audio; waktu hingga audio pertama), RTF (kelipatan dibanding real-time), dan memori
  • Listen memutar semua model dan prompt secara inline dengan suara default + kloning, sehingga pengguna bisa memilih model langsung dengan telinga
  • Scores menilai UTMOS (kenaturalan), WER (kejelasan), dan SIM (kesetiaan kloning) dengan metode seed-tts-eval
• Menyediakan situs Demos untuk mendengarkan semua model tanpa instalasi, dengan penelusuran berdasarkan prompt/model
• Dari 55 model, 41 model mendukung voice cloning dengan klip referensi; mendukung 3 format referensi (wav saja / wav + transkripsi / HF gated wav)
• Untuk bahasa Korea, tidak semua dari 55 model mendukungnya, tetapi termasuk model multibahasa/pendukung bahasa Korea seperti Supertonic, VoxCPM, OmniVoice
  • Namun prompt benchmark default berfokus pada bahasa Inggris/Prancis, jadi untuk melihat kualitas bahasa Korea sebaiknya menjalankan Listen/compare dengan kalimat bahasa Korea terpisah dan mengeceknya langsung dengan telinga
  • Dalam hasil pengujian, Supertonic, VoxCPM, dan OmniVoice di atas menunjukkan kualitas yang cukup layak didengar
• Peringkat teratas voting A/B kloning — OmniVoice (kecocokan timbre paling tinggi, tetapi kata bisa terdengar melebur/hilang), Echo-TTS (setara peringkat pertama, 44,1kHz), IndexTTS-2 (peringkat ke-3, mempertahankan intonasi)
• Kode benchmark berlisensi MIT, sementara tiap model TTS memakai lisensi masing-masing