Benchmark API Apple SpeechAnalyzer dibanding Whisper dan API sebelumnya

 (get-inscribe.com)
1 poin oleh GN⁺ 4 jam lalu | 1 komentar | Bagikan ke WhatsApp
  • Setelah memproses 5.559 sampel audio LibriSpeech di Apple M2 Pro dengan kode produksi yang sama, SpeechAnalyzer menjadi yang paling akurat di antara semua engine yang diuji, dengan word error rate (WER) 2,12% untuk audio bersih dan 4,56% untuk audio yang lebih bising
  • WER SFSpeechRecognizer lama masing-masing 9,02% dan 16,25%; API baru mengurangi kesalahan 3,5–4 kali pada audio yang sama sekaligus menerapkan tanda baca dan kapitalisasi
  • SpeechAnalyzer lebih akurat daripada Whisper Small dan sekitar 3 kali lebih cepat, tetapi cakupan dukungannya terbatas pada sekitar 30 locale dan platform Apple dengan OS 26 ke atas
  • Semua engine berjalan sekitar 12–40 kali lebih cepat daripada real-time di M2 Pro, memproses audio 1 jam dalam 1,5–5 menit, tetapi kecepatan presisi per engine tidak dipublikasikan karena pengujian dilakukan di lingkungan yang juga menjalankan pekerjaan pengembangan
  • Jika saat ini Anda mentranskripsi bahasa Inggris secara on-device di iPhone atau Mac, SpeechAnalyzer bisa menjadi pilihan utama; Inscribe juga mengubah pengaturan default agar memakai SpeechAnalyzer untuk bahasa yang didukung dan Whisper untuk sisanya

Hasil benchmark akurasi

  • Word error rate (WER) adalah persentase kata yang salah diganti, terlewat, atau dibuat oleh engine; semakin rendah berarti semakin akurat
  • Semua engine dijalankan sepenuhnya on-device di Apple M2 Pro 32GB dan macOS 26.5.1
  • Dua dataset evaluasi LibriSpeech digunakan
    • test-clean: 2.620 sampel audio bacaan yang bersih
    • test-other: 2.939 sampel audio yang lebih sulit dan lebih bising
  • WER dan ukuran model tiap engine adalah sebagai berikut
    • Apple SpeechAnalyzer: test-clean 2,12%, test-other 4,56%, model sistem
    • Whisper Small: 3,74%, 7,95%, sekitar 460MB
    • Whisper Base: 5,42%, 12,51%, sekitar 140MB
    • Whisper Tiny: 7,88%, 17,04%, sekitar 40MB
    • Apple SFSpeechRecognizer: 9,02%, 16,25%, model sistem
  • Apple mengganti SFSpeechRecognizer dengan SpeechAnalyzer·SpeechTranscriber di iOS 26 dan macOS 26, tetapi tidak memublikasikan angka akurasinya
  • Inscribe menyediakan dua engine Apple dan tiga model Whisper, sehingga lima engine dapat dibandingkan pada komputer, audio, dan jalur kode produksi yang sama

Mengapa perlu beralih dari SFSpeechRecognizer

  • SpeechAnalyzer menurunkan WER 3,5–4 kali dibanding API lama pada audio yang sama
    • Audio bersih: turun dari 9,02% menjadi 2,12%
    • Audio bising: turun dari 16,25% menjadi 4,56%
  • Selain akurasi, engine ini menghasilkan teks dengan tanda baca dan kapitalisasi, sehingga hasilnya lebih rapi dibanding engine lama
  • Saat mentranskripsi audio berdurasi 1 jam yang sama, jumlah kata yang salah dikenali oleh API lama kira-kira 4 kali lebih banyak dibanding SpeechAnalyzer
  • Untuk aplikasi yang memproses audio lebih panjang daripada perintah suara, selisih akurasi saja sudah cukup menjadi alasan untuk migrasi

Kriteria memilih SpeechAnalyzer atau Whisper

  • Di kedua dataset, SpeechAnalyzer mencatat WER lebih rendah daripada Whisper Small, model Whisper terbesar di antara yang diuji
  • Waktu komputasi per 1 detik audio juga sekitar sepertiga dari Whisper Small, sehingga unggul baik dari sisi akurasi maupun kecepatan
  • Saat memproses bahasa Inggris di hardware Apple, SpeechAnalyzer menunjukkan hasil terkuat di antara engine on-device yang dapat diuji
  • Whisper masih memiliki dua keunggulan
    • Mendukung jauh lebih banyak bahasa dibanding SpeechTranscriber yang mendukung sekitar 30 locale
    • Dapat berjalan di banyak lingkungan tanpa terbatas pada platform Apple dengan OS 26 ke atas
  • Berdasarkan hasil pengukuran, engine Auto di Inscribe diubah agar memprioritaskan SpeechAnalyzer untuk bahasa yang didukung dan Whisper untuk bahasa lainnya

Kecepatan pemrosesan dan batasan pengukuran

  • Kelima engine berjalan sekitar 12–40 kali lebih cepat daripada real-time di M2 Pro
  • Audio 1 jam dapat ditranskripsi on-device dalam sekitar 1,5–5 menit
  • SpeechAnalyzer sekitar 3 kali lebih cepat daripada Whisper Small sekaligus mencatat WER lebih rendah
  • Selama pengukuran akurasi, pekerjaan pengembangan juga berjalan di komputer yang sama, sehingga waktu pemrosesan per engine mengandung noise
    • Beban kerja ini tidak memengaruhi WER
    • Tabel kecepatan presisi per engine akan ditambahkan setelah diukur ulang di lingkungan idle khusus

Reproduksibilitas dan data publik

  • Hasil pengukuran Whisper mendekati hasil LibriSpeech yang dipublikasikan OpenAI, sehingga konsistensi benchmark harness dapat dikonfirmasi
    • Whisper Tiny test-clean: pengukuran 7,88%, OpenAI 7,6%, selisih +0,28 poin persentase
    • Whisper Base test-clean: 5,42%, 5,0%, +0,42 poin persentase
    • Whisper Small test-clean: 3,74%, 3,4%, +0,34 poin persentase
    • Whisper Tiny test-other: 17,04%, 16,9%, +0,14 poin persentase
    • Whisper Base test-other: 12,51%, 12,4%, +0,11 poin persentase
    • Whisper Small test-other: 7,95%, 7,6%, +0,35 poin persentase
  • Semua hasil pengukuran sedikit lebih tinggi karena text normalizer yang lebih ketat dan kuantisasi CoreML
  • Karena korpus, normalizer, dan scorer yang sama juga diterapkan pada engine Apple, kesesuaian dengan hasil Whisper menjadi dasar untuk memvalidasi pengukuran Apple
  • Hasil pengenalan per kalimat, teks acuan, dan WER per kalimat dipublikasikan agar dapat dinilai ulang dengan metode normalisasi lain

Metode pengukuran WER dan verifikasi on-device

  • Setiap engine dijalankan bukan dengan konfigurasi eksperimen, melainkan dengan jalur kode produksi dan pengaturan buffering yang benar-benar digunakan pengguna Inscribe
  • Teks acuan LibriSpeech memakai huruf besar, tanpa tanda baca, dan angka ditulis sebagai kata, sedangkan engine modern menghasilkan output dengan tanda baca dan angka
    • Normalizer yang sama diterapkan pada kedua sisi teks untuk menangani kapitalisasi, tanda baca, konversi angka ke kata, dan bentuk kontraksi
    • Agar engine yang menghasilkan format rapi tidak dirugikan, penilaian tidak dilakukan pada teks mentah apa adanya, melainkan mengikuti metode normalisasi bahasa Inggris dari OpenAI
  • Agar kalimat pendek tidak memberi pengaruh berlebihan, digunakan corpus WER, yaitu total jumlah error dibagi total jumlah kata acuan, bukan rata-rata WER per kalimat
  • Karena SFSpeechRecognizer secara default dapat mengirim audio ke server Apple, pengenalan on-device dipaksa
    • Jika otomatis beralih ke cloud, perbandingan menjadi tidak valid, sehingga harness dikonfigurasi untuk menolak menjalankan proses
    • Ini juga merupakan langkah agar produk yang berfokus pada privasi tidak mengunggah 5.559 audio ke server
  • Kasus tanpa hasil yang dikembalikan juga tidak disembunyikan dan WER kalimat tersebut dihitung sebagai 100%
    • Hal ini terjadi satu kali dari total 27.795 transkripsi, pada kasus test-other SFSpeechRecognizer

Bug produk yang ditemukan dalam benchmark

  • Fitur impor file engine Apple di Inscribe mengirim audio ke SpeechAnalyzer dan menutup input stream, tetapi tidak memanggil finalizeAndFinishThroughEndOfInput()
  • Tanpa pemanggilan ini, analyzer tidak mengirim hasil akhir sehingga impor file berhenti tanpa batas waktu
  • Karena pengaturan Auto sebelumnya memprioritaskan Whisper, bug tersebut belum ditemukan
  • Masalah ini dikonfirmasi selama proses benchmark dan perbaikannya dirilis pada hari yang sama

Batasan dan cakupan penerapan nyata

  • Karena evaluasi hanya dilakukan pada audio bacaan berbahasa Inggris, hasilnya tidak dapat diterapkan pada lebih dari 100 bahasa yang didukung Whisper tetapi tidak didukung SpeechTranscriber
  • LibriSpeech adalah korpus standar yang dapat dibandingkan, tetapi bukan audio rapat
    • Audio dengan aksen, audio yang direkam dari jarak jauh, dan rapat dengan beberapa pembicara menjadi target evaluasi lanjutan
  • Pengukuran hanya dilakukan pada satu mesin M2 Pro dan macOS 26.5.1
    • Akurasi diperkirakan tetap terjaga di Apple Silicon lain, tetapi kecepatan akan berbeda tergantung chip
  • Whisper dijalankan menggunakan model kuantisasi WhisperKit CoreML yang benar-benar disediakan Inscribe
    • Implementasi GPU acuan dapat menghasilkan hasil yang sedikit berbeda, dan selisih dengan nilai publik OpenAI tercermin dalam tabel reproduksibilitas
  • Jika saat ini mentranskripsi bahasa Inggris di iPhone atau Mac, SpeechAnalyzer bawaan sistem operasi adalah pilihan on-device paling akurat berdasarkan pengukuran ini
  • Inscribe menggunakan SpeechAnalyzer untuk bahasa yang didukung dan Whisper untuk sisanya, menjalankan semua pemrosesan di dalam perangkat, dan tidak mengunggah audio

Bacaan terkait

1 komentar

 
GN⁺ 4 jam lalu
Opini Hacker News

  • Whisper bukan pembanding yang tepat, dan saat ini ada model-model terbaru yang lebih unggul seperti Nemotron·Parakeet dari Nvidia, Voxtral dari Mistral, dan Cohere Transcribe.
    Di sisi lain, tampaknya cukup banyak aplikasi berbayar yang sekadar membungkus Whisper akan terdampak. Jika Apple merilis GUI native seperti aplikasi perekaman untuk macOS, sebagian besar aplikasi wrapper yang belakangan dibuat dengan vibe coding sepertinya akan menjadi tidak diperlukan.

    • Pengujian ini hanya mengevaluasi bahasa Inggris, tetapi kekuatan model-model lain ada pada kemampuannya mengenali banyak bahasa tanpa perlu menentukan bahasa terlebih dahulu. Saat mendikte dalam tiga bahasa sehari-hari, tidak perlu menyediakan tiga shortcut berbeda.
    • Saya ragu apakah Parakeet benar-benar model mutakhir. Jika seseorang tergagap dan mengatakan “m-m-m-map”, Parakeet akan menyalinnya apa adanya sebagai “m m m map”, yang bisa menjadi kelebihan atau kekurangan tergantung penggunaan. Whisper tidak melakukan itu, dan saya cukup menyukai Cohere Transcribe.
    • Voice Memos dari Apple sudah mendukung transkripsi otomatis sejak macOS 15 dan iOS 18.
    • Di antara model-model ini, hanya Parakeet yang memiliki kurang dari 1 miliar parameter, dan tampaknya lebih baik daripada model Apple, tetapi bukan model bawaan. Saya penasaran bagaimana perbandingan latensi dan efisiensinya.
    • Saya juga berharap mereka mengganti fitur dikte di keyboard Apple yang buruk. Itu perangkat lunak yang benar-benar sulit ditoleransi.

  • Untuk perekaman di Mac, saya merekomendasikan Willow. Sambil merapikan isi, pemrosesannya hampir instan, sehingga bagi saya berada pada level ‘lebih baik daripada transkripsi yang sempurna’; saya juga menyukai Superwhisper, tetapi perbedaannya besar sehingga saya pindah ke Willow.
    Kualitasnya begitu bagus sampai saya bertanya-tanya apakah masih ada ruang untuk menjadi lebih baik, dan pengenalan suara tampaknya sudah menjadi masalah yang terselesaikan, atau paling lambat akan terselesaikan dalam 5 tahun. Saya tidak tahu apakah perusahaan terkait akan bertahan dalam jangka panjang, tetapi ini bagus bagi konsumen, dan jika Apple SpeechAnalyzer pada 2030 sudah cukup baik, sepertinya perangkat lunak pihak ketiga tidak akan diperlukan lagi.

  • Untuk penggunaan utama saya, yaitu membuat subtitle kuliah matematika, saya membandingkannya dengan Whisper-Large-V2; hasilnya jauh lebih cepat, tetapi akurasinya sedikit lebih rendah. Untuk transkripsi real-time, ini cukup layak dipakai, tetapi saya tidak perlu membuat subtitle secara instan, jadi untuk sementara saya berencana tetap menggunakan Whisper.

    • Saya menggunakannya di aplikasi podcast yang sudah setengah tahun saya kembangkan, dan memang sangat cepat. Jika audio dibagi menjadi beberapa segmen lalu dijalankan tanpa melampaui batas stream decoding simultan, kecepatannya luar biasa; meski sebagian batas segmen hilang, untuk penggunaan podcast itu sudah cukup.
      Di iPhone 17 Pro, audio berdurasi 1 jam diproses dalam 1 menit.
    • Jika lebih cepat tetapi kualitasnya lebih rendah, bukankah lebih tepat membandingkannya dengan model Whisper yang lebih kecil?

  • Lebih tepat jika dibandingkan dengan Voxtral. Dalam transkripsi rapat saya, belum ada model—baik terbuka maupun tertutup—yang menghasilkan tingkat kesalahan akronim (AER) serendah ini, dan ia juga memahami atau menyimpulkan berbagai istilah teknis yang saya gunakan dalam pekerjaan sehingga hampir tidak perlu dikoreksi. Whisper buruknya sampai parah.

    • Karena alasan seperti ini, saya biasanya mematikan koreksi otomatis di produk Apple. Saya berhati-hati berharap pada model suara yang lebih baik, tetapi khawatir ia akan ‘mengoreksi’ jargon teknis menjadi kata umum.

  • Whisper small·tiny·base adalah model yang sudah hampir 4 tahun, dan tidak diperbarui di Whisper v2 maupun v3; rasanya sekarang seharusnya ada pembanding yang lebih baik.

    • Pilihannya banyak, dan di https://artificialanalysis.ai/speech-to-text/non-streaming kita bisa mencari dan memfilter bahkan hanya berdasarkan dukungan streaming dan bobot terbuka. Saat ini Voxtral dan Nvidia Nemotron tampaknya paling bagus.
    • Modelnya sangat banyak, dan dari yang saya ingat belakangan ini, Parakeet menarik perhatian sampai muncul implementasi ringan yang independen.

  • Mengesankan. Karena Apple mengatakan mereka meningkatkan model di 27, saya juga penasaran dengan hasil pengukuran versi beta.

  • Apakah ini mesin dikte baru yang tidak bisa dijalankan di iPhone 17 biasa yang baru berusia 1 tahun hanya karena bukan Pro?

  • Saya menggunakan Spokenly dengan model Nvidia dan mode khusus offline. Semua pemrosesan dilakukan secara lokal dan sepenuhnya gratis, jadi saya sangat merekomendasikannya.

  • Akan bagus jika Whisper large dan large v3 turbo juga dibenchmark. Keduanya berjalan tanpa masalah bahkan di MacBook lama, real-time factor (RTF)-nya di bawah 1, dan dalam dikte nyata jauh lebih akurat daripada keluarga Parakeet, berbeda dari papan peringkat pengenalan suara otomatis.

    • Saya menyarankan mencoba MOSS-Transcribe-Diarize yang dirilis beberapa hari lalu. Hasilnya lebih baik daripada model-model Whisper tersebut, sangat cepat dan kecil, serta lebih cocok untuk audio yang banyak noise.

  • Whisper large v3 turbo berjalan dengan baik secara lokal bahkan di iPhone terbaru, jadi aneh jika tidak dimasukkan sebagai pembanding.