Whisper: Perbandingan MLX Nvidia RTX 4090 vs M1 Pro

Perbandingan performa framework Apple MLX dengan Nvidia RTX 4090

• Apple merilis framework machine learning untuk Apple Silicon.
• Untuk melakukan benchmark performa framework ini, digunakan contoh Whisper.
• Pengukuran performa dilakukan pada file audio melalui kode Python.

Hasil

• Untuk memproses file audio berdurasi 10 menit, M1 Pro membutuhkan 216 detik, sedangkan Nvidia 4090 membutuhkan 186 detik.
• Jika menggunakan model yang dioptimalkan untuk Nvidia, pemrosesan dapat selesai hanya dalam 8 detik.
• Spesifikasi hardware Macbook dan PC dijelaskan secara rinci.

Kecepatan Whisper yang mengejutkan

• Artikel ini menjadi perbincangan di HackerNews, dengan pengguna membagikan kasus pemrosesan dalam 8 detik menggunakan Nvidia 4090.
• Eksperimen juga dilakukan di MacOS, dan hasilnya lebih lambat daripada versi MLX.

Pembaruan M2 Ultra / M3 Max

• Hasil pemrosesan file audio yang sama pada M2 Ultra dan M3 Max menunjukkan bahwa keduanya jauh lebih cepat daripada M1, tetapi memiliki kecepatan yang mirip satu sama lain.

Perbandingan

• Meskipun mungkin tidak sepenuhnya akurat karena berbagai faktor, perbandingan performa secara kasar tetap dimungkinkan.

Konsumsi daya

• Perbedaan konsumsi daya antara PC dan Macbook diukur.
• Selisih konsumsi daya PC saat Nvidia 4090 aktif dibandingkan saat idle adalah 242W, sedangkan selisih konsumsi daya Macbook saat core GPU M1 aktif dibandingkan saat idle adalah 38W.

Mengapa melakukan tes ini?

• Mengoperasikan mesin pencari podcast di https://podpodgogo.com, mentranskripsikan ribuan episode agar bisa dilakukan pencarian full-text dan data mining.

Pendapat GN⁺:

• Poin terpenting dari artikel ini adalah bahwa performa framework machine learning untuk Apple Silicon cukup kompetitif bila dibandingkan dengan kartu grafis konsumen terbaru dari Nvidia.
• Khususnya, kemampuan menghadirkan performa seperti ini di laptop sangat menarik, dan dapat menjadi pilihan yang atraktif bagi pengguna yang mencari keseimbangan antara portabilitas dan performa untuk pekerjaan machine learning.
• Dari sisi konsumsi daya, Macbook juga ditekankan relatif efisien, yang bisa menjadi informasi penting bagi pengguna yang memprioritaskan keberlanjutan lingkungan dan efisiensi biaya.

[GN⁺]

Pendapat Hacker News

• Tampaknya menggunakan repositori OpenAI Whisper. Untuk perbandingan yang benar-benar adil, MLX seharusnya dibandingkan dengan faster-whisper atau insanely-fast-whisper yang berjalan di 4090.

  • Dalam kasus penggunaan nyata, saya menemukan kualitas faster whisper lebih baik saat menyertakan teks segmen sebelumnya.
  • faster whisper kira-kira 4-5x lebih cepat daripada OpenAI/whisper, dan insanely-fast-whisper kembali 3-4x lebih cepat daripada faster whisper.
  • Jika Whisper yang dijalankan di 4090 tidak terlalu dioptimalkan, hasil seperti ini patut diragukan.

• Ini memanfaatkan rilis terbaru Apple MLX, dan kodenya menggunakan optimasi khusus Apple.

  • MLX diperkirakan akan mendapat perhatian saat binding Swift untuk Mac dan iOS dirilis.
  • Saat ini mungkin ada masalah kompilasi C++20.

• Ada pertanyaan apakah Whisper dipilih karena sifatnya yang sekuensial dan matematika integer, dan apakah hasil seperti ini juga berlaku untuk model lain.

  • Masih ada operasi di MLX yang belum dioptimalkan.
  • Ini angka yang mengesankan dari sudut pandang keunggulan RAM yang sangat cepat yang terhubung langsung ke CPU/GPU, serta latensi/akses bersama yang dihasilkannya.
  • Perlu dipertimbangkan bahwa biaya sistem M3 Max sekitar 2x harga 4090.

• Menjalankan Whisper di Mac M1 itu mudah, tetapi secara bawaan tidak menggunakan MLX.

  • Saya menghabiskan beberapa jam untuk mencari tahu apa yang diperlukan agar menggunakan MLX.
  • Saya menyewa VM dengan GPU dan menjalankan Whisper dalam beberapa menit.

• Akan ada banyak perdebatan tentang mana yang merupakan pilihan terbaik untuk pekerjaan X, tetapi kemampuan memberikan tingkat performa ini pada konsumsi daya rendah sangat menarik.

• Mengingat Vision Pro dari Apple, ini mungkin tidak terlalu berarti di laptop, tetapi merupakan keuntungan besar pada headset yang boros daya.

• Meminta bantuan mengenai aplikasi atau alur kerja open source yang bagus untuk transkripsi dan identifikasi pembicara.

  • Saya sudah melihat beberapa, tetapi tidak bekerja dengan baik dan sering crash.

• Disarankan menggunakan repositori turunan Whisper yang dapat mentranskripsi audio berdurasi 1 jam dalam waktu kurang dari 1 menit di sebagian besar GPU.