Perbandingan Nvidia 4090 dan M1/M2/M3 dengan MLX menggunakan Whisper

• Benchmark performa framework machine learning MLX yang diperkenalkan Apple
• Mentranskripsikan audio 10 menit dengan Whisper
  • M1 Pro (model 2021) + MLX + RAM 32 GB: 216 detik
  • i7 + 4090 + RAM 64 GB: 186 detik
    • GPU seharga 2000€ lebih cepat 30 detik (16%) dibanding M1
  • M2 Ultra (76 GPU): 95 detik
  • M3 Max (40 GPU): 100 detik
• Jika menggunakan insanely-fast-whisper yang dioptimalkan untuk Nvidia, 4090 selesai hanya dalam 8 detik
  • Jika model ini dijalankan di M1, justru membutuhkan waktu lebih lama, yaitu 359 detik

[xguru]

MLX - framework array mirip Numpy untuk Apple Silicon