Triforce - Beamformer untuk laptop Apple Silicon

• Triforce mengimplementasikan beamformer adaptif Minimum Variance Distortionless Response untuk susunan mikrofon pada laptop Apple Silicon
• Model yang didukung: model MacBook Pro/Air M1 ke atas
• Laptop Apple Silicon di atas memiliki mikrofon yang disusun dalam bentuk segitiga atau garis lurus
• Apple mencoba memisahkan sinyal yang diinginkan dari kebisingan latar dengan mengimplementasikan beamformer adaptif di ruang pengguna
• Tanpa beamforming, susunannya terlalu sensitif dan omnidireksional sehingga kurang berguna
• Agar bisa digunakan secara bermanfaat di luar macOS, beamformer diperlukan
• Daftar model yang didukung
  • MacBook Pro 13" (M1/M2)
  • MacBook Air 13" (M1/M2)
  • MacBook Pro 14" (M1 Pro/Max, M2 Pro/Max)
  • MacBook Pro 16" (M1 Pro/Max, M2 Pro/Max)
  • MacBook Air 15" (M2)

Pengelolaan ekspektasi

• Sangat sulit menemukan literatur yang mudah diakses tentang topik terkait DSP, khususnya beamforming adaptif pita lebar
• Proyek ini adalah upaya membuat beamformer berdasarkan pengetahuan setingkat matematika teknik tahun pertama serta prinsip-prinsip yang diperoleh dari halaman web dan PDF
• Saat ini, jangan berharap proyek ini melampaui implementasi Apple
• Patch untuk perbaikan selalu diterima

Keterbatasan yang diketahui

• nalgebra tidak melakukan optimasi SIMD secara eksplisit, dan bergantung pada auto-vectorization LLVM
• Kinerja dan efisiensi rutin matematika matriks kurang baik
• Tidak melakukan dekomposisi pita lebar karena beban komputasi tambahan
• Tanpa dukungan SIMD/NEON, ini terlalu lambat untuk plugin audio real-time
• Output hanya mendukung mono
• Pemrosesan matriks tambahan untuk memalsukan output stereo terlalu membebani secara komputasional

[GN⁺]

Komentar Hacker News

• 20 tahun lalu, model convertible Toshiba Tablet PC memiliki array mikrofon beamforming. Arah perekaman bisa ditentukan lewat perangkat lunak

  • Berguna saat kuliah, dan beam bisa diarahkan ke profesor untuk merekam
  • Sejak itu belum pernah melihat fitur seperti ini lagi

• Tesis master yang belum selesai membahas penggunaan mikrofon smartphone untuk menemukan posisi dan memisahkan speaker dalam 3D

  • Laju sampling antarperangkat sedikit berbeda
  • Karakteristik spektral mikrofon konsumen sangat beragam
  • Suara memantul dari mana-mana, terutama pada dinding beton
  • Mobil mirip ruang anekoik yang mudah diakses
  • Transformasi Fourier dari Gaussian adalah Gaussian, dan ini berguna untuk estimasi frekuensi

• Menyadari bahwa menjalankan Linux di Apple Silicon Mac memerlukan banyak pekerjaan

  • Mikrofon bawaan hampir tidak pernah digunakan
  • Tidak semua hal dari Apple itu sederhana

• Bahkan pada hardware laptop murah, teknik DSP berbasis perangkat lunak bisa menghasilkan hasil yang mengejutkan

  • Pekerjaan audio Asahi bisa diterapkan juga pada laptop biasa
  • Mendapat hasil yang mengesankan dengan plugin sintesis harmonik bass Bankstown dan convolution EQ

• Untuk optimasi SIMD, faer bisa dipertimbangkan

  • Pengalaman dengan pustaka pulp kurang baik, tetapi jika tujuannya terutama mempercepat operasi aljabar linear, itu mungkin cocok
  • Ada posting blog dan podcast tentang Rust SIMD yang direncanakan

• Pertanyaan tentang array mikrofon pada laptop Apple Silicon

  • Penasaran apakah model M2/M3 memiliki array mikrofon serupa atau hanya belum diuji
  • Bertanya-tanya apakah ini didukung di Linux dan MacOS

• Apple tampaknya mengambil pendekatan yang terlalu rumit pada mikrofon, sama seperti pada speaker

  • Sebagai pengguna MBP, saya terkesan dengan implementasi speakernya
  • Tidak punya pengetahuan selain tentang susunan driver, tetapi tampaknya mereka menggunakan trik untuk memaksimalkan performa dari speaker kecil

• Diskusi umum tentang laporan progres Asahi Linux terbaru

  • Mikrofon PDM sangat omnidirectional dan sensitif
  • Beamforming memang diperlukan
  • Pekerjaan sebelumnya pada output speaker digunakan kembali untuk input mikrofon
  • Berkat PipeWire dan WirePlumber, menghubungkan rantai DSP untuk mikrofon menjadi sederhana

• Akan bagus jika ini diimplementasikan agar produsen lain juga bisa dengan mudah membangun array mikrofon