13 poin oleh xguru 2023-05-02 | 1 komentar | Bagikan ke WhatsApp
  • Dukungan quantization bilangan bulat: model ggml Whisper kini dapat dikonversi dari bobot floating-point 16-bit bawaan ke bobot bilangan bulat 4, 6, 8-bit
    • Mengurangi ukuran di disk dan penggunaan memori sehingga dapat berjalan lebih cepat pada beberapa arsitektur
    • Dimungkinkan berkat kode yang dikontribusikan ke proyek llama.cpp
  • Dukungan NVIDIA GPU menggunakan cuBLAS