LiteRT-LM-Unity - Wrapper Android Unity untuk LiteRT-LM
(github.com/Leuconoe)Saya sedang mengembangkan LLM on-device untuk Android.
Sebelumnya saya menggunakan whisper.cpp, tetapi karena tidak ada akselerasi GPU, saya merasa kecewa dengan kecepatannya.
Setelah LiteRT-LM dirilis, dan khususnya setelah MTP juga diterapkan, saya menilai kecepatannya cukup tinggi sehingga saya melanjutkan pekerjaan porting,
dan saya mendapatkan hasil yang memuaskan.
Saya juga menjalankan hasil benchmark untuk berbagai model yang dipublikasikan di komunitas LiteRT.
Saya membagikannya kalau-kalau ini bisa membantu.
1 komentar
Dukungan Parakeet ASR telah diimplementasikan dan dukungan Whisper ASR sedang dalam proses implementasi.