Web LLM - Menjalankan LLM di browser dengan akselerasi WebGPU
(github.com/mlc-ai)- Menjalankan LLM seperti LLaMA dan Vicuna di browser tanpa server dengan menggunakan WASM
- Dipercepat dengan WebGPU, tetapi juga mendukung backend GPU yang didukung Apache TVM secara terpisah (CUDA, OpenCL, Vulkan)
- Menggunakan teknologi MLC (Machine Learning Compilation)
Belum ada komentar.