MiniLLM - Menjalankan LLM di GPU pribadi
(github.com/kuleshov)- Sistem minimal untuk menjalankan LLM terbaru di GPU Nvidia konsumen
- Mendukung beberapa LLM (LLAMA, BLOOM, OPT) hingga skala 170B
- Mendukung berbagai jenis GPU Nvidia
- Kode kecil berbasis Python yang mudah digunakan
- Secara internal menggunakan algoritme GPTQ untuk kompresi 3-bit guna meminimalkan penggunaan memori GPU
Belum ada komentar.