LLaMA-CPU - fork untuk menjalankan LLaMA di CPU
(github.com/markasoftware)- Menjalankan model LLaMA milik Meta di CPU
- Konfigurasinya hampir sama
- Saat diuji dengan model 7B, untuk memuatnya bahkan pada RAM 32 GiB tetap memerlukan swap/zram
- Saat benar-benar melakukan inferensi, hanya menggunakan RAM sekitar kurang dari 20 GiB
- Pada Ryzen 7900X, model 7B dapat melakukan inferensi beberapa kata per detik
Belum ada komentar.