Lit-LLaMA - implementasi open-source LLaMA berbasis nanoGPT
(github.com/Lightning-AI)- Open-source yang dikembangkan sepenuhnya secara terpisah dengan lisensi Apache 2.0 berbasis nanoGPT, sebagai pengganti kode LLaMA yang berlisensi GPL
- Diimplementasikan dalam satu file tanpa
boilerplate, sehingga sederhana dan secara numerik identik dengan model yang sudah ada - Mendukung FlashAttention, kuantisasi, fine-tuning LoRA, dan pra-pelatihan
- Dioptimalkan agar dapat berjalan di perangkat keras konsumen
Belum ada komentar.