Lit-LLaMA - implementasi open-source LLaMA berbasis nanoGPT

• Open-source yang dikembangkan sepenuhnya secara terpisah dengan lisensi Apache 2.0 berbasis nanoGPT, sebagai pengganti kode LLaMA yang berlisensi GPL
• Diimplementasikan dalam satu file tanpa boilerplate, sehingga sederhana dan secara numerik identik dengan model yang sudah ada
• Mendukung FlashAttention, kuantisasi, fine-tuning LoRA, dan pra-pelatihan
• Dioptimalkan agar dapat berjalan di perangkat keras konsumen

[xguru]

nanoGPT adalah kode hasil penulisan ulang minGPT oleh Andrej Karpathy, yang pernah menjabat sebagai Head of AI di Tesla.
nanoGPT - open source untuk melatih/menyempurnakan GPT skala menengah dengan paling cepat

FlashAttention