nano-llama31 - versi Llama 3.1 bergaya nanoGPT
(github.com/karpathy)- Versi Llama 3.1 bergaya nanoGPT yang diimplementasikan oleh Andrej Karpathy
- Implementasi arsitektur Llama 3.1 minimal tanpa dependensi, sehingga pelatihan, fine-tuning, dan inferensi dapat dilakukan dengan sangat sederhana
- Memiliki dependensi lebih sedikit dan kode yang lebih ringkas dibanding implementasi Meta dan HuggingFace
- Saat ini berfokus pada model dasar 8B dari Llama 3.1
- WIP: masih dalam pengembangan dan belum selesai
Belum ada komentar.