Code Alpaca - LLaMA yang Dilatih dengan Instruksi Pembuatan Kode
(github.com/sahil280114)- Model yang disetel agar cocok digunakan pengembang untuk tugas pemrograman, berbasis Stanford Alpaca 7B/13B
- Diganti dengan 20K data instruction following terkait pembuatan kode (menggunakan teknik Self-Instruct)
- Sebagian pipeline pembuatan data dimodifikasi: prompt diubah agar terkait dengan pembuatan/editing/optimasi kode, bukan tugas umum
- Fine-tuning dengan kode pelatihan Hugging Face dan Deepspeed
Belum ada komentar.