Alpaca-LoRA: Instruct-Tuning LLaMA Berperingkat Rendah

• Mencoba melakukan tuning instruksi pada LLaMA di perangkat keras pribadi menggunakan Low-Rank Adaptation
• Model dengan kualitas mirip text-davinci-003, namun tetap dapat berjalan di Raspberry Pi
• Kode pelatihan dapat dijalankan dalam waktu kurang dari 5 jam pada satu RTX 4090
• Menggunakan PEFT (Parameter-Efficient Fine-Tuning) dari Hugging Face dan bitsandbytes dari Tim Dettmer untuk fine-tuning yang murah/efisien