Cara melakukan fine-tuning LLM seperti GPT dengan dataset kustom

• Melakukan fine-tuning dengan LoRA dan Adapter menggunakan Lit-Parrot, implementasi open source berbasis nanoGPT
  • Mendukung LLM seperti StableLM, Pythia, dan RedPajama
  • Menggunakan FlashAttention dari PyTorch
• Dalam contoh, model RedPajama-INCITE dituning menggunakan dataset instruksi Dolly 2.0 dari Databricks