Mistral-finetune - Melakukan fine-tuning model Mistral

• Basis kode ringan yang memungkinkan fine-tuning model-model Mistral secara efisien dari sisi memori/kinerja
• Berbasis LoRA, sehingga sebagian besar bobot dibekukan dan hanya 1–2% bobot tambahan yang dilatih dalam bentuk Low-Rank Matrix Perturbation
• Untuk memaksimalkan efisiensi, disarankan menggunakan GPU A100 atau H100, dan basis kode ini dioptimalkan untuk konfigurasi training multi-GPU single-node, tetapi untuk model kecil seperti 7B, satu GPU saja juga sudah cukup

Catatan: tujuan repositori ini adalah menyediakan titik masuk yang sederhana dan terpandu untuk melakukan fine-tuning model Mistral. Karena itu, repositori ini cukup opinionated (terutama terkait format data) dan tidak ditujukan untuk menjadi solusi yang komprehensif di berbagai arsitektur model atau jenis perangkat keras. Untuk pendekatan yang lebih umum, lihat proyek bagus lainnya seperti torchtune