TorchTune - Library PyTorch untuk fine-tuning LLM yang dirilis Meta

• Library Native-PyTorch untuk fine-tuning yang memudahkan pembuatan, fine-tuning, dan eksperimen dengan LLM
• Implementasi native PyTorch untuk LLM populer
• Mendukung checkpoint dalam berbagai format, termasuk checkpoint berformat HF
• Menyediakan recipe pelatihan untuk teknik fine-tuning yang umum digunakan melalui benchmark referensi dan pemeriksaan akurasi yang komprehensif
• Evaluasi model yang telah dilatih melalui EleutherAI evaluation harness
• Integrasi dengan dataset HuggingFace untuk pelatihan
• Mendukung pelatihan terdistribusi menggunakan FSDP dari PyTorch Distributed
• Konfigurasi YAML untuk memudahkan penyusunan eksekusi pelatihan
• [Direncanakan] Dukungan untuk dtype presisi rendah dan teknik kuantisasi dari TorchAO
• [Direncanakan] Dukungan integrasi dengan berbagai inference engine