Unsloth: Finetune Llama 3 dengan 2x lebih cepat, context 6x lebih panjang, dan VRAM 68% lebih sedikit

• Unsloth, alat untuk melakukan fine-tuning model bahasa besar, kini mendukung model Llama 3 terbaru dari Meta, memungkinkan fine-tuning 2x lebih cepat dan penggunaan VRAM 63% lebih rendah dibandingkan Flash Attention 2 (FA2) dan Hugging Face (HF).

• Dengan Unsloth, versi 70B dari Llama 3 dapat di-fine-tune 1,8x lebih cepat dan menggunakan VRAM 68% lebih sedikit, sehingga memungkinkan panjang context yang jauh lebih besar selama fine-tuning. Ini sangat berguna untuk tugas yang memerlukan konteks luas seperti tanya jawab atau pembuatan teks.

• Unsloth juga mendukung kuantisasi 4-bit untuk model Llama 3, memberikan unduhan 4x lebih cepat dan menurunkan kebutuhan memori. Model 4-bit yang sudah dikuantisasi sebelumnya untuk versi 70B instruct dan base dari Llama 3 tersedia di halaman Hugging Face.

• Selain itu, Unsloth juga menangani kekhasan dan "bug" tertentu pada Llama 3, seperti tokenizer yang tidak memiliki token BOS dan adanya token pada model dasar yang belum dilatih. Unsloth secara otomatis memperbaiki masalah-masalah ini selama fine-tuning untuk memastikan pelatihan yang akurat dan efisien.