DeepSpeed Chat - Framework untuk melatih model mirip ChatGPT menggunakan RLHF
(github.com/microsoft)- Framework sistem terbuka yang cepat, murah, dan dapat diskalakan
- Melalui RLHF end-to-end (Reinforcement Learning Human Feedback), dapat membuat model bergaya ChatGPT berkualitas tinggi dalam berbagai skala
- Dengan 1 klik, dapat melatih, membuat, dan menyajikan model ChatGPT 1,3B parameter dalam 1,36 jam dengan satu GPU NVIDIA A6000 yang dilengkapi memori 48GB
- Digunakan oleh Databricks Dolly, CarperAI-TRLX, Huggingface-PEFT, dan lainnya
1 komentar
DeepSpeed - pustaka optimisasi deep learning yang dirilis oleh MS
Databricks merilis Dolly 2.0 yang mirip ChatGPT sebagai open source