DeepSpeed - pustaka optimasi deep learning yang dirilis MS

• Wrapper ringan di atas PyTorch

• Perubahan kode seminimal mungkin, model lebih dari 10x lebih besar, kecepatan lebih dari 5x

• Meminimalkan memori yang digunakan saat pelatihan (4x) dengan menerapkan Zero Redundancy Optimizer (ZeRO)