MS dan Nvidia mengumumkan MT-NLG 530B, model bahasa terbesar di dunia

• Megatron-Turing Natural Language Generation

• 530 miliar parameter, lebih besar daripada 175 miliar milik GPT-3

• Menunjukkan akurasi yang tak tertandingi dibandingkan sebelumnya

→ termasuk penyelesaian kalimat, pemahaman, penalaran berbasis akal sehat, dan inferensi bahasa alami

• 105 layer, berbasis transformer

• NVIDIA A100 Tensor Core GPU & jaringan HDR InifiniBand

• Klaster superkomputasi NVIDIA Selene dan Microsoft Azure NDv4