- Di GTC 2022, NVIDIA mengumumkan arsitektur Hopper™ generasi berikutnya dan H100 yang dibangun di atasnya.
→ Dinamai dari nama Grace Hopper. Meneruskan arsitektur Ampere
- Enam inovasi teknologi untuk mempercepat AI skala besar dan HPC
- Mengintegrasikan 80 miliar transistor dengan proses 4nm TSMC. Mendukung PCIe Gen5 dan menjadi GPU pertama yang memanfaatkan memori HBM3 (bandwidth memori 3TB/s)
- Transformer Engine baru memberikan percepatan 6x dibanding generasi sebelumnya
- Teknologi Multi-Instance GPU (MIG) keamanan generasi kedua memungkinkan satu GPU dipartisi menjadi bagian-bagian lebih kecil untuk menjalankan pekerjaan yang terisolasi. Dengan arsitektur Hopper, MIG ditingkatkan 7x dibanding generasi sebelumnya
- Akselerator Confidential Computing pertama untuk melindungi model AI yang sedang diproses dan data pelanggan
- NVIDIA NVLink generasi ke-4 - menghubungkan hingga 256 GPU H100 dengan bandwidth 9x lebih tinggi (dibanding NVIDIA HDR Quantum InfiniBand sebelumnya)
- Instruksi DPX baru mempercepat "dynamic programming" yang digunakan pada algoritme/optimisasi rute/genomika. 7x lebih cepat dibanding GPU generasi sebelumnya, dan 40x dibanding CPU.
- Mendukung model bahasa Megatron 530B dengan throughput hingga 30x lebih tinggi dibanding generasi sebelumnya
1 komentar
MS dan Nvidia mengumumkan model bahasa terbesar di dunia, MT-NLG 530B