Meta memperkenalkan MTIAv2, akselerator pembelajaran dan inferensi generasi berikutnya
(ai.meta.com)Meta telah memperkenalkan MTIAv2, versi generasi berikutnya dari MTIA (Meta Training and Inference Accelerator) v1, akselerator inferensi AI yang dikembangkan sendiri dan diumumkan tahun lalu. MTIA adalah chip yang dirancang untuk beban kerja AI Meta, khususnya untuk model rekomendasi deep learning yang meningkatkan berbagai pengalaman di seluruh produk mereka. Seiring beban kerja AI menjadi semakin penting dalam produk dan layanan Meta, peningkatan efisiensi MTIA diperkirakan akan meningkatkan kemampuan mereka untuk memberikan pengalaman terbaik kepada pengguna di seluruh dunia.
Chip MTIAv2 generasi berikutnya ini telah menunjukkan peningkatan performa hingga 3x dibandingkan chip generasi pertama pada empat model utama. Pada tingkat platform, melalui jumlah perangkat 2x lebih banyak dan CPU 2-socket yang lebih kuat, Meta mampu mencapai throughput penyajian model 6x dibandingkan sistem MTIA generasi pertama serta peningkatan performa per watt sebesar 1,5x. Dibandingkan dengan GPU komersial, MTIA terbukti memainkan peran yang sangat saling melengkapi dalam memberikan performa dan efisiensi optimal untuk beban kerja khas Meta.
Fitur utama MTIAv2
Fitur utama MTIAv2 adalah sebagai berikut:
- Lebih dari 2x peningkatan performa komputasi dan bandwidth memori dibanding generasi sebelumnya
- Dirancang untuk memproses model ranking dan rekomendasi secara efisien
- Terdiri dari elemen pemrosesan (PE) dalam grid 8x8, dengan peningkatan 3,5x pada performa komputasi padat dan 7x pada performa komputasi sparse
- Penyimpanan PE lokal 3x, SRAM on-chip 2x dengan bandwidth 3,5x lebih besar, serta kapasitas LPDDR5 2x
- Arsitektur NoC (Network on Chip) yang ditingkatkan menghadirkan bandwidth 2x dan memungkinkan koordinasi antar-PE dengan latensi lebih rendah
⚠️Iklan⚠️ Lihat tulisan yang sama di komunitas PyTorch berbahasa Korea
Belum ada komentar.