Intel merilis akselerator AI Gaudi 3

• Pengenalan akselerator AI Intel Gaudi 3

  • Akselerator AI Intel Gaudi 3 diumumkan dalam acara Intel Vision yang digelar di Phoenix, Arizona pada 9 April 2024
  • Menawarkan kinerja komputasi AI 4x untuk BF16 dan peningkatan bandwidth memori 1,5x dibanding generasi sebelumnya
  • Memberikan kebebasan pilihan kepada pelanggan melalui perangkat lunak umum berbasis komunitas dan Ethernet standar industri, serta mendukung skalabilitas sistem yang lebih fleksibel

• Mengapa Gaudi 3 penting

  • Perusahaan di sektor utama seperti keuangan, manufaktur, dan kesehatan sedang memperluas akses ke AI dan dengan cepat beralih dari tahap eksperimen ke implementasi skala besar untuk proyek AI generatif (GenAI)
  • Untuk mengelola transisi ini, mendorong inovasi, dan mewujudkan target peningkatan pendapatan, dibutuhkan solusi dan produk yang terbuka, hemat biaya, serta efisien energi
  • Akselerator Intel Gaudi 3 akan memenuhi kebutuhan tersebut dan mendukung perusahaan untuk menskalakan sistem serta aplikasi AI secara fleksibel melalui perangkat lunak terbuka berbasis komunitas dan Ethernet terbuka berbasis standar industri

• Bagaimana arsitektur khusus menghadirkan performa dan efisiensi GenAI

  • Akselerator Intel Gaudi 3 dirancang untuk komputasi AI skala besar yang efisien, diproduksi dengan proses 5nm, dan menghadirkan kemajuan besar dibanding generasi sebelumnya
  • Dirancang agar semua engine dapat diaktifkan secara paralel, memungkinkan komputasi deep learning yang cepat dan efisien serta akselerasi yang dibutuhkan untuk penskalaan
  • Fitur utama:
    • Engine komputasi khusus AI: dilengkapi engine komputasi heterogen yang terdiri dari 64 TPC yang dapat diprogram khusus AI dan 8 MME
    • Peningkatan memori untuk kebutuhan kapasitas LLM: menyediakan memori HBMe2 128GB, bandwidth memori 3.7TB, dan SRAM onboard 96MB
    • Penskalaan sistem yang efisien untuk GenAI enterprise: mengintegrasikan 24 port Ethernet 200Gb yang menyediakan jaringan standar terbuka dan fleksibel
    • Perangkat lunak industri terbuka untuk produktivitas developer: menyediakan integrasi framework PyTorch dan model berbasis komunitas Hugging Face yang dioptimalkan
  • Fitur tambahan Gaudi 3 PCIe: form factor baru yang ideal untuk fine-tuning, inferensi, dan retrieval-augmented generation (RAG)

• Adopsi pasar dan ketersediaan

  • Akselerator Intel Gaudi 3 dijadwalkan tersedia untuk OEM pada kuartal 2 2024 dalam konfigurasi standar industri Universal Baseboard dan Open Accelerator Module (OAM)
  • Akan diadopsi oleh OEM utama seperti Dell Technologies, Hewlett Packard Enterprise, Lenovo, dan Supermicro
  • Ketersediaan umum akselerator Intel Gaudi 3 diperkirakan pada kuartal 3 2024, sementara kartu add-in Intel Gaudi 3 PCIe diperkirakan tersedia pada kuartal 4 2024
  • Akselerator Intel Gaudi 3 dijadwalkan digunakan pada berbagai infrastruktur cloud LLM yang hemat biaya, termasuk NAVER

• Rencana ke depan

  • Momentum akselerator Intel Gaudi 3 akan menjadi fondasi bagi Falcon Shores, GPU generasi berikutnya dari Intel untuk AI dan HPC
  • Falcon Shores akan mengintegrasikan Intel Gaudi dan Intel Xe IP serta menyediakan antarmuka pemrograman GPU tunggal berbasis spesifikasi Intel oneAPI

Opini GN⁺

• Intel Gaudi 3 menunjukkan peningkatan signifikan dalam performa pelatihan dan inferensi model GenAI dibanding produk pesaing utama seperti Nvidia H100 dan H200. Ini tampak berpotensi menjadi alternatif yang mampu menantang posisi dominan Nvidia di pasar AI
• Dukungan terhadap perangkat lunak terbuka dan skalabilitas berbasis standar dapat membantu efisiensi biaya perusahaan serta mencegah vendor lock-in. Ini bisa menjadi opsi yang menarik terutama bagi perusahaan yang ingin membangun sistem AI dalam skala besar
• Namun, dalam beberapa tahun terakhir Intel menghadapi kesulitan seperti melemahnya daya saing di pasar CPU dan penundaan peluncuran produk. Perlu dicermati apakah Gaudi 3 dapat dirilis sesuai jadwal dan diadopsi secara luas oleh pelanggan
• Produk pesaing seperti Instinct MI300 dari AMD juga bersiap meluncur di pasar semikonduktor AI, sehingga persaingan diperkirakan akan semakin ketat. Bukan hanya keunggulan teknis, tetapi juga pembangunan ekosistem perangkat lunak dan perolehan pelanggan akan menjadi penentu utama

[GN⁺]

Komentar Hacker News

• Karena menggunakan antarmuka OAM, para enthusiast kemungkinan masih bisa memanfaatkan perangkat ini bahkan 8~10 tahun lagi
• Saya skeptis apakah Intel akan mendukung lini produk ini secara konsisten dalam jangka panjang
• Perangkat ini menggunakan memori HBM2e, yang juga dipakai pada Nvidia A100 yang dirilis pada 2020; memang bukan yang terbaru, tetapi dengan 8 stack bandwidth-nya menyaingi H100
• Saya penasaran apakah harga 'Gaudi 3 PCIe' akan cukup masuk akal untuk dipasang di workstation
• Terima kasih karena pengumuman ini menggunakan pendekatan 5W dan 1H
• Gaudi 3 tampaknya diproduksi dengan proses 5nm di TSMC atau Samsung
• Dengan munculnya arsitektur sparse seperti MoE, kapasitas 128GB tampak penting, dan sepertinya akan bersaing dengan Nvidia
• Saya juga menantikan benchmark MLPerf untuk AMD MI300x
• Integrasi 24 port Ethernet 200Gb terasa mengesankan, tetapi juga mengecewakan jika mempertimbangkan biaya kabel dan sebagainya
• Menarik bahwa "terabytes (TB)" digunakan sebagai satuan bandwidth memori