MI300X AMD Ungguli H100 Nvidia dalam inferensi LLM

MI300X AMD, Performa yang Melampaui H100 NVIDIA

Poin utama

• Akselerator MI300X dari AMD: Akselerator MI300X terbaru dari AMD menunjukkan performa yang melampaui H100 NVIDIA.
• Kolaborasi TensorWave dan MK1: Selama sebulan terakhir, TensorWave dan MK1 bekerja sama untuk mengoptimalkan performa inferensi AI pada hardware AMD.
• Arsitektur MoE: Performa diuji menggunakan arsitektur Mixture of Expert (MoE). MoE diterapkan pada LLM open-source kuat yang digunakan oleh Mistral, Meta, Databricks, X.ai, dan lainnya.
• Hasil awal: Dengan menggunakan software inferensi MK1, MI300X mencapai throughput 33% lebih tinggi daripada H100 SXM saat menjalankan vLLM pada Mixtral 8x7B.
• Daya saing: Meski ekosistem software NVIDIA lebih matang, AMD muncul sebagai pesaing kuat di pasar AI. Jika mempertimbangkan ketersediaan hardware dan biaya, MI300X menjadi opsi menarik bagi perusahaan yang menjalankan inferensi skala besar di cloud.
• Prospek ke depan: Dengan optimasi tambahan, keunggulan performa AMD diperkirakan akan semakin besar.

Opini GN⁺

• Potensi peningkatan performa: Hanya dari hasil awal saja, MI300X dari AMD sudah menunjukkan performa tinggi. Dengan optimasi tambahan, performa yang lebih baik masih sangat mungkin dicapai.
• Daya saing pasar: Ekosistem software NVIDIA memang lebih matang, tetapi hardware AMD menunjukkan performa yang kompetitif sehingga dapat memperkuat posisinya di pasar.
• Efisiensi biaya: Dari sisi ketersediaan hardware dan biaya, MI300X bisa menjadi pilihan yang lebih baik. Ini merupakan faktor penting terutama bagi perusahaan yang menjalankan beban kerja inferensi skala besar.
• Pertimbangan adopsi teknologi: Saat mengadopsi hardware baru, kompatibilitas software dan optimasi adalah faktor penting. Jika mengadopsi MI300X dari AMD, mungkin diperlukan upaya tambahan untuk setup awal dan optimasi.
• Produk pesaing: Selain H100 dari NVIDIA, ada juga produk akselerator AI lain. Misalnya TPU dari Google atau akselerator Habana Labs dari Intel. Penting untuk membandingkan karakteristik dan performa tiap produk agar dapat memilih opsi yang paling tepat.

[GN⁺]

Komentar Hacker News

• TensorWave adalah penyedia cloud yang terspesialisasi untuk workload AI, yang memanfaatkan akselerator Instinct™ MI300X dari AMD untuk memberikan performa tinggi.
• Menggunakan benchmark 128 token input pada 2024 tidak mewakili sebagian besar workload, dan performa prefill sangat penting.
• Persaingan itu diperlukan, dan saat ini nilai pasar Nvidia sekitar 0,6 triliun dolar, lebih tinggi daripada seluruh Bursa Efek Frankfurt.
• Pasar dan harga jual mencerminkan nilai solusi Nvidia dan nilai solusi AMD, termasuk tools, software, total cost of ownership (TCO), dan kemudahan pengelolaan.
• Penasaran apakah banyak perusahaan benar-benar menghabiskan banyak uang untuk menjalankan model parameter 8x 7B secara paralel, dan apakah model 14B bisa dilatih dengan satu akselerator.
• AMD dan perusahaan lain berupaya mengalahkan Nvidia dengan menggunakan benchmark secara selektif, serta memakai model pembanding dari generasi pertengahan.
• Sebagai ilmuwan AI, saya merasa AMD dinilai terlalu rendah dibanding Nvidia. Chip-nya memang tidak secepat Nvidia, tetapi di sebagian besar industri lebih efisien dari sisi biaya dan bisa menghasilkan hasil yang serupa.
• Penasaran apakah pengaturan tensor parallel memengaruhi performa. Menurut artikel, AMD mengatur tensor parallelism ke 1, sedangkan Nvidia ke 2.
• Tanpa metrik statistik yang tepat dan performa per watt, perbandingan ini tidak bermakna.
• Benchmark INT8/FP8 akan lebih baik, dan kedua kartu sebenarnya bisa dimuat dengan sekitar 60GB VRAM.
• AMD punya hardware yang lebih baik, tetapi masih belum memiliki kapasitas produksi untuk bersaing dengan Nvidia. Jika persaingan nyata mulai mengejar, margin akan tertekan.
• Dominasi Nvidia bukan karena CUDA, melainkan karena sekitar 40% pendapatannya berasal dari perusahaan besar yang memakai stack kustom mereka sendiri. Jika pesaing berhasil mengejar, mereka akan menawarkan GPU yang lebih murah.
• MI300X secara teori seharusnya lebih murah, tetapi apakah itu benar dalam praktiknya masih harus dilihat.