Turin dari AMD: Peluncuran EPYC Generasi ke-5

 (chipsandcheese.com)
3 poin oleh GN⁺ 2024-10-13 | 1 komentar | Bagikan ke WhatsApp
  • Pengukuran langsung AMD EPYC 9575F menunjukkan perbedaan nyata Turin dengan fokus pada perubahan subsistem memori untuk server, alih-alih mengulang penjelasan tentang core Zen 5
  • Bandwidth single-thread berada di kisaran baca sekitar 52GB/s, tulis sekitar 48GB/s, dan add sekitar 95GB/s, sementara baca seluruh socket mencapai hampir 99% dari angka teoritis 576GB/s
  • Turin untuk server menggunakan 2 tautan GMI melalui GMI3-W antara CCD dan die I/O, dan lebar tautan tulis juga diperbesar menjadi 32B per tautan sehingga bandwidth CCD lebih besar dibanding Zen 5 desktop
  • Latensi memori saat tanpa beban mirip dengan Genoa, tetapi latensi antarkore meningkat menjadi sekitar 45ns untuk Intra-CCD, sekitar 150ns untuk Inter-CCD, dan sekitar 260ns antar-socket, lebih tinggi daripada Genoa
  • 9575F dapat membawa 64 core mencapai maksimum 5GHz pada single-thread dan mempertahankan sekitar 4.3GHz pada Cinebench 2024 dengan 128 thread, menegaskan karakternya sebagai SKU enterprise berfrekuensi tinggi dengan jumlah core yang relatif lebih rendah

Perubahan Turin dilihat dari EPYC 9575F

  • Analisis Turin dilakukan dengan berfokus pada data pengukuran langsung AMD EPYC 9575F
    • CPU tersebut dapat diuji melalui Jordan dari StorageReview
    • Karena core Zen 5 sudah dibahas sebelumnya dalam konteks mobile, desktop, dan perbandingan varian, kali ini fokus diarahkan ke subsistem memori
  • Slide peluncuran Turin dari AMD dapat dilihat di Serve the Home, dan di sini data pengukuran mandiri mendapat porsi yang lebih besar

Konfigurasi GMI yang memperbesar bandwidth CCD

  • Pada hasil 1T, bandwidth memori single-thread EPYC 9575F berada di kisaran berikut
    • baca: sekitar 52GB/s
    • tulis: sekitar 48GB/s
    • add, yaitu Read-Modify-Write: sekitar 95GB/s
  • Satu core pun dapat memakai porsi besar dari total bandwidth memori satu CCD
    • baca sedikit di bawah setengah dari total bandwidth baca CCD
    • tulis sekitar 55% dari total bandwidth tulis CCD
    • add lebih dari dua pertiga dari total bandwidth add CCD
  • Perbedaan ini berasal dari konfigurasi GMI3-W pada Turin untuk server
    • EPYC 9575F memiliki 2 tautan GMI yang terhubung ke die I/O
    • Ryzen 9950X menggunakan satu tautan GMI
    • Tautan tulis GMI server berukuran 32B per tautan, lebih besar daripada 16B per tautan pada Zen 5 desktop

Memori 12 kanal dan performa seluruh socket

  • Turin mendukung memori 12 kanal dan dapat mencapai hingga DDR5-6400MT/s
    • DDR5-6400MT/s hanya didukung pada sistem tervalidasi tertentu
    • Kecepatan tersebut hanya memungkinkan pada konfigurasi 1 DIMM per kanal
  • Sistem pengujian berjalan pada DDR5-6000MT/s
    • Sebagian besar sistem mendukung DDR5-6000MT/s pada konfigurasi 1 DIMM per kanal
    • Jika memakai 2 DIMM per kanal, kecepatan memori turun menjadi 4400MT/s
    • Pada motherboard dengan 2 slot DIMM per kanal, penggunaan 1 DIMM per kanal diperkirakan menghasilkan 5200MT/s
  • Bandwidth baca seluruh socket 9575F mencapai hampir 99% dari angka teoritis 576GB/s
    • tulis: 435GB/s
    • add: 453GB/s
  • Pada AMD Volcano Platform, bandwidth antar-socket antara dua 9575F juga diukur
    • Platform tersebut hanya memiliki 3 tautan GMI di antara kedua CPU
    • Hasilnya sangat mirip dengan pengujian Bergamo, dan sistem Bergamo juga memakai konfigurasi 3 tautan GMI yang sama

Latensi saat berbeban dan latensi antarkore

  • Latensi memori Turin saat tanpa beban sangat mirip dengan Genoa
  • Pada Hot Chips 2024, Ampere Computing mempublikasikan grafik latensi memori saat berbeban untuk chip AmpereOne dan CPU AMD Genoa, dan dari sana dibuat pengujian latensi berbeban yang serupa
  • Pengujian dilakukan dengan memenuhi tautan IOD-CCD atau seluruh sistem memori menggunakan benchmark bandwidth memori, lalu mengukur latensi memori dengan core atau CCD yang tersisa
    • Pada pengujian satu CCD, benchmark bandwidth memori dijalankan pada 7 core di satu CCD dan latensi diukur pada core ke-8
    • Pada pengujian seluruh sistem, benchmark bandwidth memori dijalankan pada 7 CCD milik 9575F dan latensi diukur pada CCD ke-8
  • Dalam kondisi berbeban, peningkatan latensi memori 9575F berada pada tingkat yang mirip untuk tiap kondisi
    • Pada beban satu CCD, meningkat sekitar 39ns dibanding tanpa beban
    • Pada beban seluruh sistem, meningkat sekitar 31ns dibanding tanpa beban
  • Latensi antarkore meningkat dibanding Genoa, dan kenaikan di dalam CCD sangat menonjol
    • Latensi Intra-CCD: sekitar 45ns
    • Latensi Inter-CCD: sekitar 150ns
    • Latensi Socket to Socket: sekitar 260ns

Kecepatan clock dan posisi produk

  • EPYC 9575F dapat membuat semua 64 core mencapai maksimum 5GHz pada pengujian single-thread
  • Pada pengujian bandwidth memori, semua 8 core dalam satu CCD dapat berjalan pada 5GHz
  • Saat menggunakan seluruh 128 thread di Cinebench 2024, frekuensinya bertahan di kisaran 4.3GHz
  • Wendell dari Level1Techs mengamati sekitar 4.9GHz all-core pada workload server web/transaksi TLS, dan workload ini merupakan pekerjaan yang vektorisasi-nya lebih ringan
  • Lini Turin menyediakan SKU dengan jumlah core tinggi sekaligus SKU berfrekuensi tinggi
    • AMD memiliki SKU dengan jumlah core tinggi seperti 9755 dan 9965
    • AMD juga menyediakan SKU seperti 9575F dengan jumlah core lebih rendah tetapi frekuensi sangat tinggi
    • Fakta bahwa 64 core dianggap sebagai ‘jumlah core rendah’ sendiri menunjukkan perubahan di pasar CPU server
  • Turin lebih dekat ke evolusi seperti perpindahan dari Milan ke Genoa—gabungan peningkatan bandwidth memori, peningkatan jumlah core, dan pembaruan core—daripada revolusi drastis seperti saat beralih dari Naples ke Rome

Bacaan terkait

1 komentar

 
GN⁺ 2024-10-13
Opini Hacker News

  • AMD EPYC 9175F adalah yang paling unik: 16 core dengan cache L3 512MB; tampaknya ditujukan untuk pelanggan yang ingin mengurangi biaya lisensi per core
    Kalau bukan itu, memasukkan core sesedikit ini ke chip semahal ini tidak terlalu masuk akal. Saya tidak tahu apakah Oracle masih memakai model lisensi seperti ini, tetapi kalau iya, sudah saatnya dihentikan
    Bisa juga untuk penggunaan seperti HFT, yang menaruh seluruh algoritme di L3 demi latensi serendah mungkin secara absolut, atau mungkin karena ingin memakai hanya core terbaik di tiap chiplet. Meski begitu, kemungkinan besar alasannya adalah lisensi software

    • Simulasi kejadian diskrit juga contoh yang bagus. Sesuatu seperti spiking neural network pada dasarnya hampir single-thread karena, agar disimulasikan secara akurat, ia diserialisasi melalui pending spike queue
      Konfigurasi terbaik adalah menjaga seluruh state di cache lokal dan menjalankannya di core tercepat yang dipilih. Jika bisa menjalankan 16 di antaranya secara paralel, ruang pencarian bisa dipangkas sebesar itu
      Untuk masalah seperti ini, hampir tidak perlu mengkhawatirkan latensi antar-CCD. Bahkan jika menjalankan sesuatu seperti algoritme genetika yang secara berkala melakukan crossover antar core fisik, kebutuhan bandwidth antar-core tetap kecil
    • Ada banyak aplikasi single-thread, dan sering kali lebih murah mengeluarkan ribuan dolar untuk CPU supercepat daripada menghabiskan puluhan ribu dolar untuk programmer agar menulis ulang kode supaya bisa diparalelkan
      Seperti disebutkan, jika itu kode pihak ketiga yang sumber atau haknya tidak dimiliki, sering kali sejak awal memang mustahil untuk ditulis ulang
    • Cache 512MB itu mengejutkan. Beberapa tahun lalu, saya merasa takjub melihat cache pada Xeon yang saya pakai sebesar RAM sistem yang saya gunakan saat kecil; dan saya ini generasi milenial, jadi itu bukan mesin purba seperti Commodore, melainkan PC sungguhan yang juga menjalankan Quake
      Tapi 512MB sudah cukup lega. Saya jadi penasaran apakah Puppy Linux bisa dimuat seluruhnya ke cache L3
    • MATLAB Parallel Server juga memakai lisensi per core
      https://www.mathworks.com/products/matlab-parallel-server/li...
    • Banyak algoritme dibatasi oleh bandwidth memori. Di workstation 16-core pun saya sudah berkali-kali menjalankan pekerjaan yang performa terbaiknya muncul saat memakai kurang dari 16 thread
      Menguji algoritme dengan berbagai jumlah thread lalu memakai jumlah thread optimal adalah cara yang umum. Algoritme yang intensif memori sering mencapai performa terbaik pada jumlah core yang relatif kecil

  • Phoronix baru-baru ini menerbitkan ulasan yang membandingkan Turin Dense 196-core dengan AmpereOne 192-core
    Harga rekomendasi Ampere adalah 5,5 ribu dolar, EPYC 15 ribu dolar; Turin 196 memiliki performa 1,6 kali lebih baik, sementara Ampere 1,2 kali lebih baik dalam efisiensi daya
    Berdasarkan ulasan Phoronix, jika dilihat dari performa nyata per dolar, Ampere 192-core 1,7 kali lebih baik daripada Turin Dense 196-core. Dengan 5,5 ribu dolar, Anda bisa membeli CPU AmpereOne 192-core (274W) atau CPU Turin Dense 48-core (300W)
    Ampere berencana merilis produk 256-core, 3nm, dengan memori 12-channel tahun depan, sehingga kemungkinan akan lebih mampu menandingi Turin Dense dan Sierra Forest dalam performa mentah. Kekuatan saat ini adalah performa per dolar
    Saya juga sangat penasaran dengan performa chip server Qualcomm berbasis Nuvia. Jika peningkatan core klien ARM bisa menjadi petunjuk, menarik juga melihat bagaimana chip internal seperti AWS Graviton, Google Axion, Microsoft Cobalt, Nvidia Grace, dan Alibaba Yitian akan bersaing dengan core Neoverse yang lebih baik. Ini menjadi peta persaingan Nuvia vs ARM vs AmpereOne
    Saat ini mungkin adalah masa keemasan CPU server. Baru 7 tahun lalu pilihannya hanya Intel Xeon, tetapi sekarang opsinya jauh lebih banyak

    • AMD juga menang dalam performa/W, hasil yang cukup berarti bagi orang-orang yang dulu percaya bahwa X86 tidak akan pernah bisa mengejar efisiensi ARM/RISC
      Saat ini, di banyak pusat data, daya yang tersedia dan pendinginan yang mengikutinya kerap menjadi batasan yang lebih besar, jadi ini pertanda bagus untuk Turin
    • Perbandingan performa per dolar itu memakai model Turin dengan harga rekomendasi paling mahal. Model tersebut bukan produk dengan performa per dolar terbaik, melainkan model yang dibeli oleh orang-orang yang ingin memaksimalkan densitas atau performa per watt, dan dalam aspek ini ia mengungguli Ampere
      Jika hanya melihat performa per dolar, yang harus dilihat bukan Zen5c, melainkan model Zen5 dengan jumlah core lebih sedikit; di sisi ini performa per dolarnya dua kali lebih baik daripada 9965 192-core
      Alasan pendekatan yang sama tidak terlalu berlaku untuk Ampere adalah karena model 192-core 3,2GHz sudah hampir berada di performa per dolar terbaik
    • Perbedaannya adalah CPU EPYC bisa diperoleh, sedangkan CPU Ampere sulit didapatkan
    • Harga rekomendasi Ampere cukup dekat dengan harga yang benar-benar dibayar oleh sebagian besar vendor sistem. Sebaliknya, sebagian besar vendor bisa dianggap membeli EPYC atau Xeon dengan diskon hampir 50% dari harga rekomendasi
    • Ini benar-benar era yang menarik, dan kejatuhan Intel sangat disayangkan. Namun, seperti yang sudah diperingatkan banyak orang, Intel seharusnya sudah memperkirakan situasi ini

  • Skalanya benar-benar luar biasa. Baru 20 tahun lalu, CPU biasanya hanya punya 1–2 core, jadi kalau server dual-socket punya 4 core itu sudah termasuk beruntung
    Sekarang satu server bisa punya hampir 400 core. Memang bisa lebih banyak kalau memakai core ARM, tetapi setidaknya untuk saat ini belum bisa mencapai performa sebesar ini

    • Dengan dua chip, lebih dari 700 thread bisa memenuhi dua NIC 400GbE, dan karena tiap chip 500W, konsumsinya kurang dari 2W per thread. Semua ini masuk ke dalam paket 2U
      Dua puluh tahun lalu, ini mungkin setara dengan beberapa rak perangkat
    • Sebaliknya, pada masa itu orang mungkin berharap kemajuan 20 tahun akan membuat core menjadi 1000 kali lebih cepat, tetapi kenyataannya kira-kira hanya mendekati 5 kali
    • Saya penasaran berapa banyak pekerjaan big data yang berjalan di kluster sekarang akan jauh lebih cepat di satu mesin besar yang memakai duckdb daripada Spark
    • Sekarang sebagian besar layanan bisa masuk ke satu server dan tetap menangani jutaan pengguna per hari
      Kalau bisa menyewa dedicated server yang kuat dengan biaya di bawah 1000 dolar per bulan dan menghemat puluhan ribu dolar, saya penasaran apa dampaknya terhadap layanan cloud yang terlalu mahal. Dengan uang itu, bahkan bisa mempekerjakan admin purnawaktu dan masih bersisa
    • Benar. Chip server dual-core pertama muncul sekitar 2005 lewat Opteron 90nm Denmark/Italy/Egypt dan Paxville Xeon, dan setahu saya pihak Intel baru benar-benar mulai serius sekitar 2007

  • Kalau server bare-metal AMD Turin muncul di Hetzner, saya ingin mencoba melakukan deployment. Generasi sebelumnya juga punya rasio harga-performa bagus, tetapi generasi ini tampaknya satu tingkat lebih baik

  • Saya masih menjalankan dual Xeon di Dell PowerEdge berusia 12 tahun. Penasaran kapan server EPYC generasi pertama akan muncul sebagai barang obral murah di eBay

    • EPYC generasi 1–3 bisa didapat sangat murah, tetapi motherboard-nya mahal
      Kalau tujuan utama Anda bukan lane PCIe dan kapasitas RAM, saya kurang merekomendasikan yang di bawah generasi ke-3. CPU konsumen generasi saat ini, meski jumlah core-nya hanya setengah atau seperempat, punya performa komputasi lebih baik dan konsumsi daya jauh lebih rendah
    • Secara pribadi, menurut saya EPYC generasi pertama kurang menarik karena generasi kedua ada, lebih banyak dipakai, dan sudah cukup murah. Saya sendiri memakai epyc 7302 dan motherboard MZ31-AR0 di homelab
      Performa per core-nya terlalu rendah, ada masalah terkait NUMA, dan proses fabrikasinya juga lebih buruk. Die komputasi generasi kedua memakai TSMC 7nm
    • Saya kurang tahu soal chip EPYC, tetapi perangkat seri Ryzen 5 hampir dibagikan seperti gratis di Amazon minggu itu
      Saya membeli 9 5950X seharga 242 pound
    • Tidak terlalu bernilai. Beli saja 9654 di eBay seharga 2000 dolar dan keluarkan 1000 dolar untuk motherboard. Total sistem sekitar 7000 dolar
      Atau kombinasi seperti Epyc 7282 juga mudah didapat dan cukup bagus
    • Itu sudah terjadi, dan performanya tidak terlalu bagus

  • ChipsAndCheese adalah salah satu dari sedikit media teknologi baru yang benar-benar memahami materinya. Mereka sangat kuat terutama dalam benchmark mendalam seperti ini
    Di saat situs teknologi lama seperti Anandtech, TechReport, dan HardOCP menghilang, menyenangkan melihat ada media baru yang bisa meneruskan tulisan mendalam gaya lama

    • Menariknya, Slashdot awalnya bermula dari situs bernama Chips & Dips. Saya penasaran apakah inspirasinya mirip
    • Sepertinya yang Anda maksud HardOCP
    • Chips and Cheese paling mengingatkan saya pada LostCircuits yang sudah hilang. Sebagian besar situs teknologi berfokus pada daftar benchmark aplikasi, tetapi C&C, seperti LC dulu, menggabungkan artikel panjang tentang arsitektur dengan microbenchmark subsistem

  • Bagi yang tidak suka peralihannya ke Substack, ada https://old.chipsandcheese.com/2024/10/11/amds-turin-5th-gen...
    Setidaknya untuk saat ini masih bisa

  • Komponen yang hanya punya 16 core tetapi cache L3 512MB jelas ditujukan untuk workload tertentu

    • Oracle bisa menagih EE dan opsi dengan skema 40 ribu–100 ribu dolar lebih per core, lalu dikalikan 0,5, dan beberapa workload sangat sensitif terhadap cache
      Jadi konfigurasi 2-socket dengan CPU 16-core[1] yang punya cache besar, bandwidth tinggi, clock tinggi, dan memori besar bisa menjadi yang paling efisien dibanding biaya lisensi yang melampaui 1 juta dolar
      [1] https://www.amd.com/en/products/processors/server/epyc/9005-...
    • Topologi komponen ini benar-benar unik. Secara fisik, silikonnya sama dengan komponen 128-core, tetapi di setiap chiplet komputasi hanya satu core yang dibiarkan aktif dan sisanya dinonaktifkan
      Dengan kata lain, 112 core dimatikan agar cache sebanyak mungkin tetap tersedia, menyisakan hanya 16 core
      Namun karena selalu harus melewati bus antarchiplet yang relatif lambat, latensi antarkore kemungkinan tidak akan bagus
    • Saya penasaran apakah chip AMD terbaru bisa memetakan cache L3 sehingga dapat dipakai seperti TCM, bukan sebagai cache
      Prosesor non-X86 lama mendukung hal ini, dan sering kali boot dalam mode itu agar memory controller bisa diinisialisasi. Jika masih mungkin dilakukan saat ini, bisa muncul penggunaan embedded yang menarik seperti sistem besar tanpa DRAM

  • Ada bagian yang mengatakan, “Sistem yang kami akses menjalankan memori pada 6000MT/s, dan DDR5-6000 MT/s didukung oleh sebagian besar sistem dalam konfigurasi 1 DIMM per channel. Jika memakai 2 DIMM per channel, kecepatan memori turun menjadi 4400 MT/s, dan jika memakai 1 DIMM per channel pada motherboard 2 DIMM per channel, perkirakan 5200 MT/s”; saya penasaran apakah semua kecepatan ini mengacu pada memori ECC

    • Benar. Server hanya memakai ECC RAM