- Chip riset yang diperkenalkan di Hot Chips 2023 ini menargetkan pemrosesan data ultra-sparse untuk DARPA HIVE, dengan 8 core yang menyediakan total 528 thread perangkat keras
- Hasil analisis beban kerja menunjukkan paralelisme yang besar, tetapi pemanfaatan cache line dan efisiensi pipeline out-of-order yang panjang rendah, sehingga dibutuhkan desain yang berbeda dari CPU server umum
- Prosesor ini berbasis RISC ISA, bukan x86, dan menangani konkurensi skala besar dengan 66 thread per core serta pipeline multithread
- Komunikasi antar-chip dihubungkan melalui optical fabric langsung mesh-to-mesh berbasis silicon photonics, sehingga dapat berkomunikasi langsung dengan core di luar chassis tanpa switch dan NIC
- Implementasinya adalah CPU TSMC 7nm 8-core 75W, dan karena lebih dari setengah dayanya digunakan untuk koneksi optik, desain ini masih merupakan rancangan eksperimental tahap laboratorium
CPU 528-thread yang ditujukan untuk DARPA HIVE
- Di Hot Chips 2023, Intel memamerkan teknologi direct mesh-to-mesh optical fabric secara terpisah dari chip server umum
- Tujuan utama desain ini adalah pemrosesan data ultra-sparse yang dibutuhkan program DARPA HIVE
- Hasil profiling beban kerja Intel menunjukkan karakteristik yang tidak cocok dengan desain CPU umum
- Ada paralelisme berskala besar
- Pemanfaatan cache line rendah
- Struktur pipeline out-of-order yang panjang tidak dimanfaatkan secara memadai
- Untuk menyesuaikan hal ini, prosesor dirancang dalam konfigurasi socket 8-core
- 66 thread perangkat keras per core
- Total 528 thread
- RISC ISA, bukan x86
- Setiap core menggunakan pipeline multithread
Menghubungkan chip secara langsung dengan silicon photonics
- Chip ini menggunakan konfigurasi yang menempatkan 16 socket dalam satu OCP compute tray dan mengikatnya dengan jaringan optik
- Chip I/O berkecepatan tinggi menghubungkan antara sinyal listrik dan fungsi optik
- Router ditempatkan pada jaringan on-die, dan dari 16 router tersebut, separuhnya berperan menyediakan bandwidth lebih besar ke I/O berkecepatan tinggi
- EMIB digunakan pada lapisan koneksi fisik di dalam paket
- Pada koneksi off-die, setiap chip menjalankan jaringan optik melalui silicon photonics
- Koneksi antarcorr dapat dilakukan langsung melintasi chip
- Dapat terhubung tanpa switch dan NIC meski tidak berada dalam chassis yang sama
- Seluruh chip disusun sebagai paket multi-chip berbasis EMIB
- Dengan menambahkan engine silicon photonics, muncul tantangan tambahan pada bagian yang menghubungkan paket ke untaian serat optik
- Dari sisi daya, implementasinya adalah CPU 8-core 75W, dan lebih dari setengah dayanya digunakan untuk silicon photonics
- Foto die nyata mengonfirmasi penggunaan proses TSMC 7nm, dan pekerjaan ini masih terus dilanjutkan di laboratorium
- Bagian koneksi optik dibantu oleh Ayar Labs
- Konektor plug-in yang pernah diperlihatkan Intel di Innovation 2022 tidak digunakan dalam implementasi ini
1 komentar
Pendapat Hacker News
Dengan 66 thread per core, ini tampak lebih mirip barrel processor daripada apa pun
Sulit berharap tiap thread akan cepat, tetapi jika prosesor punya cukup pekerjaan, bisa dibilang ia dapat melakukan pekerjaan berguna hampir sepanjang waktu alih-alih menunggu memori
Kelemahan utama barrel processor ada di sisi manusia. Sangat sedikit orang yang tahu cara merancang kode yang benar-benar mengeluarkan potensinya. Kode biasa pun berjalan cukup lumayan sehingga di level kode terlihat familier, tetapi performanya tidak akan bagus kecuali ditulis dengan cara yang tampak sangat aneh bagi orang yang hanya pernah menulis kode untuk CPU
Ini arsitektur yang tidak biasa untuk merancang struktur data dan algoritma, dan literatur tentang perancangan algoritma untuk barrel processor juga tidak banyak
Saya pernah merancang kode untuk berbagai arsitektur barrel processor sejak sistem Tera dulu dan menjadi cukup mahir; menurut saya, jika digunakan oleh orang yang benar-benar paham, efisiensi komputasinya dalam komputasi serbaguna dengan anggaran silikon serupa bisa lebih tinggi daripada hampir semua arsitektur lain
Namun untuk menulis kode yang efisien, kita harus mempertahankan model yang jauh lebih kompleks di kepala dibanding kode ekuivalen untuk CPU. Dari sisi ekonomi, arsitektur seperti CPU, yang memungkinkan insinyur rata-rata mencapai efisiensi yang lumayan, lebih diuntungkan
Meski punya keunggulan dalam efisiensi komputasi murni, saya kini sudah berhenti berharap akan melihat barrel processor arus utama
Bagian core ini sangat mirip dengan GPU yang ada saat ini
Yang berbeda pada CPU eksperimental Intel ini adalah, terpisah dari bagian yang mirip GPU, tiap core juga menyertakan 2 thread yang sangat cepat. Kedua thread ini melakukan eksekusi out-of-order, berjalan pada clock yang jauh lebih tinggi daripada thread lambat, dan masing-masing memiliki unit eksekusi yang tidak dibagi
Jika dilihat terpisah, 2 thread cepat dan 64 thread lambat mirip dengan CPU atau GPU lama, tetapi hal barunya adalah keduanya digabungkan dalam satu core dengan memori scratchpad dan cache bersama
https://citeseerx.ist.psu.edu/document?repid=rep1&type=pdf&d...
Saya berani bertaruh proyek DARPA yang mendukung riset ini berada dalam garis ketertarikan akronim 3 huruf yang sama, yang membuat Tera mendapat cukup uang untuk membeli Cray
Jika mengganti "menunggu memori" dengan "menunggu I/O", gambarnya hampir sama
Saat fetch yang lambat terjadi, sistem bisa mengeksekusi lebih banyak instruksi dari thread lain secara paralel
Marvell pernah membuat CPU ARM SMT8 yang mengusung 768 Threads Per Node
https://www.servethehome.com/marvell-thunderx3-arm-server-cp...
Seingat saya, itu ditujukan untuk beban kerja database, dan logika intinya juga sama: jika core biasanya menganggur menunggu RAM, maka selama itu lebih baik memproses thread lain
IBM dan Zen4C memang memenuhi sebagian kebutuhan ini, tetapi saya ingin melihat lebih banyak instance cloud SMT16 yang secara eksplisit menargetkan beban kerja dengan throughput instruksi rendah seperti ini
Dalam desain bergaya barrel processor seperti ini, CMT8/SMT8 tampaknya merupakan titik yang pas
Tampaknya ini adalah gagasan bahwa jika biaya die dan kehilangan kecepatan untuk mengubah sinyal listrik menjadi sinyal optik bisa diamortisasi, maka pada interkoneksi optik kita bisa mendapatkan kecepatan yang secara praktis tidak bergantung pada jarak dengan efisiensi yang baik
Tentu saja tidak sepenuhnya begitu, tetapi jika dibatasi pada jarak chip carrier dalam satu sasis, interferensinya rendah dan routing juga lebih bebas selama masih dalam radius tekuk optical guide
Bisa saja saya salah baca. Komponen optiknya mungkin untuk tujuan lain seperti penumpukan die, atau mungkin untuk membuat kisi chip di atas super carrier dan menghubungkannya dengan interkoneksi optik
Foto die sungguhan dan konfirmasi bahwa itu dibuat di TSMC 7nm—bagi Intel, ini cukup menyakitkan.
Jika harus memakai fab milik pesaing untuk hal seperti ini, sebagai pembuat chip itu terasa seperti momen yang cukup rendah.
Namun node 10nm adalah bencana bagi Intel, dan membuat perusahaan tertinggal sekitar 5–10 tahun dalam bisnis manufaktur chip.
Untuk proyek riset, mudah membayangkan mereka lebih memilih TSMC.
Ini menjelaskan mengapa benda-benda unik seperti ini beralih ke TSMC. Misalnya, Silicon Photonics sendiri juga dikerjakan di Albuquerque, sebuah lokasi yang sempat sekarat.
Jika mencari di Google dengan rentang 2001–2010, Anda bisa menemukan berita terkait.
Pasti ada alasan mengapa pengguna HN kurang memahami semikonduktor. Mungkin karena pembacanya terutama dari sisi software. Di situs ini, bidang ini tampaknya punya rasio kepercayaan diri terhadap kualitas penjelasan yang paling tinggi.
AMD juga melakukan hal yang sama ketika meninggalkan GlobalFoundries, dan itu bisa dibilang salah satu alasan utama mereka bisa menyalip Intel.
Lagi pula semuanya memakai peralatan litografi ASML, jadi siapa yang memasukkan wafer ke mesin itu agak menjadi urusan sekunder.
Ini tampaknya lebih dekat ke CPU bukti konsep daripada produk yang bisa dijual.
Sangat terspesialisasi, dan masih dalam tahap mencari masalah serta beban kerja apa yang akan diselesaikannya.
Saya memperkirakan foton juga akan masuk ke komputasi serbaguna ke depannya. Setidaknya untuk menangani masalah panas berlebih yang makin besar. Yang terutama menarik perhatian adalah perubahan proses dari 10nm ke 7nm.
Sun juga pernah melakukan hal serupa lama sekali, tetapi kemudian meninggalkannya di CPU UltraSPARC.
Apakah thread-nya kelaparan? Apakah mereka menilai lebih baik mengurangi jumlah core dan membuatnya lebih cepat? Sulit menemukan detailnya.
Akan bagus kalau bcantrill dari HN bisa memberi tahu situasi internalnya.
Untuk mendapatkan performa, sering kali perlu menyetel jauh lebih banyak parameter atau melakukan kompilasi ulang.
Bagi saya, itu juga bertepatan dengan periode ketika kebutuhan memakai SSL meningkat besar; SSL sudah dioptimalkan dengan baik untuk x86, tetapi tidak demikian untuk Sparc. Jadi kami harus menangani kompleksitas seperti kartu offloading SSL atau reverse proxy.
Pada akhirnya, di luar beberapa ceruk, terlalu sulit membuatnya berjalan dengan baik.
Mungkin bukan faktor besar, tetapi dari sudut pandang administrator sistem pun merepotkan. Banyak pekerjaan yang harus kami lakukan bersifat serial dan berpusat pada single-core. Dengan kata lain, ia menampilkan sisi terburuknya kepada kelompok yang biasanya menyetujui pembelian dari vendor.
Ini terlihat sempurna untuk reduksi graf dan pemrograman dataflow.
Jika benar-benar masuk produksi, sepertinya bisa dibuat hal-hal yang cukup keren dengan ini.
528 thread pada 8 core—bagaimana hitungannya? Saya sempat mengira 512 lalu harus membacanya lagi.
Karena beban kerjanya, cache tampaknya tidak terlalu termanfaatkan, dan ini bukan x86 melainkan set instruksi RISC.
Di sini 2 adalah jumlah thread lambat seperti CPU saat ini, sedangkan 64 lebih dekat ke thread GPU.
Arsitektur ini bisa menjadi langkah berikutnya dalam integrasi GPU. Semoga mereka bisa menulis implementasi efisien untuk pustaka matematika standar. Ini bisa lebih cepat daripada CPU+GPU terpisah dalam satu paket.
Mengapa 66 tidak dijelaskan.
Sekarang saatnya menyelesaikan penulisan ulang semua kode menjadi event-driven, io_uring, dan sebagainya.
Tera MTA yang disebut orang lain memiliki/sempat memiliki sinkronisasi hardware di sistem memorinya untuk tujuan ini.
Tidak ada interrupt; hanya ada thread yang menunggu seseorang membangunkannya.
Apakah saya membaca artikelnya dengan benar? Maksudnya ada DRAM 32GB di atas chip, atau hanya memakai DIMM standar?
Yang menarik adalah mereka memakai DIMM dan memory controller kustom untuk akses satuan 8 byte. Selain itu, seperti terlihat pada foto die, setiap core punya memory controller sendiri.
Jika setiap memory controller mengelola DRAM 4GB, itu bisa menjelaskan 32GB per chip.
Ada juga materi yang menjelaskan lebih detail, dan Nvidia tampaknya melakukan hal ini pada Grace Hopper, sementara Apple juga melakukan sesuatu yang mirip pada chip seri M.
Pembaruan: dalam kasus ini tampaknya hanya DDR5, tepatnya “custom DDR5-4400 DRAM”.