- Di macOS Tahoe 26.2, fitur RDMA berbasis Thunderbolt 5 baru ditambahkan, sehingga komunikasi latensi rendah seperti inferensi AI terdistribusi dengan memanfaatkan MLX menjadi memungkinkan
- Ini berarti “Mac dapat diperlakukan sebagai node komputasi terdistribusi berkecepatan tinggi”, sehingga macOS dapat berkembang melampaui OS desktop biasa menjadi platform eksperimen AI lokal·HPC
Apa itu RDMA
- RDMA(Remote Direct Memory Access) adalah metode komunikasi di mana satu komputer mengakses langsung memori komputer lain tanpa campur tangan CPU
- Dengan melewati network stack, penyalinan kernel, dan context switching, RDMA secara drastis menurunkan latensi dan sangat meningkatkan throughput
- Teknologi ini terutama telah digunakan pada jaringan pusat data seperti InfiniBand dan RoCE
- RDMA telah menjadi teknologi standar dalam komputasi performa tinggi (HPC), penyimpanan terdistribusi, serta pelatihan dan inferensi AI skala besar
- Intinya adalah “meskipun berkomunikasi lewat jaringan, kerjanya terasa secepat menggunakan memori yang sama”
Arti RDMA over Thunderbolt
- Di macOS 26.2, komunikasi RDMA didukung antar-Mac yang terhubung dengan Thunderbolt 5
- Jika sebelumnya RDMA terbatas pada perangkat jaringan kelas server, kini hal itu menjadi mungkin bahkan pada klaster Mac lokal yang terhubung hanya dengan satu kabel
- Bandwidth tinggi dan latensi sangat rendah dari Thunderbolt kini dapat dimanfaatkan langsung dalam model RDMA
- Dengan kata lain, terbuka “jalur untuk menggabungkan beberapa Mac di atas meja seperti sebuah pusat data”
Mengapa cocok untuk beban kerja AI
- Dalam inferensi atau pelatihan AI terdistribusi, pertukaran tensor antar-node mudah menjadi bottleneck
- RDMA dalam proses ini tidak menghabiskan CPU dan menyediakan pola komunikasi yang mendekati GPU ↔ GPU
- Inferensi AI terdistribusi berbasis MLX yang disebutkan dalam catatan rilis dirancang dengan asumsi komunikasi latensi rendah dan bandwidth tinggi seperti ini
- Kemungkinan untuk membagi model ke beberapa Mac dan membangun klaster inferensi yang bekerja seperti satu mesin tunggal menjadi semakin besar
- Bagi tim kecil atau lingkungan riset, membangun “klaster AI dengan Mac tanpa server” menjadi pilihan yang realistis
Skenario penggunaan yang benar-benar menjadi mungkin
- Menghubungkan beberapa Mac Studio / Mac Pro melalui Thunderbolt untuk membangun farm inferensi AI lokal
- Jika model besar sulit dijalankan pada satu GPU, eksperimen inferensi dengan pemisahan model menjadi memungkinkan
- Simulasi terdistribusi lokal, pipeline data berkecepatan tinggi, dan riset sistem terdistribusi eksperimental
- Biaya membangun lingkungan prototipe·PoC sebelum masuk ke pusat data dapat ditekan secara signifikan
Belum ada komentar.