Tesla Transport Protocol over Ethernet (TTPoE)

(github.com/teslamotors)

4 poin oleh GN⁺ 2024-09-24 | 1 komentar | Bagikan ke WhatsApp

Tesla merilis Tesla Transport Protocol over Ethernet (TTPoE) sebagai open source di HotChips 2024
Tesla bergabung dengan Ultra Ethernet Consortium (UEC) untuk membagikan protokol ini dan berupaya menstandarkan fabric baru berkecepatan tinggi/latensi rendah untuk AI/ML/pusat data
TTPoE bersifat nonproprietary, berbiaya rendah, dan berorientasi pada kontrol kemacetan terdistribusi, frame EthernetII standar, serta protokol interkoneksi yang tidak tersentralisasi
Karakteristik TTPoE
- Seperti TCP, kehilangan paket dan retransmisi diperbolehkan, tetapi pengiriman secara keseluruhan tetap dijamin
- Deployment awal TTPoE dilakukan pada proyek Tesla Dojo v1
  - Protokol ini berjalan sepenuhnya di hardware dan diterapkan pada superkomputer multi-exaflops (fp16) berskala sangat besar dengan puluhan ribu endpoint simultan atau lebih
- Protokol ini dapat membangun dan menjalankan link tanpa campur tangan CPU atau OS
Protokol ini tidak rumit atau terlalu "cerdas", melainkan berlandaskan prinsip-prinsip dasar
- Transport Ethernet pada dasarnya adalah memindahkan data dari A ke B, dan seharusnya hanya dibatasi oleh batasan fisik
- Dalam sistem berskala sangat besar, pengelolaan kemacetan terpusat adalah upaya yang tidak masuk akal, dan setiap endpoint harus tangguh serta mampu mengelola dirinya sendiri

Opini GN⁺

TTPoE adalah upaya yang menarik untuk mengatasi keterbatasan protokol TCP yang ada di lingkungan komputasi berperforma tinggi
Tujuan utamanya tampak adalah meminimalkan latensi dan memaksimalkan throughput melalui hardware offloading dan state machine yang disederhanakan
TTPoE memiliki potensi untuk meningkatkan kecepatan transfer data dan latensi di bidang AI dan ML
Langkah Tesla merilis protokol ini sebagai open source kemungkinan akan membantu mempercepat inovasi di bidang HPC
Namun, TTPoE tampaknya akan sulit sepenuhnya menggantikan TCP di jaringan umum, dan lebih merupakan solusi yang dioptimalkan untuk jaringan khusus berkualitas tinggi. Agar TTPoE diadopsi secara luas, standardisasi dan pembangunan ekosistem akan menjadi hal penting
Protokol dengan fungsi serupa antara lain RoCE (RDMA over Converged Ethernet) dan NVLink

xguru 2024-09-24

Tesla memperkenalkan superkomputer Dojo di Hot Chips 2023, dan menggunakannya untuk machine learning yang berfokus pada aplikasi otomotif seperti mobil swakemudi
Data pelatihan menangani video yang membutuhkan bandwidth I/O besar, dan ukuran satu tensor dapat mencapai 1.7GB dalam aplikasi visi Tesla
Tesla menemukan bahwa throughput superkomputer Dojo dapat dibatasi oleh seberapa cepat mesin host mendorong data ke superkomputer

Tesla menyelesaikan masalah ini dengan menambahkan lebih banyak host dan menghubungkan host tambahan tersebut ke superkomputer dengan biaya rendah
Alih-alih solusi jaringan superkomputer umum seperti InfiniBand, Tesla memilih menyesuaikan Ethernet dengan kebutuhan mereka melalui lapisan transport yang dimodifikasi
TCP digantikan oleh Tesla Transport Protocol over Ethernet (TTPoE), yang dirancang untuk memberikan latensi tingkat mikrodetik dan memungkinkan offload perangkat keras yang sederhana

TTPoE dirancang agar seluruhnya diproses di perangkat keras, dan memberikan latensi yang lebih baik daripada protokol TCP standar
State machine TTPoE disederhanakan secara signifikan dibandingkan TCP
Latensi dikurangi dengan menghilangkan status tunggu pada TCP
TTP menghapus status TIME_WAIT dan mengubah urutan terminasi koneksi dari 3 transmisi menjadi 2 transmisi
3-way handshake TCP diubah menjadi 2-way untuk mempersingkat latensi pembentukan koneksi

Seperti TCP, Tesla menggunakan packet loss untuk kontrol kemacetan
Karena Tesla merancangnya untuk berjalan di jaringan dasar berlatensi rendah, mereka dapat menggunakan pendekatan brute force terhadap masalah ini
Implementasi TCP tradisional mempertahankan sliding congestion window, tetapi TTP tidak
Perangkat keras melacak data yang telah dikirim dalam buffer SRAM, yang mendefinisikan ukuran congestion window
Algoritma kontrol kemacetan TCP tradisional beroperasi pada skala waktu yang terlalu panjang untuk efektif pada aplikasi superkomputer Dojo milik Tesla

Tesla menangani protokol TTP dalam blok perangkat keras yang ditempatkan di antara chip dan perangkat keras Ethernet standar
Blok perangkat keras MAC ini dirancang oleh perancang CPU, dan mengadopsi banyak fitur desain CPU
Pembicara menjelaskannya bekerja seperti shared cache, dengan arbiter memilih di antara permintaan sambil mempertimbangkan bahaya urutan
Salah satu sumber daya yang paling menonjol adalah buffer SRAM transmisi 1MB, yang seperti disebutkan di atas mendefinisikan congestion window

TPP MAC diimplementasikan pada sesuatu yang oleh Tesla disebut sebagai "Dumb-NIC"
Disebut "dumb" karena dibuat semurah dan sesederhana mungkin
Tesla ingin menerapkan sejumlah besar node host untuk memasok data ke superkomputer Dojo, dan penggunaan kartu jaringan murah memungkinkan hal ini dicapai dengan cara yang hemat biaya
Nama Mojo berasal dari gagasan bahwa node host tambahan memberi Dojo lebih banyak Mojo untuk mempertahankan performa
Kartu Mojo dipasang pada mesin host jarak jauh, dan jika engineer membutuhkan lebih banyak bandwidth untuk memasok data ke superkomputer Dojo, mereka dapat menarik mesin host jarak jauh dari pool

Mojo dan protokol TTPoE memberikan wawasan menarik tentang bagaimana Transmission Control Protocol (TCP) yang sudah dikenal luas dapat disederhanakan untuk digunakan pada jaringan internal superkomputer berkualitas tinggi
Secara teori protokol ini dapat berjalan di internet, tetapi penyederhanaan seperti fixed congestion window kemungkinan tidak akan bekerja baik pada link berkualitas lebih rendah yang terhubung ke penyedia layanan internet dan seterusnya
Dibandingkan dengan solusi jaringan superkomputasi lain seperti InfiniBand, protokol transport kustom di atas Ethernet dapat memberikan bandwidth tambahan yang cukup untuk memenuhi kebutuhan Dojo