Kecepatan, skalabilitas, keandalan: evolusi jaringan pusat data Google selama 25 tahun

• Jaringan Google tidak dibangun dalam semalam, melainkan berkembang menjadi arsitektur jaringan pusat data Jupiter generasi kelima saat ini melalui 25 tahun inovasi rekayasa dan berbagai tonggak penting
• Saat ini, jaringan Jupiter dapat diskalakan hingga bandwidth dua arah 13 petabit per detik. Ini setara dengan memungkinkan seluruh 8 miliar orang di Bumi melakukan panggilan video secara bersamaan (@1.5Mb/s)

Prinsip-prinsip utama

• Apa pun, di mana pun: Jaringan pusat data Google mendukung penempatan pekerjaan skala besar di mana saja di antara lebih dari 100.000 server dalam fabric jaringan yang sama. Skala seperti ini meningkatkan kinerja aplikasi untuk workload internal maupun eksternal dan menghilangkan fragmentasi internal
• Latensi rendah dan dapat diprediksi: Dengan menyediakan headroom bandwidth, menjaga ketersediaan jaringan 99,999%, dan mengelola kemacetan secara proaktif melalui kolaborasi antara end host dan fabric, Google memprioritaskan performa yang konsisten serta meminimalkan tail latency
• Ditentukan oleh perangkat lunak dan berpusat pada sistem: Demi fleksibilitas dan kelincahan, Google memanfaatkan software-defined networking (SDN) untuk memverifikasi puluhan fitur baru setiap dua minggu di jaringan globalnya dan merilisnya secara global
• Evolusi bertahap dan topologi dinamis: Evolusi bertahap membantu jaringan diperbarui secara terperinci tanpa menghentikan keseluruhan sistem, sementara topologi dinamis membantu jaringan terus beradaptasi dengan perubahan kebutuhan workload. Kombinasi optical circuit switching dan SDN mendukung jaringan heterogen yang terus berkembang, termasuk upgrade fisik dan dukungan untuk beberapa generasi hardware dalam satu fabric
• Traffic engineering dan QoS yang berpusat pada aplikasi: Mengoptimalkan aliran trafik dan menjamin kualitas layanan membantu menyesuaikan jaringan dengan kebutuhan setiap aplikasi
• Jaringan Jupiter SDN milik Google sendiri memberikan keandalan lebih dari 50 kali dibanding generasi sebelumnya

Riwayat evolusi

2015 - Jupiter, jaringan petabit pertama

• Google menunjukkan bahwa jaringan pusat data Jupiter dapat diskalakan hingga total bandwidth 1,3 Pb/s dengan memanfaatkan switch silicon komersial, topologi Clos, dan software-defined networking (SDN)
• Pada saat itu, kecepatan transfer data dari satu pusat data Google ini lebih besar daripada perkiraan total laju trafik data IP di internet global

2022 - Mendukung 6 petabit per detik

• Google mengumumkan bahwa jaringan Jupiter dapat diskalakan hingga lebih dari 6Pb/s melalui integrasi mendalam optical circuit switching (OCS), wavelength-division multiplexing (WDM), dan Orion SDN controller yang sangat skalabel
• Teknologi-teknologi ini memungkinkan berbagai kemajuan, termasuk pembangunan jaringan bertahap, peningkatan performa, pengurangan biaya, penurunan konsumsi daya, manajemen trafik dinamis, dan upgrade tanpa hambatan

2023 - Jaringan 13 petabit per detik

• Google semakin meningkatkan Jupiter agar mendukung kecepatan link dasar 400Gb/s di inti jaringan
• Komponen dasar jaringan Jupiter (disebut blok agregasi) kini terdiri dari 512 port yang mendukung bandwidth dua arah non-blocking 400Gb/s untuk end host dan bagian lain dari pusat data
• Mendukung 64 blok seperti ini untuk total bandwidth dua arah 64*204.8 Tb/s = 13.1 Pb/s
• Teknologi ini telah menjalankan pusat data produksi Google selama lebih dari satu tahun dan mendorong kemajuan pesat dalam kecerdasan buatan, machine learning, pencarian web, dan aplikasi intensif data lainnya

2024 dan seterusnya - Jaringan ekstrem untuk era AI

• Google sudah menetapkan arah untuk infrastruktur jaringan generasi berikutnya yang akan mendukung AI di masa depan
• Sedang mengerjakan kebutuhan infrastruktur jaringan untuk A3 Ultra VM berbasis GPU generasi berikutnya dengan NVIDIA ConnectX-7 networking
• Ini mendukung 3.2 Tbps non-blocking per server untuk trafik antar-GPU melalui RoCE(RDMA over converged ethernet)
• Pekerjaan juga sedang berlangsung untuk produk masa depan berbasis NVIDIA GB200 NVL72

Dalam beberapa tahun ke depan, Google berencana mendukung aplikasi dan layanan transformatif melalui kemajuan signifikan pada bandwidth per port/jaringan secara keseluruhan dan skalanya, penguatan integrasi end host, rekayasa topologi real-time, integrasi mendalam dengan stack komputasi/penyimpanan, serta peningkatan load balancing berbasis host