Membangun jaringan full-mesh 10Gbps seharga $47.98 dengan USB4

• Untuk menekan biaya AWS, dibangun klaster Kubernetes bare-metal dan disiapkan jaringan 10Gbps
• Mengganti switch dan kabel Ethernet tradisional dengan jaringan berbasis USB4 Ethernet bridge
• Kecepatan jaringan mencapai 11Gbps, tetapi biaya perakitan hanya $47.98

Mini PC dibanding server 1U standar

• Mempertimbangkan jenis mesin yang akan digunakan saat membangun klaster bare-metal
• Server 1U bekas memang murah, tetapi tidak efisien jika mempertimbangkan biaya operasional
• Mini PC murah, senyap, dan hemat daya
• Memilih mini PC Venus UM790 Pro, dengan konsumsi daya rendah (6W saat idle, 80W saat beban maksimum)
  • CPU AMD Ryzen 9 7940HS + memori 64GB + penyimpanan 1T, namun harganya terjangkau di $779

Jaringan

• Menambahkan 2 mini PC UM790 Pro lagi untuk memperluas menjadi klaster 3 node
• Setelah memasang sistem penyimpanan Ceph, diperlukan koneksi jaringan antarnode yang lebih baik
  • Perangkat memang memiliki port jaringan 2.5G, tetapi tetap perlu membeli switch Ethernet
• Mempertimbangkan potensi kecepatan 40Gbps dengan memanfaatkan dua port USB4 yang ada di perangkat
• Menyusun jaringan full-mesh dengan kabel USB4, sehingga menghemat biaya dibanding membeli switch Ethernet 2.5G

Menyiapkan jaringan mesh dengan NixOS dan Systemd

• Menggunakan NixOS untuk konfigurasi lingkungan Linux yang reproducible.
• Menggunakan systemd-udevd untuk menyiapkan perangkat jaringan Thunderbolt bridge dan konfigurasi IP.

Hasil benchmark

• Hasil benchmark iperf3 menunjukkan kecepatan jaringan 11Gbps

Tinjauan setelah implementasi

• Puas karena berhasil membangun jaringan 11Gbps dengan biaya murah.
• Penasaran dengan penyebab batas kecepatan pada jaringan berbasis USB4.
• Menjelajahi kemungkinan masa depan untuk membangun jaringan berkecepatan tinggi berbasis USB/Thunderbolt.

Pendapat GN⁺:

• Artikel ini menekankan pentingnya software engineer memperluas pengetahuan mereka tentang hardware. Secara khusus, artikel ini menawarkan alternatif baru terhadap pendekatan jaringan konvensional dengan menunjukkan cara kreatif membangun jaringan berkecepatan tinggi dengan biaya rendah.
• Artikel ini menunjukkan bahwa jaringan berbasis USB4 dapat lebih hemat biaya sekaligus menawarkan kecepatan tinggi dibanding solusi berbasis Ethernet yang ada. Ini bisa menjadi opsi menarik bagi pusat data skala kecil maupun pengguna individual di masa depan.
• Cara mengotomatisasi konfigurasi jaringan dan membuatnya reproducible dengan alat seperti NixOS memberikan informasi yang berguna bagi administrator sistem dan developer.

[aster]

Saya kira itu artinya borong habis..

[pmc7777]

Tersusun dengan sangat rapi... saya iri.

[bus710]

Saya memakai transfer file lewat IP over TB4/USB4 dengan baik, dan memang sangat cepat haha

[bus710]

Jika thinderbolt-tools, paket bolt terpasang dan driver terinstal dengan baik, Anda bisa mengatur antarmuka dengan nmcli lalu menggunakannya semudah koneksi Ethernet biasa lewat ssh atau scp dan sebagainya.
Perangkat Intel dan Mac tidak mengalami masalah besar, tetapi pada AMD ada kemungkinan beberapa perangkat tidak dapat berfungsi dengan baik.

[kuroneko]

Kalau tahu ini, saya pasti akan memilih CPU Intel... T_T

[kuroneko]

Eh... kalau dua PC dihubungkan langsung lewat USB4/Thunderbolt, itu dianggap sebagai Ethernet?

Saya lagi menyusun segala macam rencana untuk mencoba koneksi 10Gbps antara NAS dan PC
(sampai sempat mau beli 2 kartu LAN yang mendukung 10G lalu mencoba menghubungkannya langsung)

Tiba-tiba rasanya hampa.

Jadi yang perlu saya ganti itu motherboard yang mendukung USB4/Thunderbolt ya...

[kuroneko]

Saat sekilas melihatnya di HN, saya lewat begitu saja tanpa banyak pikiran,
namun setelah melihatnya di sini, isinya tiba-tiba jadi menarik perhatian;

Bagaimanapun, berkat itu saya jadi melihat solusinya...

Kalau ada kekurangannya, mungkin hanya NAS dan PC harus berdekatan.
Karena kabel USB4 paling banter sekitar 3 m... (dibandingkan dengan kabel LAN yang bisa sampai maksimal 100 m)

[molla]

Batasan jaraknya ternyata lebih ketat dari yang dibayangkan.
Standar kabel USB-C hanya mendukung 10 Gbps jika panjangnya 1 m atau kurang. (Itulah alasan kabel data USB-C pendek.)
Jika panjangnya 2 m atau kurang, yang didukung adalah 5 Gbps, dan jika lebih dari itu maka yang didukung adalah USB 2.
Kalau beralih sepenuhnya ke Thunderbolt, jarak bisa diperpanjang dengan menggunakan kabel aktif, tetapi harga kabel aktif sangat mahal, dan saya juga tidak yakin apakah kabel itu kompatibel dengan USB4.

[kuroneko]

Aha... berarti kemungkinan besar kabel USB4 3M yang beredar di pasaran tidak bisa menghasilkan kecepatan yang semestinya.
Sepertinya saya harus cari tahu dengan tepat dulu sebelum melakukannya. Karena saya memakai CPU AMD, Thunderbolt juga sulit digunakan T_T

[GN⁺]

Opini Hacker News

• Diskusi tentang protokol USB4/Thunderbolt:

  • USB4/Thunderbolt adalah protokol yang terasa seperti sihir, dan cara tercepat memindahkan data antar PC modern adalah dengan menghubungkan port Thunderbolt menggunakan kabel USB-C.
  • Koneksi ini dikenali sebagai port Ethernet di Windows, dan dengan mudah mencapai kecepatan transfer di atas 1GB/s yang dapat memenuhi kapasitas SSD.
  • Intel memamerkan fitur transfer file antarperangkat menggunakan Thunderbolt 4/5 di CES. Secara teoretis, Thunderbolt 4 dan 5 masing-masing menawarkan kecepatan 20Gbps dan 40Gbps.
  • Jika hanya menggunakan satu kontroler Thunderbolt/USB4, mungkin hanya 11Gbps yang bisa dicapai karena dua port USB4 berbagi lane PCIe 40Gbps.

• Penjelasan tentang struktur jaringan:

  • Jika hanya ada 3 node, itu tidak disebut jaringan mesh, dan jaringan ring yang sebenarnya terbentuk saat ada 3 node atau lebih dan beberapa tujuan harus melewati beberapa hop.
  • Jaringan mesh berarti jaringan yang dibentuk oleh koneksi point-to-point arbitrer dengan banyak jalur yang memungkinkan.

• Benchmark penggunaan daya server Dell:

  • Hasil pengukuran penggunaan daya server Dell r430 menunjukkan sekitar 100 watt setelah boot, dan hingga sekitar 220 watt saat berbeban.
  • Ini berarti konsumsi 72kWh per hari dengan biaya $11.05 per bulan, dan saat berbeban biayanya menjadi $24.3 per bulan.
  • Hosting server sebaiknya ditempatkan di colocation untuk mengatasi masalah internet yang stabil dan kebisingan.

• Kemampuan penanganan kesalahan pada USB 4:

  • Ada pertanyaan tentang kemampuan USB 4 menangani kesalahan untuk kerusakan data yang kadang terjadi saat mentransfer data dalam jumlah besar melalui USB.

• Metode transfer file di masa lalu:

  • Ada nostalgia tentang cara transfer file antar komputer MS-DOS menggunakan kabel paralel.

• Optimasi koneksi Thunderbolt:

  • Saat menggunakan koneksi Thunderbolt, pengaturan MTU (maximum transmission unit) ke 9000 memberikan performa lebih baik dibanding 1500.

• Kilas balik tentang struktur jaringan kuno:

  • Ada cerita tentang pengalaman menghubungkan 8 PC ke satu rantai SCSI pada kecepatan U320 di era 1990-an menggunakan IP-over-SCSI.

• Masalah teknis terkait kecepatan Thunderbolt:

  • Faktor-faktor yang memengaruhi kecepatan Thunderbolt antara lain kabel, alokasi lane PCIe pada motherboard, serta pembaruan driver/firmware.

• Diskusi tentang tarif listrik:

  • Disebutkan bahwa tarif listrik residensial rata-rata adalah 15.34 sen/kWh, tetapi ada pengalaman pribadi yang menyebutkan bahwa di San Francisco tarif yang dibayar lebih dari dua kali lipat angka itu.

[cosine20]

Wah, ternyata komputer zaman dulu bisa saling terhubung dengan kabel paralel untuk kirim-terima data ya???