- Eksperimen memodifikasi server Nvidia Grace-Hopper GH200 menjadi desktop AI pribadi, dengan performa yang cukup untuk menjalankan model berparameter 235B secara lokal
- Membeli sistem GH200 bekas seharga 7.500 euro dari Reddit, lalu merakit ulang server berpendingin cair untuk pusat data menjadi desktop berpendingin udara
- Melakukan banyak troubleshooting perangkat keras termasuk masalah pendinginan, daya, dan error sensor seperti tampilan suhu GPU 16,77 juta°C, kerusakan rangkaian kipas, hingga pemulihan lewat penyolderan manual
- Pada akhirnya menyelesaikan sistem yang stabil dengan menggabungkan 4 pendingin cair, adaptor hasil pemesinan CNC, dan komponen cetak 3D
- Dengan total biaya sekitar 9.000 euro, berhasil membangun workstation AI berperforma sangat tinggi yang lebih murah daripada harga satu GPU H100
Pembelian server Grace-Hopper dan spesifikasinya
- Menemukan listing server GH200 seharga 10.000 euro di forum Reddit r/LocalLLaMA, lalu setelah negosiasi membelinya seharga 7.500 euro
- Konfigurasi: 2× Grace-Hopper Superchip, 2× CPU Grace 72-core, 2× GPU H100, 480GB LPDDR5X, 96GB HBM3, total 1.152GB memori berkecepatan tinggi
- Bandwidth NVLink-C2C 900GB/s, daya 1.000~2.000W, termasuk PSU 3.000W
- Penjualnya adalah GPTshop.ai, perusahaan yang menjual server Nvidia yang dimodifikasi menjadi desktop
- Sistem ini awalnya berbentuk 'frankensystem' yang mengubah server berpendingin cair menjadi pendinginan udara
- Penampilannya kasar, tidak bisa dipasang ke rak, dan dilengkapi catu daya 48V
Pembongkaran dan pembersihan server
- Server berada dalam kondisi sangat berdebu, dan 8 kipas bertenaga tinggi menghasilkan kebisingan setingkat penyedot debu
- Terlalu bising untuk digunakan di rumah, sehingga dibongkar lalu dibersihkan dan dirakit ulang
- Mencuci seluruh motherboard menggunakan beberapa liter isopropanol, lalu dikeringkan di atas lantai pemanas selama seminggu
- Membongkar modul Grace-Hopper untuk memeriksa kondisi internal dan menelusuri struktur di dalamnya
Rekonfigurasi sistem pendingin cair
- Karena risiko kebocoran, digunakan 4 pendingin AIO Arctic Liquid Freezer III 420 alih-alih blok kustom
- Setelah mengukur dimensi die GPU dan CPU, blok adaptor dirancang dengan Fusion 360
- Prototipe dibuat dengan printer 3D Bambu X1, lalu komponen akhir diselesaikan lewat pemesinan CNC
- Setelah pemesinan, sisa oli dibersihkan dan pemasangan selesai, sehingga performa pendinginan tercapai
Perakitan desktop
- Frame dibuat dari profil aluminium ProfilAlu, dengan desain menggunakan Fusion 360
- Puluhan komponen dudukan PCB dan filter dibuat lewat pencetakan 3D
- Menggunakan beberapa kilogram filamen untuk menstabilkan struktur
Masalah utama yang muncul
- Saat menyambungkan daya kipas, terdengar bunyi 'pop' dan muncul asap', dan sebagian rangkaian header kipas rusak
- Diduga MOSFET rusak akibat perhitungan arus yang keliru
- Daya kipas kemudian diganti memakai adaptor 12V-5A terpisah
- Error kipas membuat BMC (Baseboard Management Controller) memblokir proses boot
- Pemeriksaan kipas dilewati dengan menonaktifkan
phosphor-sensor-monitor.service
Error suhu GPU dan perbaikan rangkaian
- Saat boot, suhu GPU ditampilkan sebagai 16.777.214°C, lalu sistem mati otomatis
- Ini adalah nilai maksimum bilangan bulat 24-bit (2²⁴-2) yang menandakan error sinyal sensor
- Hasil pemeriksaan dengan mikroskop menunjukkan kerusakan pada kapasitor 100nF dan resistor 4.7kΩ
- Rangkaian dipulihkan dengan penyolderan presisi, lalu dikunci memakai masker UV
- Setelah dirakit ulang, sistem berhasil boot normal
Konfigurasi akhir dan performa
- Komponen tambahan yang dibuat:
- Dudukan SSD E1.S 8TB, panel belakang PSU 3kW, mesh pelindung radiator
- Masalah inisialisasi GPU diselesaikan dengan menonaktifkan NVLink
- Menambahkan
NVreg_NvLinkDisable=1 ke /etc/modprobe.d/nvidia-disable-nvlink.conf
Hasil benchmark
- Build Llama.cpp dengan 144 core memerlukan 90 detik, dengan hasil uji model besar berikut:
- gpt-oss-120b-Q4_K_M: prompt 2974.79, token 195.84
- GLM-4.5-Air-Q4_K_M: prompt 1936.65, token 100.71
- Qwen3-235B-A22B-Instruct: prompt 1022.79, token 65.90
- Konsumsi sekitar 300W per GPU, masih jauh di bawah maksimum (900W)
Rincian biaya
- Server Grace-Hopper €7.500, SSD €250, adaptor CNC €700, pendingin cair €180
- Frame €200, panel kaca €40, bahan cetak 3D €40, komponen lain €50
- Isopropanol untuk pembersihan €20, catu daya 12V €10, lampu LED €10
- Total biaya sekitar €9.000, lebih murah daripada satu GPU H100
Kesimpulan
- Berhasil menyelesaikan desktop yang dapat menjalankan model 235B parameter secara lokal
- Dalam proses mengubah perangkat keras kelas pusat data menjadi perangkat pribadi, berhasil mengatasi berbagai kendala seperti error sensor, kerusakan rangkaian, dan masalah pendinginan
- Hasilnya adalah contoh pembangunan workstation riset AI berperforma tinggi dengan biaya rendah
Belum ada komentar.