Ask HN: ChatGPT bisa melayani 700 juta orang, jadi kenapa saya bahkan tidak bisa menjalankan satu GPT-4 secara lokal?

• Sam Altman mengumumkan bahwa ChatGPT menangani sekitar 700 juta pengguna mingguan
• Saat model setingkat GPT-4 dijalankan secara lokal, masalah kekurangan VRAM dan penurunan kecepatan menjadi sangat serius, sehingga muncul pertanyaan bagaimana OpenAI menangani penggunaan berskala besar ini dengan latensi rendah dan performa tinggi
• Ingin mengetahui teknik optimisasi model, pemrosesan terdistribusi, perangkat keras khusus, dan load balancing yang melampaui sekadar klaster GPU sederhana

---

Ringkasan komentar inti

1. Arsitektur inferensi terdistribusi skala besar

• Model sharding
  • Parameter disimpan secara terdistribusi di beberapa GPU
  • Saat permintaan masuk, tiap GPU menghitung bagian parameternya sendiri lalu hasilnya digabungkan
• Tensor parallelism
  • Operasi dalam satu layer dijalankan secara paralel oleh beberapa GPU
• Pipeline parallelism
  • Layer dibagi menjadi beberapa tahap, lalu diproses berurutan dan bersamaan seperti pipeline
• Pemrosesan paralel campuran untuk mengoptimalkan memori GPU dan beban komputasi

2. Optimisasi memori dan kecepatan

• Quantization: parameter diubah ke presisi bit yang lebih rendah untuk mengurangi penggunaan VRAM
• Layer offloading: bila perlu, sebagian layer dipindahkan ke memori CPU
• LoRA / Adapter Layers: hanya tugas tertentu yang di-fine-tune sehingga tidak perlu memuat ulang seluruh model
• KV caching: konteks digunakan ulang untuk menghilangkan perhitungan berulang

3. Perangkat keras khusus dan jaringan

• Penggunaan besar-besaran NVIDIA H100, A100, dan sebagian TPU terbaru
• Transfer data ultra-cepat melalui NVLink dan NVSwitch antar-GPU, serta Infiniband antar-klaster
• Membangun jaringan backbone global antar-datacenter untuk meminimalkan latensi

4. Distribusi geografis dan load balancing

• Menempatkan GPU farm di berbagai region di seluruh dunia
• Menghubungkan permintaan pengguna ke region terdekat dengan GeoDNS
• Menskalakan naik/turun klaster GPU secara dinamis sesuai pola lalu lintas
• Mendistribusikan ulang trafik global saat beban terkonsentrasi di region tertentu

5. Optimisasi pemrosesan permintaan

• Batch inference: menggabungkan permintaan dari banyak pengguna agar inferensi dilakukan sekaligus
• Pra-pemrosesan dengan model kecil: permintaan sederhana ditangani model kecil, hanya permintaan kompleks yang memanggil model besar
• Caching hasil: hasil untuk prompt yang sama atau permintaan serupa langsung dikembalikan dari cache
• Prompt engineering untuk mencegah pemborosan token yang tidak perlu

6. Optimisasi operasional dan biaya

• Meminimalkan sumber daya menganggur dengan pemantauan dan penjadwalan penggunaan GPU
• Meningkatkan efisiensi daya datacenter dan menerapkan pendinginan cair
• Meningkatkan kecepatan inferensi dengan optimisasi compiler dan runtime internal
• Mengoperasikan pipeline otomatis untuk pembaruan dan deployment model

Contoh alur arsitektur menyeluruh

1. Menerima permintaan pengguna → dirutekan ke region terdekat dengan GeoDNS
2. Prapemrosesan → permintaan sederhana ke model kecil, hanya permintaan kompleks yang diteruskan ke model besar
3. Pemrosesan inferensi terdistribusi
   • Menerapkan model sharding + tensor parallelism + pipeline parallelism
   • Bertukar hasil antara melalui jaringan berkecepatan tinggi antar-GPU
4. Pascapemrosesan dan caching hasil → menyimpan cache untuk permintaan yang sama atau mirip
5. Mengembalikan respons → memberikan hasil dalam 1~2 detik