vLLM Compose - Beralih/Melayani beberapa model vLLM dengan mudah lewat profil Docker Compose

Ini adalah alat manajemen TUI khusus vLLM yang menyelesaikan kerepotan saat melayani beberapa LLM secara lokal (mengetik ulang perintah Docker untuk tiap model, mengingat pengaturan GPU, memantau status).

• Menyimpan pengaturan per model sebagai profil YAML, lalu mulai/hentikan dari TUI hanya dengan sekali Enter
• Quick Setup: cukup masukkan nama model, maka profil + konfigurasi dibuat otomatis
• Termasuk dasbor pemantauan GPU real-time dan fitur estimasi awal penggunaan memori (hf-mem)
• Pelengkapan otomatis argumen vLLM: secara otomatis mengekstrak daftar argumen yang tersedia dari image vLLM yang sebenarnya, lalu melengkapi otomatis dengan tombol Tab
• Lisensi MIT, memerlukan Python 3.10+ / Docker / lingkungan NVIDIA GPU

https://bae-changhyun.github.io/vllm-compose/