KubeAI - Menjalankan Private AI di atas Kubernetes
(github.com/substratusai)- Menyediakan HTTP API yang kompatibel dengan OpenAI
- Autoscaling berbasis beban
- Dapat menyajikan LLM open source berbasis CPU/GPU
- Tanpa dependensi sama sekali (Istio, Knative, dll.)
- UI chat bawaan
Belum ada komentar.