OpenLLM - Platform terbuka untuk menjalankan LLM di lingkungan produksi
(github.com/bentoml)- Mendukung berbagai jenis LLM untuk inferensi dan deployment
- StableLM, Falcon, DOlly, Flan-T5, ChatGLM, StarCoder,..
- Menyajikan LLM sebagai RESTful API atau gRPC dengan satu perintah
- Dapat dipanggil dari WebUI, CLI, klien Python/Javascript, atau klien HTTP apa pun
- Dukungan bawaan untuk LangChain, BentoML, dan HuggingFace
- Dukungan fine-tuning LLM akan hadir
Belum ada komentar.