Lanarky - Framework Open Source untuk Menerapkan LLM ke Produksi
(github.com/ajndkr)- Berbasis FastAPI
- Streaming token multi-mode
- Chatbot gradio sederhana untuk prototyping cepat
- Dukungan untuk aplikasi LangChain
- Beragam strategi caching LLM
- Dukungan yang direncanakan: dukungan untuk LlamaIndex, Guidance, Rebuff, serta integrasi SQL DB
Belum ada komentar.