- Melakukan cache atas jawaban LLM untuk menurunkan biaya LLM organisasi dan mempercepat kecepatan respons
- Melalui strategi caching semantik, menemukan kueri yang mirip atau terkait untuk meningkatkan rasio cache hit
- Mengubah kueri menjadi embedding melalui algoritme embedding dan melakukan pencarian terkait terhadap embedding ini melalui vector store
- LLM Adapter: mendukung OpenAI ChatGPT dan LangChain (Bard/Anthropic/LLaMA dll. juga direncanakan akan didukung)
- MultiModal Adapter: OpenAI Image Create, OpenAI Audio Transribe, HuggingFace Stable Diffusion
- Embedding Generator: OpenAI, ONNX, HuggingFace, Cohere, fastText, SentenceTransformers
- Cache Storage: SQLite, PostgreSQL, MySQL, SQLServer,..
- Vector Store: Mulvus, Zilliz Cloud, FAISS, Hnswlib
- Cache Manager: LRU, FIFO
Belum ada komentar.