liteLLM - Server proksi yang mendukung lebih dari 50 LLM

• API /chat/completion dapat dipanggil untuk berbagai LLM seperti Azure, OpenAI, Replicate, Anthropic, dan Hugging Face
• Format input/output diseragamkan ke format OpenAI
• Mendukung fallback model (contoh: jika GPT-4 gagal, memanggil llama2)
• Mendukung logging: Supabase, Posthog, Mixpanel, Sentry, Helicone
• Pelacakan penggunaan token
• Implementasi Semantic Caching
• Mendukung streaming dan asynchronous