Basaran - Pengganti open source untuk OpenAI Text Completion API

• Menyediakan API streaming yang kompatibel dengan OpenAI untuk model generasi teks berbasis Hugging Face Transformer
  • Memungkinkan penggunaan LLM lain layaknya layanan OpenAI
• Mendukung generasi streaming dengan berbagai strategi decoding
• Mendukung model decoder-only maupun encoder-decoder
• Detokenizer yang mendukung surrogates dan whitespace
• Opsi quantization tersedia. Mendukung multi-GPU
• Menampilkan progres secara real-time menggunakan SSE(Server-Sent Events)