BricksLLM - AI Gateway untuk LLM
(github.com/bricks-cloud)- Gateway AI cloud-native yang ditulis dengan Go
- Berfungsi sebagai proxy untuk OpenAI
- Dapat membuat API key dengan rate limit, cost limit, dan TTL untuk menyediakan kontrol akses terperinci yang tidak disediakan oleh OpenAI
- Tujuannya adalah mendukung berbagai LLM seperti LLama2, Claude, dan PaLM2, serta menyederhanakan operasional LLM
Belum ada komentar.