GoModel - Gateway AI berkinerja tinggi yang ditulis dengan Go

 (github.com/ENTERPILOT)
2 poin oleh xguru 2 jam lalu | 1 komentar | Bagikan ke WhatsApp
  • Gateway AI ringan yang mirip LiteLLM; karena berupa satu biner Go, image kontainernya ringan dan cold start cepat
  • Mengintegrasikan 11 provider seperti OpenAI, Anthropic, Gemini, Groq, xAI, dan lainnya ke dalam satu API kompatibel OpenAI
  • Cukup kirim API key sebagai environment variable ke satu kontainer Docker, lalu bisa langsung digunakan dengan deteksi provider otomatis
  • Mendukung seluruh endpoint OpenAI API seperti /v1/chat/completions (streaming), /v1/responses, /v1/embeddings, /v1/models, /v1/files, dan /v1/batches
  • Juga menyediakan /p/{provider}/... untuk native API passthrough, sehingga respons upstream diteruskan apa adanya (fitur yang belum didukung gateway pun bisa langsung digunakan)
  • Cache respons dua lapis bawaan
    • Layer 1: cache exact-match berbasis hash body request (lookup sub-milidetik)
    • Layer 2: cache semantik berbasis pencarian KNN vektor embedding (hit rate 60~70% pada workload berulang tinggi)
    • Mendukung Qdrant, pgvector, Pinecone, dan Weaviate sebagai backend vektor
  • UI dashboard administrasi bawaan untuk melihat penggunaan token, pelacakan biaya, audit log, status provider, model override, dan lainnya
  • Fitur observabilitas bawaan seperti metrik Prometheus, audit logging, dan pipeline guardrail (masing-masing diaktifkan lewat environment variable)
  • Autentikasi API dengan GOMODEL_MASTER_KEY, dan backend storage dapat dipilih dari SQLite, PostgreSQL, atau MongoDB
  • Mendukung pendaftaran banyak instance dari provider yang sama melalui environment variable bersufiks (contoh: OPENAI_EAST_API_KEY)
  • Backend storage bisa dipilih antara SQLite (default), PostgreSQL, dan MongoDB, sehingga skala kecil bisa langsung dipakai setelah instalasi, sementara skala besar cukup diperluas dengan mengganti DB
  • Roadmap 0.2.0: intelligent routing, penambahan DeepSeek V3 dan Cohere, manajemen anggaran per user_path, cluster mode, dan lainnya
  • Lisensi MIT

Bacaan terkait

1 komentar

 
xguru 1 jam lalu

Perusahaan yang ingin mengadopsi LiteLLM sepertinya layak mempertimbangkan ini sekali sebagai alternatif yang ringan.

Karena LiteLLM berbasis Python pernah sekali mengalami serangan rantai pasok, ada juga kesan bahwa Go relatif terlihat sedikit lebih aman.