GoModel - gateway AI berkinerja tinggi yang ditulis dengan Go

 (github.com/ENTERPILOT)
8 poin oleh xguru 2026-04-30 | 1 komentar | Bagikan ke WhatsApp
  • Gateway AI ringan yang mirip dengan LiteLLM; karena berupa satu biner Go, image container menjadi ringan dan cold start cepat
  • Mengintegrasikan 11 provider seperti OpenAI, Anthropic, Gemini, Groq, dan xAI ke dalam satu API kompatibel OpenAI
  • Cukup jalankan satu container Docker dan teruskan API key sebagai environment variable; dengan deteksi provider otomatis, bisa langsung digunakan
  • Mendukung seluruh endpoint OpenAI API seperti /v1/chat/completions (streaming), /v1/responses, /v1/embeddings, /v1/models, /v1/files, dan /v1/batches
  • Juga menyediakan /p/{provider}/... untuk native API passthrough, sehingga respons upstream diteruskan apa adanya (fitur yang belum didukung gateway pun bisa langsung dipakai)
  • Cache respons 2 lapis sudah terintegrasi
    • Layer 1: cache exact match berbasis hash body request (lookup sub-milidetik)
    • Layer 2: cache semantik berbasis pencarian KNN pada vektor embedding (rasio hit 60~70% pada workload dengan pengulangan tinggi)
    • Mendukung Qdrant, pgvector, Pinecone, dan Weaviate sebagai backend vektor
  • UI dashboard administrasi terintegrasi untuk memeriksa penggunaan token, pelacakan biaya, audit log, status provider, override model, dan lain-lain
  • Fitur observability seperti metrik Prometheus, audit logging, dan pipeline guardrail sudah terintegrasi (masing-masing diaktifkan lewat environment variable)
  • Menggunakan GOMODEL_MASTER_KEY untuk autentikasi API, dan backend storage dapat dipilih dari SQLite, PostgreSQL, atau MongoDB
  • Mendukung pendaftaran banyak instance untuk provider yang sama melalui environment variable dengan sufiks (contoh: OPENAI_EAST_API_KEY)
  • Backend storage dapat dipilih antara SQLite (default), PostgreSQL, dan MongoDB, sehingga untuk skala kecil bisa langsung dipakai setelah instalasi, sementara untuk skala besar cukup diperluas dengan mengganti DB
  • Roadmap 0.2.0: intelligent routing, penambahan DeepSeek V3 dan Cohere, manajemen anggaran per user_path, cluster mode, dan lainnya
  • Lisensi MIT

Bacaan terkait

1 komentar

 
xguru 2026-04-30

Perusahaan yang ingin mengadopsi LiteLLM sepertinya layak mempertimbangkan ini sekali sebagai alternatif yang ringan.

Karena LiteLLM berbasis Python pernah sekali mengalami serangan rantai pasok, ada juga kesan bahwa Go relatif terlihat sedikit lebih aman.