Mozilla AI merilis server proxy open source any-llm-gateway untuk mengatasi masalah lonjakan biaya dan terhambatnya inovasi yang muncul saat menggunakan LLM (large language model). Ini adalah alat kelas produksi berbasis pustaka any-llm yang sudah ada, dengan penguatan pada fitur manajemen anggaran, manajemen API key, dan analisis penggunaan.
Fitur utama:
- Manajemen anggaran cerdas: Menetapkan tier anggaran bersama agar dapat digunakan bersama oleh banyak pengguna. Mendukung reset otomatis harian/mingguan/bulanan, serta dapat diterapkan secara paksa atau hanya dilacak.
- Sistem API key yang fleksibel: Mendukung master key (untuk layanan tepercaya) dan virtual key (dengan pengaturan masa berlaku/metadata, serta dapat diaktifkan atau dicabut). Pelacakan pengeluaran per pengguna dilakukan secara otomatis.
- Analisis penggunaan yang lengkap: Mencatat jumlah token, biaya, dan metadata untuk setiap permintaan. Mendukung laporan pengeluaran pengguna dan alokasi biaya.
Kepraktisan:
Menyediakan API yang kompatibel dengan OpenAI, dengan penentuan model dalam format provider:model (misalnya openai:gpt-4o-mini). Termasuk streaming dan pelacakan token otomatis. Dapat dideploy dengan mudah menggunakan Docker, serta cocok untuk lingkungan produksi berkat dukungan konfigurasi YAML/variabel lingkungan dan probe Kubernetes.
Alat ini berguna untuk penerapan paket harga SaaS, pengelolaan tim riset, dan lainnya, sambil menekankan keseimbangan antara pengendalian biaya dan inovasi. Sebagai open source, siapa pun bebas menggunakannya dan menyesuaikannya.
Belum ada komentar.