- Mengoptimalkan LLM dengan berintegrasi ke API pengguna sebagai gateway layer 7 cerdas untuk melindungi, mengamati, dan mempersonalisasi aplikasi LLM (agen, asisten, copilot)
- Mengelola tugas-tugas penting terkait pemrosesan prompt, serta mendeteksi dan memblokir upaya jailbreak
- Memproses permintaan dengan memanggil API backend yang sesuai dengan prompt
- Menyediakan routing cerdas antar LLM upstream dan pemulihan bencana
- Mengamati dan mengelola prompt serta interaksi LLM secara terpusat
Fitur utama
- Berbasis Envoy: Dibangun di atas Envoy Proxy untuk mengelola lalu lintas masuk dan keluar prompt seperti permintaan HTTP, serta menyediakan kemampuan pemrosesan LLM yang skalabel.
- Function Calling: Mendukung aplikasi agen dan aplikasi RAG melalui LLM yang dirancang untuk menangani tugas cepat dan hemat biaya seperti pemanggilan API atau ekstraksi parameter dari prompt.
- Prompt Guard: Mengelola perlindungan keamanan prompt secara terpusat tanpa perlu coding terpisah, untuk mencegah upaya jailbreak dan memastikan interaksi pengguna yang aman.
- Manajemen trafik: Mencoba ulang panggilan LLM secara cerdas dan otomatis melakukan failover koneksi untuk memastikan ketersediaan koneksi upstream secara berkelanjutan.
- Kemampuan observabilitas berbasis standar: Menggunakan standar W3C Trace Context untuk memungkinkan pelacakan permintaan end-to-end antar aplikasi, serta membantu mengoptimalkan performa aplikasi AI melalui metrik seperti latensi, penggunaan token, dan tingkat kesalahan.
Belum ada komentar.