Weave Router - router model untuk agen yang mengarahkan tiap prompt ke model paling optimal

 (github.com/workweave)
9 poin oleh xguru 2 hari lalu | 4 komentar | Bagikan ke WhatsApp
  • Proksi drop-in yang menggabungkan Anthropic, OpenAI, dan Gemini ke dalam satu endpoint. Secara otomatis memilih model terbaik untuk setiap permintaan
  • Mengarahkan semua prompt ke model yang tepat dalam waktu kurang dari 50ms, dan memungkinkan penghematan biaya 40-70% hanya dengan mengganti endpoint
  • Prompt dinilai bukan berdasarkan feeling (vibes), melainkan dengan cluster scorer berbasis on-box embedder, metode turunan dari Avengers-Pro yang menentukan routing di setiap giliran
  • Mendukung API Anthropic Messages, OpenAI Chat Completions, dan Gemini native, termasuk dukungan untuk streaming/tool/vision
  • Model OSS seperti DeepSeek, Kimi, GLM, Qwen, Llama, Mistral dapat digunakan melalui OpenRouter (atau endpoint yang kompatibel dengan OpenAI)
  • BYOK sebagai default, dan kunci penyedia disimpan terenkripsi secara lokal
  • OTLP trace tersedia secara bawaan, dengan observability melalui dashboard Weave/Honeycomb/Datadog/Grafana dan lainnya
  • Dapat dijalankan tanpa instalasi lewat npx @workweave/router, lalu langsung dihubungkan ke Claude Code, Codex, opencode, Cursor serta mendukung pergantian on/off/status
    • Claude Code dapat dihubungkan dengan make install-cc. Menyediakan perintah slash /router-off, /router-on, /router-status
    • Codex: menjalankan npx @workweave/router --codex akan mem-patch ~/.codex/config.toml
    • opencode: npx @workweave/router --opencode akan menetapkan penyedia @ai-sdk/anthropic yang dibundel ke endpoint router /v1, dan karena mendukung Anthropic Messages API secara native, dapat berjalan tanpa modifikasi
    • Cursor: masih beta awal sehingga performanya belum stabil, masukkan http://localhost:8080/v1 ke Settings → Models → Override OpenAI Base URL
  • Elastic License 2.0

Bacaan terkait

4 komentar

 
nokdu 2 hari lalu

Apakah tidak akan ada masalah cache?
 
shaffr0n 2 hari lalu

Sepertinya akan sulit memanfaatkan lapisan cache yang disediakan pada layanan LLM.
Kalau integrasinya dilakukan dengan cara menggunakan API, biaya akibat cache miss bisa jadi cukup besar.
 
wizmasia 2 hari lalu

Bagian yang disebut wldnjs itu menarik ya.
 
xguru 2 hari lalu

Sudah saya perbaiki.