oh-my-free-models - proxy lokal untuk merutekan agen coding ke model gratis tercepat saat ini

oh-my-free-models (omfm) adalah proxy lokal yang merutekan agen coding ke model tercepat saat ini di antara beberapa provider gratis. Ubah baseURL agen yang kompatibel dengan OpenAI atau Anthropic menjadi localhost, lalu pilih beberapa model gratis, dan omfm akan terus meneruskan permintaan meski latency, rate limit, dan quota sedang tidak stabil.

Mengapa ini diperlukan?

Agen coding free tier terlihat baik-baik saja di lembar spesifikasi, tetapi saat benar-benar dipakai, biasanya akan terhambat di empat titik berikut.

• Rate limit memutus proses di tengah pekerjaan. Model gratis dari OpenRouter atau NVIDIA bisa melempar 429 tanpa peringatan. Eksekusi yang tadinya berjalan baik bisa berhenti hanya karena satu pemanggilan tool, dan manusia harus mencoba lagi secara manual.

• Latency berfluktuasi tergantung waktu. Model gratis yang sama bisa cepat di pagi hari dan menjadi terlalu lambat untuk dipakai pada sore hari. Karena ini berbeda menurut waktu dan wilayah, Anda tidak bisa menetapkan "model cepat" sebelumnya. Yang ada hanyalah "model yang cepat saat ini".

• Saat quota habis, provider harus diganti secara manual. Jika free quota dari satu provider habis, Anda harus mengganti key dan baseURL sendiri. Konfigurasi agen tidak akan menyesuaikan perubahan itu dengan sendirinya.

• Katalog gratis sering berubah. Model baru muncul, model lama hilang, ada yang diberi tanda deprecated, dan ada juga yang diam-diam mulai mengeluarkan error. Bukan dashboard yang memberi tahu Anda, melainkan Anda baru sadar setelah menabraknya sendiri.

Fitur utama

• Merutekan permintaan ke live model dengan latency terendah saat ini dari pool model gratis yang dipilih
• Model yang mengalami error rate limit atau quota seperti 429/402 akan diberi cooldown sekitar 10 menit
• Menyediakan endpoint kompatibel OpenAI /v1 dan kompatibel Anthropic /anthropic
• Dapat digunakan pada client yang kompatibel dengan OpenAI seperti OpenClaw, Hermes Agent, dan OpenCode dengan format url=http://localhost:4567/v1, model=omfm
• Di Claude Code, dapat digunakan dengan mengganti Anthropic base URL menjadi http://localhost:4567/anthropic
• Pool model dapat dipisahkan berdasarkan kebutuhan dengan grup omfm/fast, omfm/balanced, omfm/capable
• Menyediakan CLI seperti omfm model, omfm start, omfm status, omfm doctor, omfm usage

Ini sangat berguna terutama untuk agen coding lokal/CLI seperti OpenClaw atau Hermes Agent yang menerima endpoint kompatibel OpenAI. Biarkan konfigurasi agen tetap sama dan cukup ganti base URL serta model ke omfm, maka di belakang layar pengukuran latency model gratis, pengecualian model yang gagal, dan perpindahan provider akan berjalan otomatis.

[channprj]

Proyek yang menarik. Saya sempat teringat 9router, tetapi ini tampaknya lebih fokus pada free models sehingga terasa menarik. Terima kasih untuk produk yang bagus.

https://9router.com

[happyhaki]

Oh, ternyata ada yang seperti ini. Terima kasih sudah berbagi. Saya sempat terpikir soal LiteLLM, tetapi rasanya begitu memasukkan provider berbayar ke omfm, tidak ada bedanya lagi, jadi saya ingin tetap hanya menggunakan model gratis.