Gateway Codex + embedding lokal untuk Honcho yang dibuat dengan Vibe coding

(Proyek ini adalah proyek yang menggunakan Vibe coding.)

Halo! Saya adalah mahasiswa pascasarjana bidang farmasi yang biasa menikmati membaca GeekNews.

Di sini saya mengenal Hermes Agent dan sudah menggunakannya dengan baik untuk riset, lalu saya tahu bahwa ada adapter memori bernama Honcho yang juga bisa digunakan.
Namun setelah saya lihat, ternyata cara kerjanya bukan memakai kuota langganan Codex, melainkan mengirim request API berbasis token secara terpisah, jadi saya khawatir akan ada biaya tambahan. Entah kenapa saya khawatir kalau memakainya tanpa pikir panjang, gaji mahasiswa pascasarjana saya yang kecil bisa habis semua.

Jadi, dengan mengambil ide dari cara Hermes Agent menggunakan kuota Codex yang disertakan dalam langganan ChatGPT seolah-olah seperti request berbasis token,
saya membuat semacam adapter yang menggantikan backend Honcho dengan langganan Codex.

Cara kerjanya sebagai berikut.

1. Setelah melihat cara Honcho berjalan, pada pengaturan default penilaian tingkat penting memori mengirim request ke OpenAI GPT 5.4 mini, dan embedding untuk pencarian juga menggunakan model embedding OpenAI.
2. Karena itu saya menggunakan kode Codex OAuth dari Hermes Agent agar responsnya muncul seperti respons endpoint OpenAI, dan untuk embedding saya mengubahnya agar memakai BGE-M3 fp16.gguf secara lokal melalui llama.cpp.
3. Dimensi embedding default adalah 1536 dimensi, tetapi karena model publik berdimensi 1536 masih sedikit, saya menggunakan BGE-M3 yang merupakan model 1024 dimensi.
4. Karena setup Honcho mendukung server lokal, saya memasang terlebih dahulu stack Docker honcho-codex-gateway, lalu membuat stack Docker asli Honcho terhubung ke server yang berjalan di sana.
5. Selain itu, karena cara tokenisasi di Honcho berbeda dengan bge sehingga muncul masalah panjang, saya membuatnya bekerja dengan melakukan tokenizing di bge-m3 lalu melakukan chunking.

Karena saya tidak percaya diri dalam menulis kode, saya menggunakan GPT 5.5 berbasis langganan Codex sebagai backend untuk Hermes Agent, dengan reasoning effort Low.
Saya sudah memastikan ini berjalan dengan baik pada model MSI EdgeXpert 1TB seri GB10 (ARM Ubuntu) yang saya beli untuk hobi.
Saya belum memastikan apakah ini berjalan di OS lain seperti Windows/Mac.

Target awal saya adalah jika sekitar 100 orang melakukan git clone, mungkin akan bagus untuk mengunggahnya juga ke GeekNews. Karena target itu tercapai dalam 13 hari, saya mengunggahnya di tempat yang sering saya kunjungi agar bisa mendapatkan penilaian.

Terima kasih sudah membaca tulisan panjang ini!