CRoM v1.0.2 toolkit open source - pengurangan konsumsi token · peningkatan kecepatan · pencegahan degradasi percakapan panjang
(github.com/Flamehaven)Saya merilis versi baru v1.0.2 dari CRoM (Context Rot Mitigation for Efficient LLMs), yang saya buat sendiri dan terus saya perbarui.
CRoM adalah toolkit Python yang membantu LLM memanfaatkan konteks secara lebih stabil dan efisien dengan mengurangi masalah Context Rot (instruksi yang menjadi kabur, drift penalaran, kehilangan memori) yang muncul pada prompt panjang.
🔑 Fitur utama:
▫️Budget Packer: mengompresi hanya teks penting secara stabil dalam batas anggaran token
▫️Hybrid Reranker: pengurutan ulang dokumen berbasis TF-IDF + embedding dense
▫️Drift Estimator: memantau perubahan makna antar respons
▫️Observability: pemantauan berbasis metrik Prometheus
▫️Ekstensi plugin: mendukung FlashRank, LLMLingua, Evidently
▫️Benchmarking: evaluasi end-to-end dan analisis performa melalui CLI
📊 Pada v1.0.2 terbaru, disertakan perbaikan ImportError dan SyntaxError, peningkatan konsistensi manajemen versi, penambahan pengujian integrasi (10+ kasus), serta verifikasi performa pada 1.000+ dokumen.
🔗 Tautan
▫️GitHub Release: https://github.com/Flamehaven/…
▫️Demo: https://huggingface.co/spaces/Flamehaven/crom-demo
▫️Kisah pembuatan: https://medium.com/p/ab356e656d88
Belum ada komentar.