Karena bekerja di industri tempat nomor komponen yang dihalusinasikan atau perhitungan yang diam-diam keliru bisa masuk hingga gambar teknik, BOM, dan pemesanan,
saya membuat harness yang memperlakukan jawaban LLM seperti dokumen "dilarang dikirim sebelum lolos inspeksi"
dan sudah menggunakannya secara nyata selama beberapa bulan. Saya merilis snapshot kurasi yang telah dibersihkan dari informasi pribadi dan domain.
- 13 jenis gerbang verifikasi sebelum jawaban dikirim: pemblokiran halusinasi (melarang pembuatan perkiraan nomor komponen/DOI),
eksekusi ulang aritmetika dengan Bash, isolasi prompt injection, pencocokan dengan output tool yang sebenarnya saat ada klaim "sudah dijalankan",
gerbang pencegahan kekambuhan yang membekukan kasus gagal sebagai regression gold set, dan lainnya - Menempelkan 3 tingkat kepercayaan pada semua angka kunci, kutipan, dan klaim kausal — kutipan berbasis ingatan
maksimal kuning, hijau hanya untuk hasil pengecekan nyata - Kesimpulan safety-critical diarahkan ulang secara paralel dengan model heterogen (Gemini·Groq·OpenAI CLI), lalu dinilai konvergensinya
— dengan asumsi self-check model yang sama berbagi titik buta yang sama - Pipeline supply chain INTAKE yang hanya mengimpor skill/plugin eksternal setelah isolasi→static scan→pembacaan teliti oleh manusia→rebuild
(instruksi bahasa alami juga diperlakukan sebagai ancaman setara kode) - Checker baru dijalankan dalam shadow mode untuk mengukur false positive rate sebelum dipromosikan, dan klaim yang terverifikasi dimuat ke ledger
untuk pemeriksaan kontradiksi otomatis
Gate hook dan checker benar-benar berupa kode Python yang berjalan, dan regression test juga disertakan.
Bisa di-clone dan langsung dijalankan tanpa dependensi tambahan:
python3 eval/tests/test_g9_regression.py --hook hooks/g9_arith_enforce.py
python3 hooks/tests/test_glossary_hook.py
Jika hook dirangkai lewat settings.example.json, gate juga akan bekerja di lingkungan Anda sendiri.
Ini bukan distribusi yang dipasang secara utuh, melainkan struktur untuk memilih dan menempelkan hook/checker per unit.
Sebagian besar dokumen berbahasa Korea, sementara arsitektur dan README berbahasa Inggris.
Belum ada komentar.