Function Calling Harness, mengubah tingkat keberhasilan dari 6.75% menjadi 100%

Ini adalah materi presentasi yang saya sampaikan setelah diundang sebagai pembicara di Qwen Meetup Korea.

Cara membuat function calling bekerja stabil pada tipe union rekursif. qwen3-coder-next memiliki tingkat keberhasilan percobaan pertama 6.75%, dan seluruh keluarga model Qwen 3.5 berada di 0% karena bug double-stringify, tetapi dengan rekayasa harness berhasil mencapai 100%.

• AutoBe: saat LLM mengisi struktur AST melalui function calling, compiler menghasilkan kode. Verifikasi compiler 4 tahap + loop pemulihan mandiri.
• Typia: dari satu tipe TypeScript, secara otomatis menghasilkan JSON Schema, parser, validator, dan generator umpan balik pada waktu kompilasi. Menangani pemulihan JSON yang rusak, konversi paksa tipe, hingga umpan balik pelanggaran skema.
• Skema memberi batasan melalui ketiadaan, bukan larangan → netral terhadap model, konvergensi deterministik
• Semakin kecil model, semakin baik ia mengekspos kerentanan sistem → berguna untuk QA

Pola ini tidak terbatas pada perangkat lunak. Selama ada verifier deterministik, pola yang sama dapat diterapkan di bidang rekayasa mana pun. Meski output AI salah, jika verifier bisa menunjukkan dengan tepat di mana dan mengapa kesalahannya terjadi, loop akan konvergen. Ini membuat model probabilistik dapat digunakan secara praktis di bidang yang menuntut akurasi deterministik.

[rlaaudgjs5638]

Ini juga ide yang sempat saya pikirkan, dan Anda mengimplementasikannya dengan sangat keren! Selamat juga atas hasil yang bagus.