- AICI - Artificial Intelligence Controller Interface
- Memungkinkan pembuatan controller yang dapat membatasi dan mengarahkan keluaran model bahasa besar (LLM) secara real-time
- Controller mendukung decoding terbatas, pengeditan dinamis pada prompt dan teks yang dihasilkan, serta koordinasi antar pembuatan paralel
- Controller mengintegrasikan logika kustom selama decoding per token dan mempertahankan state selama permintaan LLM berlangsung
- Tujuan AICI adalah memudahkan pembangunan dan eksperimen dengan strategi controller yang sudah ada maupun yang baru
- Dengan mengabstraksikan detail implementasi dari inferensi LLM dasar dan engine penyajiannya
- menyederhanakan pengembangan controller,
- mempermudah penulisan controller yang cepat, serta
- memudahkan kompatibilitas antar engine inferensi dan penyajian LLM
- AICI dirancang (pada akhirnya) untuk eksekusi lokal dan cloud, termasuk deployment LLM multi-tenant
- Controller diimplementasikan sebagai modul WebAssembly (Wasm) ringan yang berjalan pada sistem yang sama dengan engine inferensi LLM, memanfaatkan CPU saat GPU sibuk menghasilkan token
- AICI adalah satu lapisan dalam stack inferensi, dirancang agar library kontrol seperti Guidance, LMQL, dan lainnya dapat berjalan di atasnya serta memperoleh portabilitas lintas engine inferensi dan layanan LLM, sekaligus peningkatan efisiensi dan performa
- AICI memiliki karakteristik berikut
- Fleksibel: controller dapat ditulis dalam bahasa apa pun yang bisa dikompilasi ke Wasm (Rust, C, C++, ...) atau diinterpretasikan di dalam Wasm (Python, JavaScript, ...)
- Aman: controller dijalankan dalam sandbox sehingga tidak dapat mengakses file system, jaringan, atau resource lainnya
- Cepat: modul Wasm dikompilasi menjadi kode native dan dijalankan paralel dengan engine inferensi LLM, sehingga hanya menambah overhead minimal pada proses generasi
- Prototipe yang dirancang dan dibuat oleh Microsoft Research
Belum ada komentar.