- Sebuah bahasa yang dapat mengendalikan model bahasa dengan lebih efektif dibanding prompt konvensional.
- Berdasarkan template Handlebars untuk menentukan struktur dan cara output, serta mengendalikan alur logis.
- Meningkatkan performa inferensi dengan menggunakan cache key/value di dalam prompt dan membuat model hanya melakukan inferensi pada bagian yang diinginkan.
- Melampaui sekadar pengendalian struktur output sederhana, hingga mampu menjamin sintaks yang valid seperti JSON.
- Mendukung integrasi yang mudah dengan model HuggingFace.
3 komentar
Sekilas terlihat lebih fleksibel dan lebih mudah digunakan dibanding LMQL, tetapi saya penasaran dengan ulasan dari orang yang benar-benar sudah mencobanya.
Sangat berguna. Akan sangat bagus kalau ada versi porting untuk Node.js.
Kalau melihat repositorinya, ada banyak contoh, dan hanya dari contoh-contohnya saja sudah cukup menarik.
Terutama, untuk kasus yang membutuhkan output terstruktur, bagian di mana LLM dibuat menghasilkan hanya bagian isi saja, bukan keseluruhannya, sehingga waktu inferensi bisa dipangkas setengah, terlihat sangat bagus.