llama-tokenizer-js - Tokenizer LLaMA yang berjalan di browser
(github.com/belladoreai)- Dapat digunakan untuk menghitung token secara akurat di sisi klien
- Mudah digunakan sebagai satu file tanpa dependensi sama sekali
- Kompatibel dengan sebagian besar model berbasis LLaMA
- Mampu melakukan tokenisasi sekitar 2 ribu token dalam 20ms
Belum ada komentar.