tiktoken - Tokenizer OpenAI

• Tokenizer BPE (Byte pair encoding) cepat untuk digunakan dengan model-model OpenAI
• 3~6 kali lebih cepat dibandingkan tokenizer yang sudah ada (Huggingface)
• Dapat diinstal melalui PyPI
• Open source Python + Rust