Implementasi TypeScript untuk LLMLingua-2

Proyek open source yang mem-porting LLMLingua, "kompresor prompt universal berbasis LLM" yang dikembangkan oleh Microsoft, dari Python ke TypeScript agar bisa digunakan di lingkungan yang lebih beragam.

Apa itu LLMLingua?

• GeekNews: "Microsoft LLMLingua - Mengompresi prompt untuk mempercepat inferensi dan mengurangi biaya"
• Situs resmi LLMLingua-2
• Saat ini didistribusikan sebagai implementasi resmi dalam bahasa Python.

Implementasi TypeScript untuk LLMLingua-2

• Demo kompresi prompt (GitHub Pages)
  • JavaScript + React + Vite
  • Syarat untuk mencoba demo: memerlukan browser yang mendukung WebGPU (seperti Google Chrome di Windows/macOS)
• Kode sumber: tersedia di GitHub dan HuggingFace
• Paket (npm): npm install @atjsh/llmlingua-2

Sorotan

• Pipeline LLMLingua-2 yang sebelumnya ditulis dalam Python telah di-porting ke TypeScript murni
• Library yang digunakan dalam implementasi: js-tiktoken, transformer.js dan TensorFlow.js
• Dukungan Node.js masih dalam pengembangan tambahan (namun sudah bisa diuji sekarang juga)
• Open source berbasis lisensi MIT

Masih tahap sangat awal

• Beberapa fitur seperti use_context_level_filter, return_word_label, dan lainnya masih belum diimplementasikan
• Bahkan untuk fitur inti kompresi prompt pun, mungkin masih ada bagian yang diimplementasikan secara keliru dibandingkan LLMLingua-2 asli...