- Transformers.js adalah library machine learning mutakhir untuk web yang memungkinkan menjalankan 🤗 Transformers langsung di browser tanpa server
- Dirancang agar setara secara fungsional dengan library
transformers Python, sehingga model pra-latih yang sama dapat dijalankan dengan API yang serupa
- Mendukung tugas umum untuk berbagai modalitas seperti pemrosesan bahasa alami, computer vision, audio, dan multimodal
- Menjalankan model di browser menggunakan ONNX Runtime, dan dengan 🤗 Optimum model pra-latih PyTorch, TensorFlow, atau JAX dapat dengan mudah dikonversi ke ONNX
Fitur utama
- Mendukung API
pipeline yang sama dengan library Python sehingga mudah melakukan migrasi dari kode yang sudah ada
- Mendukung berbagai tugas dan arsitektur (termasuk status dukungan serta tautan dokumentasi/model)
- Pemrosesan bahasa alami: Fill-Mask, Question Answering, Sentence Similarity, Summarization, Text Classification, Text Generation, Text-to-text Generation, Token Classification, Translation, Zero-Shot Classification, Feature Extraction, dll.
- Vision: Depth Estimation, Image Classification, Image Segmentation, Image-to-Image, Object Detection, Image Feature Extraction, dll.
- Audio: Audio Classification, Automatic Speech Recognition, Text-to-Speech
- Multimodal: Document Question Answering, Image-to-Text, Zero-Shot Audio/Image Classification, Zero-Shot Object Detection, dll.
- Secara bawaan menggunakan model pra-latih yang di-host dan biner WASM yang sudah dikompilasi sebelumnya, namun dapat dikustomisasi
Cara instalasi dan penggunaan
- Dapat diinstal dengan NPM:
npm i @xenova/transformers
- Dapat digunakan di vanilla JS tanpa bundler melalui CDN atau static hosting
- Menyediakan berbagai aplikasi contoh/template: Whisper Web, Doodle Dash, Code Playground, Semantic Image Search, Vanilla JavaScript, React, Text to speech, Browser extension, Electron, Next.js, Node.js, dll.
- Melalui konfigurasi lingkungan, pengguna dapat mengustomisasi path model, apakah model jarak jauh dimuat, lokasi file WASM, dan lainnya
- Menggunakan skrip konversi yang disediakan, model PyTorch, TensorFlow, dan JAX dapat dikonversi ke ONNX
Model yang didukung
- Mendukung berbagai model seperti ALBERT, Audio Spectrogram Transformer, BART, BEiT, BERT, Blenderbot, BLOOM, CamemBERT, Chinese-CLIP, CLAP, CLIP, CLIPSeg, CodeGen, ConvBERT, ConvNeXT, DeBERTa, DeiT, Depth Anything, DETR, DINOv2, DistilBERT, DiT, Donut, DPT, EfficientNet, ELECTRA, ESM, Falcon, FLAN-T5, GLPN, GPT Neo, GPT NeoX, GPT-2, GPT-J, GPTBigCode, HerBERT, Hubert, LongT5, LLaMA, MPNet, MPT, MT5, NLLB, Nougat, OPT, dan lain-lain
Opini GN⁺
- Transformers.js adalah library yang berguna karena memungkinkan berbagai model Transformer modern dijalankan di browser tanpa server. Khususnya, library ini mendukung tugas di banyak bidang seperti pemrosesan bahasa alami, computer vision, dan audio sehingga sangat fleksibel untuk digunakan
- Karena menyediakan API yang mirip dengan library Python, perpindahan dari kode yang ada menjadi mudah, dan karena mendukung banyak model pra-latih, model dapat langsung digunakan tanpa pelatihan tambahan
- Dengan menyediakan aplikasi contoh dan template, library ini mudah dimanfaatkan untuk beragam keperluan, serta menawarkan fitur kustomisasi yang membuatnya sangat fleksibel
- Namun, karena berjalan di browser, mungkin ada keterbatasan sumber daya, dan kebutuhan untuk terus menambahkan/mendukung model terbaru dapat menjadi beban dari sisi pemeliharaan pengembangan
- Framework ML berbasis browser yang serupa mencakup TensorFlow.js, ONNX.js, dan WebDNN. Khususnya, TensorFlow.js mendukung browser dan Node.js serta menawarkan lebih banyak fitur seperti transfer learning dan visualisasi
Belum ada komentar.