- Basis kode kecil yang memungkinkan menjalankan PyTorch LLM secara lokal (server, desktop, mobile)
- Menjalankan LLM dengan Python di aplikasi mandiri (C/C++) (desktop atau server) serta di iOS dan Android
- Interaksi command line dengan LLM populer seperti Llama 3/2, Mistral, dan lainnya
- Dukungan untuk hardware dan OS populer: Linux(x86), Mac OS(M1/M2/M3), Android(perangkat dengan dukungan XNNPACK), iOS 17+(iPhone 13 Pro+)
- Berbagai tipe data: float32, float16, bfloat16
- Mendukung berbagai skema kuantisasi (Quantization)
- Beragam mode eksekusi: Python (Eager, compile) atau native (AOT Inductor (AOTI), ExecuTorch)
Belum ada komentar.