- Mesin inferensi LLM on-device tingkat produksi buatan Google, yang memungkinkan menjalankan model bahasa besar di berbagai lingkungan edge seperti Android, iOS, web, desktop, dan IoT (Raspberry Pi)
- Dukungan untuk model Gemma 4 terbaru juga ditambahkan, dan menghadirkan performa inferensi optimal di perangkat edge melalui akselerasi perangkat keras GPU·NPU
- Dengan dukungan multimodal, dapat memproses input vision (gambar) dan audio, serta di CLI juga mendukung inferensi dengan lampiran gambar melalui opsi
--attachment
- Function Calling (Tool Use) bawaan untuk workflow agentik
- Kompatibel dengan berbagai model LLM seperti Gemma, Llama, Phi-4, dan Qwen, serta bisa langsung melakukan inferensi setelah mengunduh model dari Hugging Face dengan perintah CLI satu baris
- Mulai langsung dengan
uv tool install litert-lm → litert-lm run
- Sudah benar-benar diterapkan di produk Google seperti Chrome, Chromebook Plus, Pixel Watch untuk menjalankan GenAI on-device
- Model bisa langsung dijalankan di perangkat mobile melalui aplikasi Google AI Edge Gallery (tersedia di Google Play dan App Store)
- API bahasa: dukungan stabil untuk Kotlin (Android/JVM), Python (prototyping), C++ (native berperforma tinggi), dan Swift (iOS/macOS) sedang dikembangkan
- Status rilis: versi terbaru v0.10.2, Gemma 4 dan CLI diperkenalkan di v0.10.1, GPU desktop dan multimodal di v0.8.0, serta akselerasi NPU ditambahkan di v0.7.0
- Lisensi Apache-2.0
2 komentar
Ingin menjalankannya juga, tapi tidak ada memori, hiks
Belakangan ini sudah lebih baik, ya? Sebelumnya performanya di sisi Mac terasa agak aneh dan kurang bagus...