Google LiteRT-LM - Framework inferensi LLM berperforma tinggi untuk perangkat edge

• Mesin inferensi LLM on-device tingkat produksi buatan Google, memungkinkan menjalankan model bahasa besar di berbagai lingkungan edge seperti Android, iOS, web, desktop, dan IoT (Raspberry Pi)
• Dukungan untuk model Gemma 4 terbaru juga ditambahkan, serta menghadirkan performa inferensi optimal di perangkat edge melalui akselerasi hardware GPU·NPU
• Dengan dukungan multimodal, dapat memproses input visi (gambar) dan audio, serta mendukung inferensi dengan lampiran gambar melalui opsi --attachment di CLI
• Function Calling (Tool Use) bawaan untuk workflow agentic
• Kompatibel dengan berbagai model LLM seperti Gemma, Llama, Phi-4, dan Qwen, serta bisa langsung melakukan inferensi setelah mengunduh model dari Hugging Face lewat perintah CLI satu baris
  • Langsung mulai dengan uv tool install litert-lm → litert-lm run
• Sudah benar-benar diterapkan pada produk Google seperti Chrome, Chromebook Plus, Pixel Watch untuk menjalankan GenAI on-device
• Model bisa langsung dijalankan di perangkat mobile melalui aplikasi Google AI Edge Gallery (tersedia di Google Play dan App Store)
• API bahasa: dukungan stabil untuk Kotlin (Android/JVM), Python (prototyping), C++ (native berperforma tinggi), dan Swift (iOS/macOS) sedang dikembangkan
• Status rilis: v0.10.2 terbaru, Gemma 4 dan CLI diperkenalkan di v0.10.1, GPU desktop dan multimodal di v0.8.0, serta akselerasi NPU ditambahkan di v0.7.0
• Lisensi Apache-2.0

[picopress]

Ingin menjalankannya juga, tapi tidak ada memori, hiks

[hmmhmmhm]

Belakangan ini sudah lebih baik, ya? Sebelumnya performanya di sisi Mac terasa agak aneh dan kurang bagus...