Saat ini saya sedang mengembangkan aplikasi dengan Expo + React Native, dan saya ingin memasang model Gemma-4-E2B-it langsung di ponsel agar bisa dijalankan secara on-device.
Setelah mencari-cari, sepertinya ada beberapa opsi seperti di bawah ini, tetapi saya masih belum punya gambaran jelas pendekatan mana yang paling banyak dipakai di praktik nyata.
- llama.rn
- llama.cpp
- GGUF
- LiteRT / AI Edge
- MLC LLM
Yang ingin saya lakukan adalah sebagai berikut:
- Unduh/pasang model di dalam aplikasi
- Inferensi lokal (kalau bisa sepenuhnya offline)
- Digunakan dari dalam aplikasi Expo/RN
Runtime/library apa yang saat ini paling banyak digunakan?
Kalau ada yang pernah mengimplementasikannya, saya akan sangat berterima kasih jika bisa berbagi struktur, repo contoh, atau pengalaman.
2 komentar
Saya pernah menjalankan PoC serupa dengan Flutter. Saat itu saya mengerjakannya dengan LiteRT-lm dan banyak merujuk pada repositori ini: https://github.com/google-ai-edge/gallery
Aha, begitu ya. Saya juga sempat memasang Google Edge Gallery dan mencoba berbagai hal, jadi akan saya jadikan referensi. Terima kasih!