Google AI Edge - AI lintas platform di perangkat

 (ai.google.dev)
14 poin oleh GN⁺ 2025-06-02 | 1 komentar | Bagikan ke WhatsApp
  • Google AI Edge memudahkan deployment model AI di perangkat mobile, web, dan embedded
  • Dengan framework lintas platform yang terintegrasi, model yang sama dapat dijalankan di Android, iOS, web, dan lingkungan embedded
  • Menyediakan kompatibilitas dengan berbagai framework machine learning (JAX, Keras, PyTorch, TensorFlow)
  • Menyediakan alat pengembang tingkat lanjut seperti visualisasi dan debugging konversi model, serta pembuatan pipeline kustom
  • AI generatif di perangkat seperti Gemini Nano dapat dimanfaatkan di platform Android dan Chrome

Pengenalan Google AI Edge

  • Google AI Edge adalah solusi untuk deployment AI di perangkat dan lintas platform
  • Ini adalah platform yang memungkinkan deployment dan eksekusi model AI secara efisien di berbagai lingkungan seperti aplikasi mobile, web, dan embedded.

Fitur utama

  • Penyimpanan di perangkat: Data tetap tersimpan secara lokal dan privat sehingga mengurangi latensi serta mendukung operasi offline
  • Dukungan lintas platform: Model yang sama dapat dijalankan di Android, iOS, web, dan lingkungan embedded
  • Kompatibilitas multi-framework: Menyediakan kompatibilitas dengan berbagai framework machine learning seperti JAX, Keras, PyTorch, dan TensorFlow
  • Seluruh stack AI edge: Mendukung framework yang fleksibel, solusi turnkey, dan hardware accelerator secara terintegrasi

Solusi siap pakai dan framework yang fleksibel

API low-code untuk tugas AI umum

  • Menyediakan API lintas platform low-code untuk memproses tugas AI umum seperti AI generatif, vision, teks, dan audio dengan mudah
  • Solusi berbasis MediaPipe memungkinkan mulai cepat dan penerapan yang mudah

Deployment lintas platform untuk model kustom

  • Model AI yang telah dilatih dengan JAX, Keras, PyTorch, TensorFlow, dan lainnya dapat dijalankan dengan performa tinggi di Android, iOS, web, dan perangkat embedded
  • Dukungan LiteRT membantu memastikan efisiensi operasional dan kemudahan deployment

Alat konversi dan visualisasi model

  • Menyediakan fitur untuk memvisualisasikan proses konversi dan kuantisasi model
  • Overlay benchmark performa memungkinkan debugging hotspot pada proyek AI

Membangun pipeline ML kustom

  • Dengan merangkai beberapa model ML beserta logika pra-pemrosesan dan pascapemrosesan, Anda dapat membangun pipeline fungsional yang kompleks
  • Pipeline akselerasi berbasis GPU dan NPU dapat dijalankan tanpa memblokir CPU

Gemini Nano di Android dan Chrome

  • Melalui Gemini Nano, model AI generatif di perangkat terbaru dari Google, fitur AI generatif dapat ditanamkan ke berbagai lingkungan seperti Android dan Chrome

Kesimpulan

  • Google AI Edge adalah pilihan yang kuat untuk deployment teknologi AI terdistribusi dan di perangkat.
  • Dengan kompatibilitas lintas platform, dukungan untuk berbagai framework, alat produktivitas pengembang, dan lingkungan AI generatif terbaru, platform ini menghadirkan pengalaman adopsi AI yang efisien dan kuat bagi startup serta komunitas pengembang TI.

Bacaan terkait

1 komentar

 
GN⁺ 2025-06-02
Opini Hacker News

  • Menurut saya, kombinasi tensorflow lite dan mediapipe dulu sempat sangat bagus, tetapi selama 3 tahun terakhir terasa hampir ditelantarkan oleh Google. Mediapipe hampir tidak mendapat pembaruan yang berarti, dan banyak model yang sering dipakai juga sudah usang atau lambat. TF Lite memang mendukung NPU seperti Apple ANU, tetapi di mediapipe sama sekali tidak didukung. Selain itu, branding seperti MLKit, Firebase ML, TF lite, dan LiteRT juga terlalu campur aduk. Saat ini saya rasa pilihan yang lebih baik adalah memakai onnxruntime bersama library hugging face transformers atau transformers.js, atau menunggu sampai executorch lebih matang. Saya hampir tidak pernah melihat model SOTA terbaru yang secara resmi di-porting ke tensorflow lite / liteRT (SAM2, EfficientSAM, EdgeSAM, DFINE, DEIM, Whisper, Lite-Whisper, Kokoro, DepthAnythingV2, dll.); pada dasarnya semuanya berpusat pada pytorch, tetapi komunitas ONNX dan MLX tetap besar

  • Di https://github.com/google-ai-edge/gallery ada galeri kumpulan use case ML/GenAI yang berjalan langsung di perangkat. Dari sana model bisa dicoba atau digunakan secara lokal

  • Saya menganggap bagus bahwa solusi untuk ML on-device makin bertambah. Namun, saya masih ragu apakah saya akan langsung memakainya kecuali itu memang use case spesifik yang saya butuhkan. Tingkat kesulitan menambahkan model baru yang menerima input dan output arbitrer juga sulit diperkirakan. Saya selama ini memakai Onnx untuk inferensi model lintas perangkat, dan Onnx itu benar-benar low-level sehingga bobot apa pun yang diinginkan bisa diterapkan. Untuk banyak pekerjaan, Onnx bisa dibungkus dengan transformers.js sehingga pekerjaan berulang seperti decoding bisa dilewati begitu saja (tidak perlu repot mengimplementasikan beam search sendiri). Referensi yang lebih komprehensif, mirip dengan panduan yang disebut di atas, adalah https://github.com/huggingface/transformers.js-examples. Berbagai solusi yang saya sebut tadi juga bisa dilihat di https://ai.google.dev/edge/mediapipe/solutions/guide

  • Ini adalah TensorFlow Lite + MediaPipe yang dikemas ulang menjadi “brand” baru

    • Saya penasaran apakah ini teknologi yang dipakai di https://3d.kalidoface.com/. Fakta bahwa ini berjalan di perangkat sangat mengesankan. Bahkan lebih baik daripada cukup banyak motion capture komersial. Ditambah lagi, meskipun solusi ini sudah cukup matang, 3 tahun lalu malah sudah ditandai deprecated/unsupported. Sangat disayangkan Google tidak memanfaatkan atau mempublikasikan teknologi ini dengan cukup baik

  • Saya penasaran apakah ada yang pernah punya pengalaman memakai solusi ini. Saya sudah menghabiskan banyak waktu berjibaku mencoba mengekspor model pytorch kustom ke coreml, dan ada banyak hal yang tidak didukung, sering kena segfault lalu berhenti, serta berbagai error receh lainnya. Akan menyenangkan kalau ada yang bisa meyakinkan saya bahwa solusi ini tidak seberat itu perjuangannya

    • Saya menyelesaikan semua setup lalu menguji Gemma3 1B di Pixel 8a. Hal baiknya, itu bisa jalan hanya dalam beberapa menit, tetapi performanya buruk. Baru untuk sekadar menjawab pertanyaan saja parsing-nya tidak benar, bahkan tidak mencoba menjawab, dan bahasa Inggrisnya juga kacau. Pertanyaannya sederhana, soal “bagaimana model ini bisa cukup kecil untuk berjalan lokal di ponsel saya”, tetapi saya begitu kecewa sampai menyerah pada modelnya. Pada dasarnya ekspektasi saya terhadap AI memang tidak tinggi, tetapi ini tetap jauh lebih mengecewakan dari yang saya bayangkan

  • Saya sudah mengujinya sendiri, dan menurut saya ini murni ditujukan untuk menyusun ulang model pytorch menjadi model .tflite. Dalam kasus saya, saya menerapkannya pada model finbert kustom, dan ukuran modelnya hampir tetap sama. Saya mengonversi versi yang sudah diquantized, tetapi output-nya sangat berbeda. Seingat saya dokumentasinya memang ditujukan untuk model pytorch standar, misalnya keluarga torchvision.models. Jadi kalau modelnya dari keluarga seperti itu, mungkin hasilnya akan lebih baik. Sebagai catatan, yang saya coba ini sekitar 1 tahun lalu, jadi mungkin saja saya kebetulan lolos sebelum patch bug besar diterapkan

  • Ada info lebih detail di sini https://ai.google.dev/edge/mediapipe/solutions/guide, dan link open source-nya adalah https://github.com/google-ai-edge/mediapipe. Menurut saya ini adalah cara terpadu untuk mendistribusikan model AI yang benar-benar berjalan di perangkat (edge). Bisa dibilang posisinya seperti “JavaScript dalam AI stack”. Saya penasaran siapa target pengguna teknologi ini

    • Beberapa model mediapipe cukup berguna, tetapi mediapipe sendiri adalah teknologi lama yang sudah ada sejak sekitar 2019. Fokusnya selalu pada menjalankan AI di edge, khususnya vision AI (misalnya pelacakan wajah). Hal seperti pelacakan wajah masih tetap berguna, tetapi untuk pengenalan gambar dan sejenisnya, dunianya sudah banyak berubah

    • Kalau bicara target audiens, saya rasa ini ditujukan untuk orang-orang yang ingin mendistribusikan model ML secara lintas platform. Terutama jika perlu mendukung kode tambahan yang tidak bisa diselesaikan hanya dengan runtime TFLite. Use case seperti LLM atau computer vision cocok untuk ini. Misalnya, jika ingin mendistribusikan pengenal gesture tangan, prosesnya bisa serumit ini: memproses awal gambar input ke color space dan ukuran tertentu, menyalin gambar ke GPU, menjalankan model TFLite untuk deteksi tangan, mengubah ukuran output, menjalankan model TFLite untuk pengenalan gesture, lalu memproses hasilnya menjadi output yang valid. Jika semua ini ingin didistribusikan ke iOS dan Android, maka di luar eksekusi TFLite sederhana masih ada banyak sekali kode pendukung. Pendekatan yang dipilih Google di Mediapipe adalah membungkus rangkaian pipeline seperti ini beserta node pemrosesan umum dalam bentuk library C++, lalu memakai hanya potongan yang dibutuhkan. Library ini bisa dikompilasi lintas platform dan juga menawarkan opsi akselerasi GPU. Saya rasa secara internal Google sempat mempertimbangkan apakah kemampuan seperti ini sebaiknya diperluas langsung ke runtime TFLite, atau dibuat sebagai library terpisah seperti Mediapipe. Kesimpulannya tampaknya TFLite difokuskan pada “komputasi tensor” itu sendiri, sementara pekerjaan yang lebih luas seperti LLM atau pemrosesan gambar dialihkan ke library terpisah

  • Saya penasaran apakah ini produk baru atau hanya semacam halaman marketing yang menyatukan teknologi MediaPipe yang sudah ada ke dalam satu narasi. Awalnya saya cukup antusias, tetapi saya bingung sebenarnya “Google AI Edge” itu apa. Lalu setelah mencari-cari, tampaknya ini adalah rebranding dari https://developers.googleblog.com/en/introducing-mediapipe-solutions-for-on-device-machine-learning/ yang dirilis sekitar 2 tahun lalu

  • Ini adalah solusi yang tertinggal beberapa tahun dibandingkan apa yang sudah tersedia lewat framework seperti CoreML atau TimyML. Dan Google terlebih dulu harus menunjukkan bahwa mereka tidak akan langsung membuang produknya sendiri hanya demi laporan pendapatan kuartal berikutnya

    • Sebenarnya itu tidak tepat. Kedua produk itu benar-benar berbeda. CoreML terbatas pada ekosistem Apple, dan memungkinkan model PyTorch dikonversi ke CoreML (.mlmodel) lalu dijalankan dengan akselerator di iOS/Mac. Google Mediapipe adalah library C++ besar untuk menjalankan flow ML lintas platform (ios/android/web). Ini juga mencakup Tensorflow Lite (sekarang LiteRT), dan berperan sebagai graph processor yang juga bisa menangani pekerjaan praproses umum seperti resize gambar. Memang ada meme bahwa Google suka menghentikan produk terlalu cepat, tetapi Mediapipe itu open source, jadi setidaknya itu patut diakui. Saya pernah membuat produk computer vision iOS/Android dengan fork Mediapipe, dan meskipun sangat kompleks, hasilnya berjalan baik. Ini adalah solusi lintas platform yang sama sekali tidak mungkin dibuat hanya dengan CoreML

    • TensorFlow Lite sudah terbukti di miliaran perangkat selama beberapa tahun terakhir. Saya melihat solusi ini sebagai Mediapipe beserta semua itu yang disatukan lalu di-rebranding/diperluas. Google sudah serius berinvestasi di ML on-device selama lebih dari 5 tahun, jadi sepertinya tidak akan tiba-tiba dimatikan. Meski begitu, benar juga bahwa mereka terlalu sering mengganti nama hingga membingungkan

    • Bukankah bagian AI generatif itu memang belum ada di ekosistem Apple? Kalau bisa seperti yang dibuat Google, menurut saya itu akan jadi perubahan besar. Secara pribadi, fitur terkait chat terlihat sangat berguna. Dan saya juga bertanya-tanya, Swift Assist itu sebenarnya kapan keluar

    • Ini cuma tensorflow lite yang di-rebranding. Saya sudah memakainya di edge device sejak 2019. CoreML juga bagus

    • CoreML ada karena Apple melihat TensorFlow lalu membuat fungsi serupa sendiri alih-alih berkolaborasi. TF sudah ada sejak 2 tahun sebelumnya dan sudah menjadi framework yang sukses ketika CoreML diumumkan. Sampai sekarang pun CoreML pada dasarnya cuma antarmuka BLAS proprietari, dan tidak digunakan luas di industri. Sudut pandang developer iOS itu menakutkan

  • Pekerjaan seperti ini juga bisa dilakukan dengan WebLLM