Google AI Edge Gallery - aplikasi galeri LLM sepenuhnya offline open source

• Aplikasi iOS/Android yang dioptimalkan untuk menjalankan AI generatif di perangkat, sehingga LLM bisa dijalankan dalam lingkungan sepenuhnya offline dan privat tanpa koneksi internet
• Dukungan resmi untuk keluarga Gemma 4 ditambahkan — memungkinkan pengujian kemampuan penalaran, logika, dan kreasi tingkat lanjut tanpa pengiriman ke server
• Agent Skills: melampaui percakapan dengan LLM untuk menjadikannya asisten yang proaktif
  • Memperluas kemampuan LLM dengan alat seperti pencarian fakta Wikipedia, peta interaktif, dan kartu ringkasan visual
  • Mendukung pemuatan skill modular dari URL dan penelusuran skill komunitas di GitHub Discussions
• Thinking Mode: memungkinkan melihat secara visual proses penalaran model langkah demi langkah saat chat AI berlangsung (saat ini terbatas pada model yang didukung seperti keluarga Gemma 4)
• Ask Image: pengenalan objek multimodal, teka-teki visual, dan pembuatan deskripsi detail dengan memanfaatkan kamera dan galeri foto
• Audio Scribe: transkripsi dan terjemahan suara secara real-time dengan model di perangkat
• Prompt Lab: workspace khusus untuk menguji prompt sambil menyesuaikan parameter seperti temperature dan top-k secara rinci
• Mobile Actions : otomatisasi kontrol perangkat offline berbasis model fine-tuning FunctionGemma 270m
• Tiny Garden : mini game bahasa alami
• Model Management & Benchmark: mendukung pengunduhan model open source, pemuatan model kustom, dan pengujian benchmark per perangkat keras
• LiteRT runtime ringan + integrasi Hugging Face untuk penjelajahan model dan eksekusi optimalisasi
• Mendukung Android 12+, iOS 17+ / dapat diinstal dari Google Play , App Store / untuk lingkungan tanpa akses Google Play, APK juga dapat diinstal langsung dari rilis GitHub
• Lisensi: Apache-2.0 / Bahasa pengembangan: Kotlin

[lastorder]

https://github.com/google-ai-edge/gallery/issues/437

Sepertinya kompatibilitas Exynos kurang baik. Di Galaxy Quantum 5 (A55), ada masalah yang membuatnya menjawab dengan mengulang karakter Tionghoa tanpa henti.

[GN⁺]

Komentar Hacker News

• Model ini benar-benar mengesankan. Saat ini saya menjalankannya di Mac, jadi sekarang bisa berjalan secara lokal juga di iPhone membuat saya ingin mencobanya
  Saya sempat mencoba dealignment (melepas sensor) model ini dengan skrip heretic, dan hasilnya benar-benar bagus. Saya bahkan membuat repo gemma4-heretical sendiri untuk merapikannya
  Bisa juga dibuat versi MLX, yang sedikit lebih cepat di Mac, tetapi tidak berjalan di Ollama (mungkin bisa di LM Studio)
  Di M4 Macbook Pro 128GB berjalan sangat baik, dan kemungkinan besar 64GB juga cukup lancar. Jika memorinya lebih kecil, tahap kuantisasi perlu diturunkan
  Saya suka model lokal yang tidak diselaraskan seperti ini. Daripada disensor oleh platform eksternal, saya bisa bereksperimen dengan bebas di perangkat saya sendiri. Jadi memungkinkan percakapan yang “sensitif tetapi produktif”
  Saya sempat mencoba menghubungkannya ke OpenClaw tetapi mengalami masalah. Tentu pendekatan seperti ini bisa disalahgunakan, tetapi saya rasa jumlah pengguna yang berniat baik jauh lebih banyak

  • Saya menjalankan model MLX di Mac dengan omlx, dan itu bekerja sangat baik
  • Saya melihat skrip abliterate, tetapi tidak begitu paham apa tepatnya yang dilakukannya. Saya penasaran jenis percakapan seperti apa yang jadi mungkin dilakukan
  • Saya sempat memakainya untuk coding di Mac, tetapi tidak terasa lebih mengesankan dibanding Qwen. Mungkin lebih baik di area tertentu, tetapi sejauh ini saya belum yakin
  • Saya belum membuat apa pun dengan platform agent skills ini, tetapi cukup menarik. Di Android, sandbox memuat index.html di WebView dan berinteraksi lewat string I/O yang terstandarisasi. Rasanya seperti bentuk awal dari sandbox agen edge computing masa depan
  • Saya penasaran apakah Anda bisa memberi contoh “percakapan sensitif” seperti apa yang ingin Anda coba dengan LLM lokal

• Aplikasi ini keren, tetapi belum benar-benar menunjukkan seluruh potensi model E2B
  Saya membuat AI audio dan video real-time dengan Gemma E2B di M3 Pro, lalu mempostingnya di /r/LocalLLaMA dengan nama Parlor. Responsnya cukup bagus
  Saya menjalankannya di Macbook, tetapi menurut benchmark ini, iPhone 17 Pro juga seharusnya sanggup

  • Parlor benar-benar keren. Apalagi dibagikan gratis, itu luar biasa. Menurut saya ini contoh pemanfaatan local LLM yang sangat bagus

• Saya mencoba menjalankan model di iPhone dan hasilnya lumayan bagus. Memang masih kalah dari Gemini di cloud, tetapi tetap cukup berguna
  Fitur “mobile actions” memungkinkan kontrol perangkat seperti menyalakan senter atau membuka peta, jadi cukup menarik. Akan sangat bagus jika terintegrasi dengan Siri Shortcuts
  Dari sudut pandang pembuat aplikasi untuk guru, saya sangat senang melihat model lokal makin umum. Karena regulasi privasi, eksekusi di sisi klien itu penting. iOS dan Chrome juga punya API model on-device, tetapi kualitasnya masih rendah

  • Bagi saya, halusinasi (hallucination) model ini terasa seperti kembali ke masa lalu. Meski begitu, tetap mengesankan bahwa performa seperti ini bisa berjalan secara lokal. Semoga model setingkat beberapa tahun lalu pun bisa terus dijalankan secara lokal ke depan

• Saya rasa masa depan AI yang realistis hanya ada dua — berjalan gratis secara lokal di perangkat, atau layanan cloud berbiaya tinggi
  Opsi kedua hanya akan dipakai untuk pekerjaan yang bagi manusia lebih mahal atau lebih lambat. Model Gemma 4 menunjukkan kemungkinan Siri masa depan yang terintegrasi dengan iPhone dan macOS, semacam asisten seperti di film “Her”

  • Saya penasaran kenapa Anda berpikir cloud akan menjadi lebih mahal. Perusahaan besar sudah menghasilkan untung di tahap inferensi. Hardware khusus cloud lebih efisien, dan menjalankannya di ponsel hanya akan menguras baterai
  • Jika model gratis bisa dijalankan di perangkat konsumen, bukankah penyedia cloud juga bisa menawarkan kualitas lebih baik sekaligus nilai tambah tambahan?
  • Meski Anda menjalankan model lokal di ponsel yang dikendalikan vendor, itu tetap bukan otonomi lokal dalam arti yang sebenarnya
  • Ini bukan langkah pertama menuju masa depan yang Anda impikan
  • Saya sungguh ingin bertanya, setelah menonton “Her”, apakah Anda benar-benar berharap masa depan seperti itu datang?

• Saya membagikan tautan aplikasi versi bahasa Inggris
  Google AI Edge Gallery untuk iOS
  Versi Android
  Ini adalah aplikasi demo untuk proyek Edge milik Google

• Sebagian besar model masih belum bisa diunduh. Semoga segera dirilis

• Ada yang mempertanyakan apakah halaman web App Store ini terlihat palsu. Teks header tampak berpiksel, latar belakang berkedip, dan kualitas ikonnya juga rendah

  • Halaman versi AS yang sama juga kualitas desainnya rendah. Sekarang tampaknya desain bukan lagi kekuatan utama Apple
  • Dari URL yang mengandung /nl/, sepertinya itu versi Belanda. Halaman utama App Store default memang sedikit lebih baik, tetapi tetap terasa aneh
  • Mungkin ini masalah kualitas lokalisasi. Di iPhone saya, kalau dibuka lewat aplikasi App Store tampilannya baik-baik saja
  • Di Firefox gejala seperti itu tidak muncul
  • Di Firefox pada GrapheneOS, tampilannya dirender dengan sempurna

• Saya menguji model Gemma-4-E2B-it di iPhone 16 Pro dan mendapatkan sekitar 30 token per detik. Ponselnya memang menjadi cukup panas, tetapi performanya mengesankan. Saya berencana menerapkannya juga ke aplikasi saya

• Anak saya mulai memakai model 2B di Android. Di ponsel Motorola murah pun berjalan baik, dan dia memakainya untuk latihan membaca dan menulis bahasa asing. Ringannya model ini benar-benar mengejutkan

• Model-model baru ini sangat mengesankan. AI Edge Gallery berjalan di GPU, tetapi NPU pada chip terbaru jauh lebih cepat
  Misalnya, chip A16 punya Neural Engine 35 TOPS, sedangkan GPU-nya ada di kisaran 7 TFLOPS. Qualcomm juga kurang lebih sama

  • Performa sebesar itu di chip hemat daya seperti ini benar-benar mengejutkan. Saya menantikan versi seri M. Rasanya era TPU super cepat di desktop dan ponsel akan segera datang