Google Chrome menambahkan model AI Gemini Nano `window.ai` di dalam browser

• Mulai versi Chrome 127, model AI Gemini Nano tersedia untuk digunakan di browser melalui window.ai
• Situs demo chatbot dibuat menggunakan Next.js + Vercel AI SDK
• Contoh penggunaan

import { streamText } from "ai";  
import { chromeai } from "chrome-ai";  
  
const { textStream } = await streamText({  
  model: chromeai(),  
  prompt: "what is a large language model?",  
});   

[cosine20]

https://huggingface.co/wave-on-discord/gemini-nano
Sebagai referensi, file modelnya diekstrak beberapa waktu lalu.

[edunga1]

https://developer.chrome.com/docs/ai/built-in
Sepertinya perlu mengajukan permohonan terpisah untuk mencobanya.

[cometkim]

https://github.com/explainers-by-googlers/prompt-api

[GN⁺]

Komentar Hacker News

• Positif bahwa strategi AI Apple juga bisa diterapkan ke pengguna web dengan membundel fitur bawaan semacam ini di browser

  • Model lokal dapat digunakan untuk meningkatkan privasi dan keamanan
  • Jika Google mengimplementasikannya dengan baik, ini akan sangat menarik

• Saat Vercel mengumumkan window.ai, mereka menampilkan abstraksi mereka sendiri alih-alih API Chrome

  • API window.ai sangat sederhana sehingga tidak memerlukan wrapper
  • Contoh kode:

    const model = await window.ai.createTextSession();
    const result = await model.prompt("What do you think is the meaning of life?");
    

• Tidak bisa menentukan model pada API Google adalah cacat besar

  • Jika model terus di-upgrade, pengujian dan pemeliharaan akan menjadi sulit
  • Kode yang diusulkan:

    const supportedModels = await window.ai.getSupportedModels();
    if (supportedModels.includes("gemini-nano:0.4")) {
      const model = await window.ai.createTextSession("gemini-nano:0.4");
      // ...
    }
    

• Menjadi masalah jika situs web menggunakan CPU pengguna untuk pemrosesan LLM terdistribusi

• Dokumentasi publik untuk API window.ai masih kurang

  • Tidak jelas model Gemini Nano ini versi yang mana

• Dengan teknologi saat ini, model instruct kurang berguna dibandingkan model base

  • Diperlukan fitur seperti menjalankan LoRAs, mengatur temperature, dan menetapkan template prompt
  • Teknologinya berubah sangat cepat sehingga mungkin masih terlalu dini untuk diintegrasikan ke browser
  • Model sebaiknya dipisahkan dari antarmuka agar model lokal lain juga bisa digunakan

• Standardisasi masih kurang

  • Diperlukan pendekatan seperti WebNN dari Microsoft
  • Vendor lain juga perlu mewujudkan ini, seperti upaya mengekspos Metal milik Apple ke WebGPU

• Fitur "Create theme with AI" di Chrome tidak berbeda dari pemilihan tema acak

  • Ada rencana membuat API yang mengembalikan gambar acak dari pixabay

• Untuk model tujuan umum, semakin besar ukurannya semakin berguna

  • Model on-device yang di-fine-tune untuk tugas tertentu lebih akurat

• eval(window.ai("js code to remove all adds in the following page" + document.documentElement.outerHTML))