Ringkasan Google Web AI Summit 2024: AI sisi klien untuk developer

• Pada 18 Oktober 2024, Google menggelar Web AI Summit pertamanya
• Di sisi klien, model machine learning di dalam browser dapat digunakan untuk menghadirkan inferensi berlatensi rendah bahkan saat offline, penghematan biaya, perlindungan privasi, dan fitur lainnya

Ringkasan sesi pengumuman utama

• Transformers.js: machine learning mutakhir untuk web

  • Transformers.js adalah library JavaScript yang secara fungsional setara dengan library Python Transformers milik Hugging Face, dan dapat digunakan langsung di web
  • Mendukung lebih dari 1.000 model pra-latih, mencakup beragam tugas dan modalitas seperti teks, gambar, dan suara
  • Pengguna dapat memilih model pra-latih atau menjalankan model kustom langsung di browser
  • Dukungan WebGPU memungkinkan pemanfaatan fitur GPU modern untuk menjalankan model dengan cepat dan efisien

• API Web Neural Network (WebNN): masa kini dan masa depan

  • API WebNN adalah API baru yang diusulkan sebagai standar web, sebagai alat untuk menjalankan tugas machine learning secara cepat dan efisien di sisi klien
  • Menyediakan kemampuan akselerasi AI di dalam browser menggunakan WebAssembly dan WebGPU
  • Mendukung akselerator hardware seperti CPU, GPU, dan NPU agar tugas AI dapat dijalankan di berbagai perangkat
  • Membahas perkembangan terbaru API, dukungan perangkat, kompatibilitas framework, dan implementasi browser

• Teknologi Web AI PC dari Intel

  • Intel memanfaatkan API WebNN untuk menyediakan akselerasi web ML di sisi klien, sehingga eksekusi berkinerja tinggi dimungkinkan di CPU, GPU, dan NPU
  • Saat ini tersedia sebagai versi developer preview di browser Chrome dan Edge
  • Terintegrasi dengan ONNX Runtime Web sehingga dapat digunakan di berbagai framework machine learning
  • Melalui demo dan umpan balik pengguna awal, Intel menunjukkan performa yang “mendekati native” serta potensi pengalaman web baru

• ml5.js: machine learning yang ramah web

  • ml5.js adalah library open source yang dibangun di atas TensorFlow.js dan dirancang agar machine learning lebih mudah diakses
  • Menyediakan antarmuka yang sederhana dan intuitif untuk seniman, creative coder, dan pelajar
  • Mewarisi filosofi p5.js dan Processing untuk meningkatkan aksesibilitas kode dan mempermudah proses belajar
  • Mencakup berbagai fungsi seperti pengenalan gambar, analisis teks, dan estimasi pose, sehingga pemula pun dapat memakainya dengan mudah

• WebLLM: mesin inferensi LLM berkinerja tinggi di dalam browser

  • WebLLM adalah mesin inferensi berkinerja tinggi yang memungkinkan model bahasa besar (LLM) berjalan langsung di browser
  • Memanfaatkan akselerasi GPU melalui WebGPU untuk memberikan performa inferensi yang cepat
  • Semua komputasi dilakukan di sisi klien, sehingga privasi lebih terlindungi dan tidak memerlukan pengaturan
  • Menyediakan antarmuka bergaya OpenAI API sehingga integrasi terstandarisasi dimungkinkan, dan mendukung berbagai use case seperti aplikasi chat serta pembuatan JSON terstruktur

• Meningkatkan aplikasi LLM di dalam browser dengan LangChain

  • LangChain adalah framework untuk mengembangkan aplikasi yang memanfaatkan LLM kecil yang berjalan di browser
  • Untuk mengatasi keterbatasan model kecil, LangGraph.js digunakan guna merancang aplikasi berbasis state dan menyediakan teknik prompt yang dioptimalkan
  • Menyajikan metodologi untuk memanfaatkan keunggulan LLM lokal seperti latensi rendah dan privasi, sambil mengatasi masalah performa yang terbatas

• Visual Blocks: prototyping visual untuk pipeline AI

  • Visual Blocks adalah platform pemrograman visual yang memungkinkan prototyping cepat pipeline AI melalui antarmuka drag-and-drop sederhana
  • Mendukung augmentasi data dan pengujian secara real-time, serta pengembangan solusi kreatif melalui berbagai node kustom dan pipeline
  • Mendemonstrasikan beragam aplikasi AI seperti grafis interaktif, rantai LLM, computer vision, dan solusi multimodal
  • Mendorong kontribusi komunitas untuk membangun ekosistem pipeline ML yang lebih kaya

• Ikhtisar fitur AI bawaan Chrome

  • Membagikan status terkini Prompt API dan API tugas tingkat tinggi (ringkasan, penulisan ulang teks, dll.) beserta umpan balik pengguna awal
  • Menjelaskan berbagai aplikasi yang memanfaatkan fitur AI bawaan Chrome serta rencana ke depan
  • Memperkenalkan optimasi dan peningkatan API untuk performa tinggi dan stabil

• TensorFlow.js dan contoh penerapan di industri barang konsumsi

  • Kasus perusahaan besar barang konsumsi di Brasil yang menggunakan TensorFlow.js untuk meningkatkan strategi pemasaran di dalam toko
  • Memanfaatkan teknologi AI untuk melakukan identifikasi dan analisis produk secara real-time
  • Proyek ini dirilis sebagai open source sehingga dapat digunakan oleh perusahaan lain, lalu berkembang ke berbagai kasus penerapan di industri

• Pengalaman menggunakan API bawaan Chrome

  • Menjelaskan pengalaman mengembangkan aplikasi AI menggunakan API Chrome serta pelajaran yang didapat
  • Memperkenalkan teknik optimasi performa aplikasi berbasis AI dan prompt tuning
  • Melalui contoh aplikasi Synonym Finder, dibagikan cara penggunaan Prompt API yang fleksibel beserta tips praktis

• Potensi pemanfaatan AI pada ekstensi web

  • Ekstensi Chrome dapat mengontrol browser, mengamati konten web, dan menambahkan UI, sehingga menawarkan ekstensibilitas yang berguna bila digabungkan dengan kemampuan AI
  • Menjelaskan contoh ekstensi berbasis AI yang saat ini terdaftar di Web Store serta kemungkinan ke depannya
  • Memperkenalkan cara meningkatkan pengalaman browsing dan produktivitas melalui integrasi AI dan ekstensi Chrome

• Inovasi aksesibilitas layanan kesehatan melalui WebAI

  • Dengan menggunakan teknologi WebAI, IncludeHealth menyediakan terapi fisik secara virtual sehingga pasien dapat menerima perawatan yang dipersonalisasi kapan saja dan di mana saja
  • Mendobrak hambatan biaya dan aksesibilitas, membuka kemungkinan agar lebih banyak pasien bisa mendapatkan perawatan
  • Memanfaatkan data yang dipersonalisasi untuk memberikan perawatan yang lebih akurat dan efektif

• Simple ML untuk Google Sheets

  • Simple ML, yang tersedia sebagai add-on Google Sheets, memungkinkan pengguna melakukan tugas machine learning langsung di dalam spreadsheet
  • Menggunakan WebAssembly, JavaScript, dan AI bawaan Chrome untuk menyederhanakan tugas machine learning yang kompleks
  • Mendukung developer lain agar dapat dengan mudah membangun solusi ML mereka sendiri melalui library open source

[brain1401]

Suka JS