Tensor G3 di Pixel 8 Pro Mengalihkan Tugas AI Generatif ke Cloud

 (notebookcheck.net)
1 poin oleh GN⁺ 2023-10-23 | 1 komentar | Bagikan ke WhatsApp
  • Fitur AI generatif baru di Pixel 8 Pro tidak diproses langsung di Tensor G3, melainkan lewat server Google, sehingga terlihat adanya jarak antara pemasaran chip Google yang berpusat pada AI dan pengalaman nyata pengguna
  • AI Wallpaper dan Magic Editor memerlukan koneksi internet terus-menerus, sehingga poin utamanya adalah pekerjaan yang diminta pengguna diproses di cloud, bukan di dalam perangkat
  • Google memperkenalkan Tensor G3 sebagai chip “AI-first” dan menekankan machine learning on-device serta fondasi untuk AI generatif, tetapi sebagian fitur utamanya justru jauh dari eksekusi lokal
  • Notebookcheck menambahkan video verifikasi singkat yang menunjukkan bahwa Magic Editor dan AI Wallpaper memerlukan pemrosesan berbasis cloud dengan koneksi internet yang berkelanjutan
  • Berdasarkan Geekbench 6, meski Tensor G3 memakai arsitektur CPU terbaru, performanya lebih dekat ke Snapdragon 7+ Gen 2 daripada Snapdragon 8 Gen 2, sehingga promosi fitur AI dan perdebatan performa chip sama-sama mencuat

Peluncuran Pixel 8 Pro dan kritik terhadap Tensor G3

  • Pixel 8 Pro dipandang sebagai kasus peluncuran yang lebih berat dari biasanya untuk standar seri flagship Google
  • Arun Maini, yang dikenal sebagai @Mrwhosetheboss, pernah memberi Pixel 7 Pro gelar “Best Smartphone of 2022”, tetapi tidak memberikan pujian setingkat itu kepada Pixel 8 Pro
  • Ada juga elemen yang dinilai positif pada seri Pixel 8
    • desain
    • finishing frosted glass di bagian belakang Pixel 8 Pro
    • software premium
    • performa foto diam
    • fitur berbasis AI seperti Best Photo, Magic Editor, dan Audio Magic Eraser
  • Kekurangan yang disorot mencakup transisi zoom saat berpindah lensa yang terasa canggung dan stabilisasi video yang tampak artifisial
  • Kritik terbesar berfokus pada prosesor Tensor G3 di seri Pixel 8

Ketergantungan fitur AI generatif pada server

  • Maini menilai fitur AI generatif baru seperti AI Wallpaper dan Magic Editor menuntut komputasi yang lebih besar daripada kemampuan pemrosesan yang bisa diberikan SoC Tensor G3
  • Fitur-fitur tersebut membutuhkan koneksi internet terus-menerus
    • semua pekerjaan pengguna harus melewati server Google
    • karena tidak berjalan di dalam perangkat, pengalaman pengguna terasa cukup lambat hingga mudah disadari
  • Inti kutipan Maini adalah sebagai berikut
    • fitur untuk membuat sesuatu dengan AI generatif memerlukan koneksi internet permanen
    • pekerjaan diproses melalui server Google
    • hal ini membuat orang sadar bahwa Tensor G3 bukan berada di level flagship

Benturan dengan pemasaran Google untuk Tensor G3

  • Google memosisikan Tensor G3 sebagai chip “AI-first” dan menonjolkan kemampuan pemrosesan AI
  • Dalam blog resmi Google, Monika Gupta, Google VP of Product Management, menyampaikan hal-hal berikut
    • banyak inovasi AI terbaru dibangun di atas kemampuan komputasi setingkat data center
    • agar kekuatan transformatif AI bisa dipakai dalam kehidupan sehari-hari, AI harus dapat diakses dari perangkat yang digunakan setiap hari
    • Tensor G3 adalah chip silikon kustom terbaru Google
  • Google menjelaskan bahwa Tensor G3 memperluas batas machine learning on-device
    • disebut membawa hasil terbaru dari riset Google AI langsung ke Pixel 8 dan Pixel 8 Pro
    • dinyatakan bahwa tujuan Tensor bukan kecepatan atau metrik performa tradisional, melainkan memajukan pengalaman komputasi mobile
    • dijelaskan bahwa subsistem utama telah ditingkatkan dan menyiapkan fondasi untuk AI generatif on-device
    • mencakup CPU Arm terbaru, GPU yang ditingkatkan, ISP dan Imaging DSP baru, serta TPU generasi berikutnya yang dirancang untuk menjalankan model AI Google

Isu AI on-device dilihat dari penjelasan Arm

  • Cara Pixel 8 Pro menangani tugas AI generatif bertabrakan dengan pesan Google yang menekankan AI on-device
  • Google cenderung meremehkan pentingnya metrik performa, tetapi Arm menekankan peran CPU dan GPU dalam tugas AI
  • Arm menjelaskan bahwa ketika komputasi AI berpindah dari cloud ke lokasi tempat data dikumpulkan, teknologi CPU dan MCU Arm menangani sebagian besar workload AI·ML di edge dan endpoint
  • Menurut penjelasan Arm, CPU adalah pusat dari semua sistem AI, baik menangani AI sendiri maupun bersama prosesor pendamping seperti GPU atau NPU untuk tugas tertentu
  • Dalam konteks ini, ada perbedaan antara penjelasan Google yang memberi kesan bahwa tugas AI ditangani terutama oleh TPU dan penjelasan Arm

Pemblokiran benchmark dan hasil Geekbench 6

  • Selama masa embargo ulasan, pemasangan aplikasi benchmark populer melalui Play Store tidak mudah dilakukan
  • Pembatasan ini berlanjut setelah peluncuran, tetapi Google kemudian mencabut pemblokiran setelah artikel Notebookcheck terbit
  • Dalam benchmark lintas platform Geekbench 6 dari Primate Labs, Tensor G3 menunjukkan skor CPU yang lebih rendah dari perkiraan meski menggunakan arsitektur CPU terbaru
  • Performa Tensor G3 terlihat lebih dekat ke chip kelas menengah Snapdragon 7+ Gen 2 daripada chip flagship saat ini, Snapdragon 8 Gen 2
  • Video pendek yang ditambahkan lewat pembaruan mengonfirmasi bahwa fitur AI baru Pixel 8 Pro, termasuk Magic Editor dan AI Wallpaper, memerlukan koneksi internet yang berkelanjutan

Bacaan terkait

1 komentar

 
GN⁺ 2023-10-23
Komentar Hacker News

  • Google mengatakan: “Pada chip Tensor G3 baru, kami telah meningkatkan semua subsistem utama untuk membuka jalan bagi AI generatif on-device”
    Ini jelas merupakan ungkapan yang masih menyisakan ruang untuk mengelak, dan tidak harus berarti semua AI generatif benar-benar berjalan di Tensor G3. Mereka juga bisa berargumen bahwa pekerjaan yang dilakukan di G3 adalah persiapan untuk chip masa depan. Meski begitu, menjalankan AI generatif pada SoC mobile, terutama secara on-device dengan performa dan konsumsi daya yang layak, masih terlihat cukup berat

    • Di iOS ada aplikasi yang menjalankan model sejenis Stable Diffusion secara lokal di perangkat
      https://apps.apple.com/ca/app/draw-things-ai-generation/id64...
      Chip Tensor sepertinya juga punya performa yang cukup untuk melakukan hal yang sama, tetapi tampaknya mereka menghindari eksekusi lokal karena efisiensinya rendah
    • Saya tidak tahu mengapa ini menjadi keluhan utama. Embargo pascarilis untuk menyembunyikan performa sebenarnya dari konsumen adalah masalah yang jauh lebih besar

  • Jika melihat kutipan Google, mereka mengatakan “Tensor bukan soal kecepatan atau metrik performa tradisional, melainkan untuk mendorong pengalaman komputasi mobile ke depan… membuka jalan bagi AI generatif on-device… memiliki TPU generasi berikutnya yang dirancang khusus untuk menjalankan model AI Google”
    Kalau begitu, mengapa perlu koneksi internet? Saya penasaran apakah ini gagal di menit-menit terakhir sehingga terpaksa dirilis seperti ini, atau sejak awal memang hanya kalimat iklan

    • Sambil mengatakan “Tensor bukan soal kecepatan atau metrik performa tradisional”, di [1] mereka juga mengatakan “Pixel 8 dan Pixel 8 Pro dilengkapi Google Tensor G3, chip Google yang paling cepat, efisien, dan aman… semua komponen utama telah ditingkatkan untuk peningkatan performa dan efisiensi… jumlah model machine learning on-device telah lebih dari dua kali lipat sejak 2021, dan kompleksitas serta kecanggihannya juga meningkat”
      Ini terdengar cukup banyak berbicara soal performa
      [1] https://store.google.com/intl/en/ideas/articles/google-tenso...
    • Kemungkinan besar begitu. Jika performa chip lebih rendah dari harapan, tinggal blokir penggunaan aplikasi benchmark, lalu katakan kepada media bahwa sejak awal mereka memang tidak peduli pada kecepatan. Masalah selesai
    • Chip on-device untuk sebagian tugas AI cukup berbeda dari kartu grafis/GPU/akselerator kelas server high-end yang memakai ratusan watt untuk menjalankan AI generatif
      Kondisi terkini AI generatif kelas bawah pun kira-kira masih berupa menjalankan model yang dioptimalkan di GPU kelas desktop dengan hasil yang tidak terlalu bagus. Ponsel sulit melakukan itu. Banyak machine learning sudah berjalan di perangkat dan makin banyak yang dipindahkan ke sana, tetapi AI generatif tampaknya belum sampai tahap itu
    • Cukup jelas. Sebagian tugas machine learning cukup mudah dilakukan di ponsel, misalnya speech recognition. Sebagian tidak, misalnya inpainting
      Google memang memakai ungkapan yang agak licin, tetapi bukan hal mengejutkan bahwa model machine learning yang membutuhkan GTX 4090 tidak berjalan di ponsel
    • Alurnya persis sama seperti saat negative latency Stadia, dan itu tidak pernah benar-benar terwujud sampai Stadia ditutup

  • Saat memakai Magic Editor, apakah ada yang benar-benar melihat traffic jaringan untuk memastikan pemrosesannya dialihkan ke luar? Atau ini kesimpulan dari fakta bahwa koneksi internet diperlukan?
    Apakah tidak mungkin internet hanya diperlukan untuk mengambil model baru, sementara pemrosesannya tetap dilakukan di perangkat?

    • Magic Editor, yaitu tombol pelangi di Google Photos, hanya berfungsi jika cloud backup diaktifkan, jadi sepertinya memang begitu
    • Ini terlihat sebagai jawaban yang paling masuk akal, tetapi tampaknya tidak terlalu mendapat perhatian di sini

  • Sampai taraf tertentu masuk akal. AI generatif sangat mahal
    Namun generatif hanyalah salah satu kategori tugas AI, dan prediksi/inferensi kemungkinan besar adalah area utama penggunaan Tensor. Di Magic Eraser, “menemukan objek dalam foto” bisa dilakukan di perangkat, sementara “menentukan apa yang harus diisi setelah objek dihapus” bisa dilakukan di server

    • Ada inferensi dan pelatihan, dan generatif juga inferensi

  • Kalau dialihkan ke cloud, prosesor AI Tensor G3 itu sebenarnya dipakai untuk apa?

    • Dipakai untuk beberapa tugas non-generatif seperti speech recognition, tetapi chip lain juga bisa melakukan tugas semacam itu
      Satu-satunya bagian yang membuat Tensor G3 terlihat lebih baik mungkin hanya karena menghindari kebiasaan Qualcomm menghentikan dukungan chip smartphone konsumen lebih awal
    • Saya juga tidak tahu apakah ia mendukung akselerasi hardware untuk pekerjaan HTTP
    • Kredibilitas untuk pemasaran

  • Menurut jawaban AI Google, Google Pixel 8 Pro dapat menjalankan model AI generatif secara lokal di perangkat, tetapi tidak semuanya
    Google mengumumkan pada acara Made by Google Oktober 2023 bahwa chip Tensor G3 kustom di Pixel 8 Pro dapat menjalankan versi distilasi dari model pembuatan teks dan gambar Google. Model seperti ini dapat menggerakkan fitur seperti penyuntingan gambar dan smart reply Gboard. Namun beberapa tugas AI generatif, seperti menjalankan model bahasa besar seperti Bard, masih membutuhkan daya komputasi yang terlalu besar untuk dijalankan secara lokal di smartphone, sehingga dialihkan ke cloud
    Contoh yang dapat berjalan lokal yang disebutkan adalah Magic Eraser, Zoom Enhance, Best Take, Audio Magic Eraser, Gboard Smart Replies, dan ringkasan AI di Google Recorder. Katanya, jika chip Tensor membaik, lebih banyak fitur AI generatif di Pixel mendatang dapat berjalan on-device ʘ ‿ ʘ

  • Bukan “Tensor” yang meng-offload sesuatu, melainkan aplikasi Android yang meneruskan pekerjaan itu ke Google Cloud. Saya kurang paham apa kaitannya dengan SoC

    • Siapa yang membuat aplikasi Android itu?
    • Lalu mengapa aplikasi-aplikasi itu tidak memakai mesin AI lokal?

  • Begitu melihat judulnya, saya langsung teringat Juicero
    Bagaimana mungkin sesuatu diiklankan sebagai on-device tetapi langsung mengirim data ke tempat lain?

  • Bukankah ini hal yang sudah jelas? Kalau fitur generatif berkualitas tinggi berjalan on-device, justru itu akan menjadi lompatan besar

  • Saya rasa tidak masalah kalau “fitur AI generatif yang benar-benar harus membuat sesuatu dengan AI, seperti membuat AI Wallpaper atau Magic Editor, memerlukan koneksi internet permanen… terlalu lamban sehingga terus terasa bahwa itu bukan dijalankan on-device”
    Alasan AI generatif menjadi bagus adalah karena ukurannya menjadi sangat besar dan sangat boros sumber daya. Bahkan pada GPU konsumen seharga lebih dari 1000 dolar pun tidak benar-benar cepat. Mengecilkan pekerjaan generatif seperti ini agar sesuai dengan lingkungan on-device kecil, padahal tahu hasilnya akan jauh lebih buruk, terasa seperti pemborosan waktu dan tenaga yang luar biasa. Namun dengan begitu, tetap menjadi pertanyaan apa sebenarnya pekerjaan yang dikuasai Tensor di edge, dan ini pertanyaan yang cukup mengusik karena vendor chip seperti AMD, Qualcomm, dan ARM juga memasukkan jaringan saraf besar serta Tensor core

    • Apa pun yang sensitif terhadap latensi, secara harfiah cocok untuk pemrosesan edge. Saat koneksi tidak sempurna, pengenalan suara off-device menjadi pengalaman yang buruk sekali
      Bayangkan di Photoshop Anda mengeklik sebuah objek dan AI mencari batasnya, tetapi setiap kali mengeklik, gambar harus dibundel dan diunggah ke cloud, lalu untuk setiap seleksi Anda menunggu penjadwalan, pemrosesan, dan pengembalian selama 5 detik. Fokus pengenalan objek berbasis machine learning di aplikasi kamera juga tidak masuk akal jika cloud melacak objek di viewfinder dengan jeda 3 detik
    • Meski dianggap tidak masalah, itu berarti prosesornya lemah dan tidak mampu melakukan hal yang diiklankan. Dari sisi performa, G3 lebih buruk daripada Snapdragon Gen 2 dan mungkin lebih dekat ke Gen 1. Saya juga tidak yakin konsumsi baterainya sebanding, sementara Snapdragon Gen 3 akan segera keluar
    • Ada pengenalan suara, deteksi wake word, pengenalan objek, autocomplete, dan sebagainya
      Khususnya deteksi wake word adalah proses menjalankan convolutional neural network yang relatif kecil secara terus-menerus di atas jendela tetap, jadi efisiensi daya sangat penting
    • Jika “keajaiban” ini diiklankan sebagai on-device, maka itu tidak baik-baik saja
      Tepat sebelum peluncuran Pixel 8, setelah membaca makalah RealFill[0] dan Break-A-Scene[1] dari para peneliti Google lalu mencoba cepat-cepat mengimplementasikan ensemble model, saya berharap Tensor core G3 telah melompat maju seperti core pemrosesan bahasa alami dan pengenalan konteks pada Moto X 2013[2], atau akan memberikan performa inferensi yang mengejutkan bagus seperti Coral[3], edge TPU yang dikembangkan Google. Moto X menawarkan implementasi yang lebih baik daripada 95% perangkat seluler saat ini untuk Active Display, pengenalan gestur, dan pengenalan suara di lingkungan bising; Coral juga luar biasa, tetapi karena kelangkaan chip, sifat perusahaan yang berubah-ubah, dan keluarnya mereka dari IoT, produksi perangkat kerasnya dialihkan ke ASUS pada 2022
      Intinya, asumsi tentang performa inferensi pada perangkat keras seharga lebih dari 1000 dolar itu pada dasarnya keliru. Melihat mereka bersandar pada kata populer “generatif”, tampaknya mereka mengambil pelajaran yang salah dari influencer Twitter atau dari upaya penerapan large language model terbaru. Bahkan pada perangkat seluler, perangkat keras khusus yang disesuaikan untuk tugas tertentu pernah memungkinkan dan memang benar-benar dikembangkan. Jika mereka tidak bisa memenuhi persyaratan performa, daya, dan waktu pemrosesan, seharusnya mereka menyusun ulang materi promosinya daripada mengekspos diri dengan cara yang bisa berujung pada gugatan class action terkait perangkat keras
      [0] https://realfill.github.io/
      [1] https://omriavrahami.com/break-a-scene/static/paper/Break-A-...
      [2] https://en.wikipedia.org/wiki/Moto_X_(1st_generation)#Hardwa...
      [3] https://coral.ai/