Apple ingin AI berjalan langsung di perangkat kerasnya sendiri, bukan di cloud

Apple ingin menjalankan AI langsung di perangkat keras, bukan di cloud

• Melalui riset terbarunya, Apple mengungkap rencana untuk mengejar para pesaing di bidang kecerdasan buatan dengan menunjukkan cara menjalankan model bahasa besar di smartphone
• Makalah riset "LLM in a Flash" menawarkan solusi atas bottleneck komputasi saat ini dan merintis cara melakukan inferensi LLM secara efektif pada perangkat dengan memori terbatas
• Pendekatan ini membuka jalan bagi cara repositori data skala besar yang menggerakkan aplikasi seperti ChatGPT merespons pertanyaan pengguna, yakni melakukan inferensi

Riset AI Apple dan prospek pasar

• Apple menunjukkan langkah baru dalam riset AI, termasuk memungkinkan model pembangkit gambar Stable Diffusion berjalan di chip miliknya sendiri
• Produsen smartphone dan pembuat chip berharap fitur AI baru akan menghidupkan kembali pasar smartphone, dan menurut Counterpoint Research, lebih dari 100 juta smartphone berfokus AI diperkirakan akan dikirim pada 2024
• Meski Apple meluncurkan Siri pada 2011, ada persepsi bahwa perusahaan ini agak tersisih dari gelombang antusiasme terhadap kecerdasan buatan yang melanda Silicon Valley setelah peluncuran ChatGPT oleh OpenAI

Tantangan teknis dan privasi

• Menjalankan model AI besar seperti ChatGPT atau Bard milik Google di perangkat pribadi adalah tantangan teknis yang sangat besar, karena smartphone tidak memiliki sumber daya komputasi dan energi sebesar pusat data
• Jika masalah ini terpecahkan, asisten AI bisa merespons lebih cepat daripada cloud dan tetap berfungsi secara offline. Ini juga dapat membantu privasi karena data tidak perlu dikirim ke cloud untuk menjawab pertanyaan di perangkat pribadi

Kesimpulan makalah

• Para peneliti Apple menyatakan hal berikut dalam kesimpulan makalah

  “Riset kami tidak hanya memberikan solusi terhadap bottleneck komputasi saat ini, tetapi juga menetapkan preseden untuk riset di masa depan. Kami meyakini bahwa seiring ukuran dan kompleksitas LLM terus meningkat, pendekatan seperti pekerjaan ini akan menjadi hal yang esensial untuk memaksimalkan potensi LLM di berbagai perangkat dan aplikasi”

Opini GN⁺

• Riset Apple kali ini membuka kemungkinan untuk menghadirkan pengalaman AI yang lebih cepat dan lebih personal bagi pengguna smartphone.
• Mengingat kekhawatiran pengguna terhadap privasi, memproses data di perangkat pribadi alih-alih di cloud bisa menjadi alternatif yang menarik bagi banyak orang.
• Jika teknologi ini dikomersialisasikan, pengguna akan dapat memakai fitur AI canggih bahkan tanpa koneksi internet, sehingga kegunaan dan kenyamanan smartphone diperkirakan meningkat secara signifikan.

[GN⁺]

Komentar Hacker News

• Mengatakan bahwa Apple tertinggal di bidang kecerdasan buatan (AI) itu gila.

  • OpenAI memang sedang jadi sorotan, tetapi pencarian bergantung pada iklan tautan dan penjualan data, sehingga kurang menjanjikan bagi AI.
  • Saat ini AI "besar" terkendala oleh biaya cloud untuk pelatihan, dan para pemain besar sedang mati-matian memindahkan perangkat lunak ke perangkat keras.
  • OpenAI bekerja sama dengan mitra komersial di seluruh dunia sambil membicarakan AGI (kecerdasan umum buatan), tetapi itu tidak lebih realistis daripada mata uang kripto yang menggantikan bank sentral.
  • Sementara itu, Apple sudah lebih dari 4 tahun membenamkan neural processor di perangkatnya, dan fitur AI sudah dimasukkan ke dalam setiap kampanye pemasarannya.
  • Augmented reality VisionOS membuka ranah baru untuk utilitas AI, dengan sasaran bukan hanya hiburan tetapi juga pekerjaan saat kerja jarak jauh menjadi hal yang umum.
  • Apple adalah satu-satunya ekosistem yang aman dan menjaga privasi yang benar-benar ada.

• Senang melihat AI berjalan di perangkat keras sebagai bagian dari iOS terbaru.

  • Membagikan pengalaman ketika menerima pesan saat mengemudi dan Siri mampu menjelaskan isi foto dengan akurat.
  • Karena fitur ini dienkripsi end-to-end (E2E), kemungkinan identifikasi dilakukan secara lokal, bukan saat pesan dikirim.
  • Ini menarik sebagai pembaruan peningkatan kualitas, dan ada antusiasme terhadap kemungkinan pertumbuhannya saat AI bisa menangani lebih banyak pemrosesan di perangkat keras.

• Menyarankan untuk mencoba Mistral 7B di perangkat seluler.

  • Sudah mencoba aplikasi tersebut di iPhone 15 dan menilai performanya sangat baik.
  • Kekurangannya, aplikasi itu membutuhkan hampir seluruh memori ponsel; jika berpindah ke aplikasi lain lalu kembali, statusnya akan ter-reset dan model harus dimuat ulang dari awal.

• Dengan ponsel/perangkat yang kuat di dunia saat ini, menjalankan AI di perangkat terasa sebagai langkah berikutnya.

  • Menggunakan ponsel model 2021 dengan spesifikasi yang kuat, dan melihat Apple kemungkinan ingin memindahkan beban aplikasi AI yang mahal ke perangkat pengguna yang kuat seperti ini.
  • Ini terlihat sebagai kemenangan privasi bagi orang-orang yang tidak ingin data pribadi mereka dipakai untuk pelatihan, dan yang lebih suka punya kontrol atas model yang digunakan serta etika yang diikutinya.

• Library CoreML milik Apple sudah ada selama beberapa tahun dan mencakup model BERT.

  • Berharap iOS dan iPadOS akan menghadirkan model transformer yang lebih maju daripada BERT.
  • iPad Pro memiliki RAM 16GB, yang cukup untuk menjalankan model 13B.
  • Setelah membeli Mac Mini 32GB, terasa bahwa model yang bisa dijalankan telah meningkat pesat dalam 6 minggu terakhir.
  • Harapan terhadap masa depan sangat tinggi.

• Menarik bahwa AI berpotensi menciptakan siklus upgrade baru untuk smartphone.

  • Masih belum jelas apakah fitur AI benar-benar akan cukup untuk membenarkan upgrade, dan jika berdampak pada daya tahan baterai, proposisi nilainya mungkin tidak banyak berubah.

• Dalam situasi ketika AI menimbulkan risiko privasi, menjalankannya secara lokal terasa sebagai cara terbaik.

  • Ingin meningkatkan kemampuan kognitif 10 kali lipat dengan AI di masa depan, dan untuk itu informasi harus dipertukarkan dengan otak secara real-time.
  • Tidak ingin terhubung ke sinkronisasi data cloud sehingga pengiklan dan lembaga mata-mata bisa mengintip isi pikiran.

• Apple menghemat biaya pengoperasian infrastruktur untuk menyediakan opsi AI/ML kepada pengguna iPhone.

  • Ini menghemat biaya dengan mendistribusikan komputasi dan memanfaatkan biaya yang sudah dikeluarkan untuk pembuatan perangkat.
  • Ini juga memberikan privasi kepada konsumen karena data tidak meninggalkan ponsel.

• Penasaran bagaimana perusahaan seperti OpenAI akan merespons jika AI di perangkat menjadi arus utama.

  • Karena model bisnisnya berbasis akses API, mereka mungkin mulai menjual model offline.
  • Namun jika begitu, masalah pembajakan bisa muncul.

• Apple telah menyatakan niat yang jelas untuk menjalankan AI di perangkat, meskipun pada generasi terbaru mereka hampir tidak menambahkan ruang die secara bertahap untuk neural engine.

  • Ada beberapa kemungkinan penjelasan untuk hal ini, dan menarik mendengar sudut pandang orang yang lebih paham tentang mana yang benar.
  • Bisa jadi mereka menganggap perangkat keras yang ada sudah cukup kuat, atau pemanfaatan ANE belum cukup untuk membenarkan penambahan sumber daya.
  • Bisa juga mereka berencana menggeneralisasi kembali komputasi AI melalui hal-hal seperti operasi vektor.
  • Dalam skenario paling pesimistis, bisa jadi mereka menyimpan peningkatan besar itu untuk saat perlu memaksa upgrade.