Apple perkenalkan chip M5 yang secara drastis meningkatkan performa AI

• Chip M5 menanamkan Neural Accelerator di setiap inti GPU, meningkatkan kecepatan komputasi AI menjadi lebih dari 4x dibanding M4
• Menggabungkan GPU 10-core, Neural Engine 16-core, dan bandwidth memori terpadu 153GB/s untuk meningkatkan performa secara signifikan baik pada model AI on-device maupun pemrosesan grafis
• Ditanamkan pada MacBook Pro 14, iPad Pro, dan Apple Vision Pro, sehingga sangat meningkatkan kecepatan workflow berbasis AI, model difusi, dan eksekusi model bahasa
• Melalui ray tracing engine generasi ke-3 dan Dynamic Caching generasi ke-2 yang baru, menghadirkan performa grafis hingga 45% lebih tinggi pada game dan aplikasi 3D
• Apple menekankan bahwa chip M5 adalah platform inti untuk era AI, yang menandai lompatan generasi berikutnya Apple Silicon baik dari sisi efisiensi energi maupun performa

---

Ikhtisar chip M5

• Chip M5 adalah Apple Silicon SoC generasi berikutnya yang dibuat dengan proses 3-nanometer generasi ke-3 dan didesain ulang sepenuhnya untuk beban kerja AI
• Dengan mengintegrasikan Neural Accelerator pada masing-masing dari 10 inti GPU, chip ini mencapai performa komputasi AI yang meningkat 4x dibanding M4 dan 6x dibanding M1
• CPU 10-core yang terdiri dari 4 performance core dan 6 efficiency core memberikan performa multithread 15% lebih cepat dibanding M4
• Neural Engine 16-core, media engine yang ditingkatkan, dan bandwidth memori 153GB/s memperkuat efisiensi sistem secara keseluruhan

Inovasi pada performa AI dan grafis

• Arsitektur GPU generasi berikutnya pada M5 mengoptimalkan semua blok komputasi untuk AI, dan Neural Accelerator di dalam GPU menangani komputasi AI secara langsung
  • Kecepatan eksekusi aplikasi AI on-device seperti Draw Things dan LM Studio meningkat secara besar-besaran
• Kombinasi ray tracing engine generasi ke-3 dan Dynamic Caching generasi ke-2 meningkatkan performa pemrosesan grafis sebesar 30% dibanding M4 dan 2,5x dibanding M1
• Pada game kelas berat seperti Cyberpunk 2077, chip ini mewujudkan dukungan 120Hz dan transisi frame yang mulus
• Aplikasi yang dibangun di atas framework resmi Apple (Core ML, Metal Performance Shaders, Metal 4) dapat langsung merasakan peningkatan performa
• Developer dapat mengontrol Neural Accelerator di dalam GPU secara langsung melalui Metal 4 Tensor API

Neural Engine dan Apple Intelligence

• Neural Engine 16-core bekerja sama dengan Neural Accelerator pada CPU dan GPU untuk menangani komputasi AI berkecepatan tinggi
• Di Apple Vision Pro, fitur AI kompleks seperti konversi foto ke 3D dan pembuatan Persona bekerja lebih cepat
• Kecepatan respons model bahasa berbasis Apple Intelligence dan alat Image Playground meningkat, sehingga pengalaman AI on-device menjadi lebih baik
• Developer yang memanfaatkan model Apple Intelligence juga dapat merasakan peningkatan performa berkat Neural Engine M5 yang lebih kuat

Arsitektur memori

• Bandwidth memori terpadu 153GB/s meningkat 30% dibanding M4 dan lebih dari 2x dibanding M1
• Dengan struktur single memory pool, CPU, GPU, dan Neural Engine dapat mengakses memori besar yang sama
• Dalam konfigurasi memori 32GB, aplikasi kreatif kelas berat seperti Photoshop dan Final Cut Pro dapat berjalan mulus bersamaan dengan model AI skala besar
• Memaksimalkan performa model AI besar dan rendering grafis real-time

Efisiensi energi dan lingkungan

• M5 meningkatkan performa secara besar-besaran sambil tetap mempertahankan efisiensi daya kelas terbaik di industri
• Sebagai bagian dari Apple 2030 Initiative, Apple mendorong pengurangan emisi karbon di seluruh proses produksi, material, listrik, dan transportasi
• Perangkat yang dibekali chip M5 memenuhi standar efisiensi energi dan meminimalkan konsumsi energi sepanjang siklus hidup produk

Makna keseluruhan

• Chip M5 melambangkan bahwa evolusi Apple Silicon telah beralih secara penuh ke era komputasi berpusat pada AI
• Melalui desain terintegrasi GPU dan Neural Engine, performa AI on-device berkembang ke arah yang mengurangi ketergantungan pada cloud dan meningkatkan kemandirian komputasi perangkat pribadi
• Melalui hal ini, Apple sedang mendefinisikan ulang MacBook Pro, iPad Pro, Vision Pro sebagai platform kreatif AI generasi berikutnya

[tsboard]

Terlihat seperti perjuangan Apple yang telat dalam AI, tapi tetap saja rasanya menarik untuk dinantikan haha

[GN⁺]

Komentar Hacker News

• Dirangkum dalam tabel

  Chip	Process	CPU Cores	GPU	Neural Engine	Bandwidth memori	Memori terpadu	Geekbench single/multi
  M1	5 nm G1	8: 4P+4E	7–8	16-core	68.25 GB/s	16 GB	2346 / 8346
  M2	5 nm G2	8: 4P+4E	8–10	16-core	100 GB/s	24 GB	2586 / 9672
  M3	3 nm G1	8: 4P+4E	8–10	16-core	100 GB/s	24 GB	2965 / 11565
  M4	3 nm G2	10: 4P+6E	8–10	16-core	120 GB/s	32 GB	3822 / 15031
  M5	3 nm G3	10: 4P+6E	10	16-core	153 GB/s	≤32 GB	4133 / 15437 (9 core)

• Menarik bahwa memori terpadu turun dari 32GB ke 24GB. Dugaan saya, mungkin Apple merasa chip M4 memberi terlalu banyak memori pada model standar, jadi ingin memperlebar diferensiasi dengan chip Pro/Max. Tapi melihat Macbook Pro terbaru juga mendukung opsi 32GB, bisa jadi angka 24GB pada M5 di tabel itu hanya typo
• M3 Max saya rasanya akan segera terasa usang, tapi upgrade ke M6 atau M7 Max nanti sepertinya bakal sangat keren
• Saya penasaran apakah proses 2nm TSMC memang mundur ke tahun depan, atau memang dari awal direncanakan untuk 2026
• Skor Geekbench multicore M5 itu adalah untuk versi 9-core. Skor untuk 10-core sepertinya belum dipublikasikan
• MacBook Pro M5 masih memakai chip WiFi Broadcom, tapi iPad Pro M5 dibekali chip N1 dan C1X, jadi cukup bikin berharap.
  Rasanya Apple sedang melakukan hal-hal yang luar biasa keren di sisi hardware.
  Tim software benar-benar perlu sadar. M1 sendiri sudah sangat kuat sampai mayoritas pengguna sebenarnya tidak perlu upgrade.
  Tapi OS baru (Tahoe) justru tiba-tiba membuat M1 Air saya melambat bahkan saat mengerjakan hal yang sama seperti selama bertahun-tahun.
  Kalau ini sengaja dibuat lambat, benar-benar mengecewakan
  • Setelah update Tahoe, laptop kerja M2 Pro 32GB saya berubah jadi selambat PC tua di rumah.
    Pointer mouse bahkan terasa seperti teleport. Menonaktifkan transparansi di pengaturan aksesibilitas juga tidak membantu, malah terasa lebih parah
  • Ada banyak hal terkait software Apple belakangan ini yang benar-benar bikin frustrasi.
    • Saya memakai iPhone sebagai remote Apple TV, dan UI yang tidak konsisten seperti kontrol volume yang tiba-tiba tidak berfungsi itu bermasalah
    • Metode autentikasi yang memaksakan Face ID sangat menjengkelkan. Di area ski jelas Face ID tidak bisa dipakai, tapi saya juga tidak bisa langsung memasukkan kata sandi
    • Di Apple TV, untuk kontrol orang tua pun tetap harus lewat layar pemilihan PIN dulu. Akan jauh lebih nyaman kalau langsung membuka kolom input PIN
    • Saat memakai iPhone sebagai remote juga, saya berharap langkah persetujuan orang tua bisa dibuat otomatis lanjut
  • Tim hardware Apple melakukan hal-hal yang nyaris seperti mukjizat, tapi software yang menjalankannya tidak memenuhi ekspektasi. Rasanya seperti dua perusahaan yang sepenuhnya berbeda berjalan sendiri-sendiri
  • Sulit menilai apakah chip WiFi di MacBook Pro M5 dan N1, C1X di iPad Pro itu benar-benar bagus. Pengalaman saya dengan modem seluler Apple juga sering kurang memuaskan.
    Menurut saya pernyataan bahwa M1 itu sangat powerful agak dibesar-besarkan. Performa per watt memang luar biasa, tapi dalam throughput komputasi nyata, Ryzen 9 7945HX bisa sekitar 3x M1 Max, dan Intel Core Ultra 7 265k sekitar 3,5x, jadi jelas mampu menangani pekerjaan jauh lebih banyak
  • Kalau Apple benar-benar memisahkan organisasi hardware dan software sepenuhnya, lalu membuat hardware lebih standar dan macOS/iOS jadi salah satu dari sekian banyak opsi, saya akan sangat antusias. Memang tidak realistis, tapi boleh juga bermimpi
• Hardware Apple memang mengesankan dari sisi spesifikasi, tapi saya tidak ingin membeli Mac yang tidak bisa menjalankan Linux secara langsung. Saya tidak suka ekosistem terkendali buatan Apple.
  Masalah ARM vs x86 juga tetap ada. Kalaupun muncul distro yang kompatibel, penggunaan desktop itu harus bisa menjalankan berbagai software dan game, dan ARM masih punya banyak keterbatasan. Untuk laptop ini sudah jadi pilihan yang cukup masuk akal, tapi desktop ARM yang benar-benar bebas dan layak pakai sehari-hari menurut saya masih jauh
  • Sebenarnya Linux juga berjalan cukup baik di Mac. Pernah coba Parallels atau VMware Fusion? Khususnya Parallels mendukung akselerasi 2D/3D/video, suspend, integrasi dengan host OS, dan lain-lain dengan baik.
    Kalau itu bukan selera Anda, fitur container native baru di Tahoe juga bisa langsung menjalankan container dari dockerhub dan sebagainya.
    Dan soal ekosistem macOS yang disebut seperti 'walled garden', instalasi aplikasi tetap bebas, dan lewat homebrew hampir semua software open-source maupun non-open-source bisa dipakai
  • Saya terus mencari laptop ARM yang bisa menjalankan Linux dengan baik. Produk Lenovo juga saya perhatikan, tapi dukungan Linux-nya masih kurang
  • Untuk mendapat servis resmi dari Apple, justru rasanya seperti sengaja di-upsell. Mereka bisa menagih $1500 hanya untuk ganti keyboard. Apple juga masih kurang serius dalam daur ulang dan penghentian model lama. Dan tetap saja lingkungannya berpagar, dengan pilihan yang bisa saya lakukan di perangkat saya sendiri terbatas
  • Mac M1 dan M2 berjalan cukup baik dengan Asahi Linux (M3, M4, M5 belum didukung)
  • Saya rasa sekarang kecepatan komputasi itu sendiri sudah tidak terlalu berarti. Selama hukum Wirth tidak bekerja terlalu parah, saya rasa tidak masalah
• Lagi-lagi tidak terlihat informasi konkret soal peningkatan Neural Engine.
  Hampir semua informasi terkait Apple Neural Engine (ANE) berasal dari dokumentasi resmi Apple atau reverse engineering (repo Github), dan saya menduga kali ini juga ada beberapa peningkatan untuk menangani performa transformer.
  Makalah Apple tentang riset transformer juga cukup menarik:
  • transformers on the Neural Engine
  • vision transformers
    Dari sisi software, MLX sudah banyak membantu, tapi menurut saya masih ada ruang untuk perbaikan lebih lanjut. Kita perlu melihat seberapa besar peningkatan di M5 Max
    Sebesar apa pun peningkatannya, itu tidak akan diterapkan ke generasi sebelumnya, dan yang paling disayangkan adalah mereka tetap bersikeras menyediakan hanya 8GB memori terpadu
  • Betul, belakangan ini (sekitar satu hingga dua tahun terakhir) semua model dasar Mac mulai dari 16GB. MacBook Air juga begitu
  • Ada situasi yang memang membutuhkan performa komputasi lebih cepat, khususnya vision language model dengan context besar. Sepemahaman saya, ANE lama dioptimalkan untuk pekerjaan convolution dan efisiensi komputasi, sedangkan neural accelerator baru cenderung bergerak ke arah fleksibilitas dan performa
  • Setahu saya MLX masih belum memakai Neural Engine. Saya malah berharap mereka meninggalkan Neural Engine dan fokus ke unit metal/tensor di GPU
  • Dugaan saya, kali ini mereka seperti NVIDIA dengan menambahkan systolic array di dalam core GPU. Itu tampak seperti satu-satunya cara untuk membuat kecepatan MLX 4x lebih tinggi dibanding M4
  • Memori terpadu pada akhirnya selalu lebih sempit daripada vram. VRAM 16GB saya pun terasa kurang. Selain itu, Apple membuat storage terlalu mahal, jadi kalau saya ingin AI lokal sungguhan bebas menganalisis kalender, email, foto, catatan, dan sebagainya, terbentur fakta bahwa pilihan kapasitas hanya 256GB sampai 1TB
• Di Apple silicon ada beberapa unit hardware yang bisa melakukan matrix multiplies
  1. CPU SIMD/NEON
  2. CPU AMX coprocessor (M1~M3)
  3. CPU SME (M4)
  4. GPU (metal compute shader + simdgroup-matrix + mps matrix)
  5. Neural Engine (CoreML advisory)
     Dan tampaknya di M5 ada tambahan 'Neural Accelerator' pada setiap core
  • Ini justru masuk akal karena tiap unit memanipulasi titik yang berbeda dalam hierarki memori. Dari sudut pandang programmer juga positif, karena latensi dan throughput bisa dikendalikan secara rinci
  • Untungnya library seperti Pytorch mengabstraksikan kompleksitas seperti ini dengan baik. Kalau harus membangun semuanya sendiri dari nol, pasti jauh lebih rumit
  • Saya penasaran apakah software Apple sendiri (misalnya Final Cut) memanfaatkan unit matrix multiply yang 'redundan' ini secara bersamaan untuk memaksimalkan performa. Karena OS pada dasarnya membagi resource antar banyak software dalam multitasking, akan menarik juga kalau eksploitasi simultan ekstrem seperti ini dicoba
  • Saya tidak yakin ini desain yang aneh. Operasi seperti matmul sekarang memang sudah menjadi primitive yang sangat umum dipakai. Mac Quadra tahun 1994 juga punya banyak unit floating-point, sedangkan Mac tahun 1984 tidak
  • Saya penasaran apakah semua unit matrix multiply itu bisa dipakai sekaligus. Mungkin tidak praktis, tapi seru juga kalau dicoba. CPU juga punya struktur superscalar, jadi mungkin beberapa operasi bisa berjalan paralel
• Chip iPad Pro dibinning berdasarkan kapasitas storage
  • 512GB ke bawah: 3 P-cores + 6 E-cores
  • 1TB ke atas: 4 P-cores + 6 E-cores
    Sumber
  • Membuat perbedaan performa berdasarkan tier kapasitas storage adalah pemasaran yang benar-benar menjijikkan, apalagi mengingat Apple menetapkan harga storage sangat mahal
• Melihat Apple belakangan ini, saya mendapat kesan tim hardware bekerja jauh lebih baik daripada tim software
  • Ini bukan pertama kalinya dalam sejarah Apple. Saat transisi dari 68k ke PowerPC pun performa hardware melonjak besar, tapi software tidak mampu mengikutinya. Sistem inti nyaris masih berjalan lewat emulasi sampai OS 9, dan protected memory maupun preemptive multitasking juga masih sangat kurang. Proyek Taligent dan Copland pun gagal, lalu akhirnya mereka mengakuisisi NeXT dan merilis Mac OS X. Sampai saat itu software adalah pembeda utama Mac, tapi bahkan itu pun terasa menurun setelah transisi ke Intel, lalu sejak Mac M1 hardware kembali terasa memimpin
  • Software cenderung meluas cakupannya, menumpuk fitur yang tidak perlu, dan banyak aplikasi dibiarkan terbengkalai. Sebaliknya, hardware dibatasi oleh biaya produksi sehingga cakupannya lebih terbatas. Apple sekarang butuh seseorang yang berani memangkas cakupan dan produk software yang tidak perlu
  • Rasanya sebagian besar software yang bukan untuk datacenter/cloud makin lama makin buruk. Orang-orang yang sudah terbiasa dengan kondisi ini kini jadi pengambil keputusan, jadi saya rasa ke depan akan makin parah
  • Sebenarnya bukan cuma sekarang; dari dulu kualitas software Apple juga ya begitu-begitu saja. iTunes lama misalnya sangat lambat menulis perubahan tag file satu per satu, dan selain visual design serta design guide yang kuat, saya tidak terlalu merasa itu software yang luar biasa
  • Apple pada dasarnya adalah perusahaan hardware. Mereka memberi OS konsumen secara gratis, sementara Microsoft selama ini lebih fokus menjual OS. Sekarang mereka bahkan mendesain paket SoC sendiri, jadi menurut saya kekuatan hardware itu akhirnya benar-benar terlihat
• Ini pertama kalinya saya melihat Apple secara langsung memakai istilah "AI" dalam pemasaran. Sebelumnya mereka hanya memakai istilah "machine learning" atau "Apple Intelligence"
  • Pada akhirnya Apple juga menyerah pada hype. Istilah 'machine learning' terasa seperti harga diri terakhir Apple, jadi agak disayangkan
  • Tentu saja, kalau Apple mengadopsi AI yang lebih umum seperti diffusion model/LLM, saya tidak masalah kalau itu disebut AI. Meski begitu, saya tetap merasa dalam PR mereka setidaknya seharusnya juga menyebut Apple Intelligence
  • Tidak sepenuhnya tanpa harapan. Bisa saja AI dipakai sebagai singkatan dari Apple Intelligence, kalau mau berimajinasi sedikit
  • Saya ingin percaya bahwa AI yang dipromosikan Apple sebenarnya berarti Apple Intelligence
• Dalam pengumuman M5, Apple mengatakan komputasi GPU untuk AI menjadi 4x lebih cepat dibanding M4, tapi mungkin itu berdasarkan kondisi lab. Pada praktiknya, baik M5 di iPad maupun MacBook Pro sama-sama mengklaim "performa AI 3,5x lebih cepat", namun dalam demo nyata yang ditunjukkan, peningkatannya hanya sekitar 1,2x sampai 2,3x dibanding M4. Saya penasaran tes seperti apa yang menghasilkan angka 3,5x itu
  • M5 kabarnya menambahkan dukungan operasi FP4. Jadi kemungkinan selisih kecepatan besar muncul pada model quantized Q4 (presisinya jauh lebih rendah daripada BF16)
  • Bukan hanya Apple; vendor pesaing juga sering membandingkan dengan chip dua generasi sebelumnya, jadi saya bisa memahami angka-angka yang dibuat terlihat lebih besar seperti ini
• Saya penasaran apakah chip M5 kali ini juga dibekali "Memory Integrity Enforcement" (fitur keamanan yang diperkenalkan di A19/A19 Pro)
  • Karena memakai core CPU yang sama, kemungkinan besar fitur itu juga didukung

[xguru]

Sampai-sampai AI ditekankan dalam siaran persnya, rasanya juga terasa semacam urgensi dari Apple.
Mengintegrasikan GPU dan akselerator jaringan saraf untuk meningkatkan kecepatan komputasi AI memang terobosan besar, jadi performa on-device sepertinya akan naik drastis. Sekarang kuncinya adalah seberapa bagus model yang akan dijalankan di atasnya, hehe