Eksekutif Apple Silicon bicara soal permintaan AI untuk Mac mini dan masa depan on-device

 (macrumors.com)
1 poin oleh GN⁺ 4 jam lalu | 1 komentar | Bagikan ke WhatsApp
  • Seiring meningkatnya permintaan akan perangkat terpisah untuk menjalankan agen AI dalam waktu lama, Mac mini dan Mac Studio semakin mendapat perhatian sebagai desktop untuk pengembang
  • Pekerjaan berbasis agen membutuhkan sistem yang terpisah dari mesin kerja utama, dapat dikendalikan langsung oleh pengguna, dan bisa berjalan 24 jam sehari, 7 hari seminggu
  • Banyak alat AI yang bersifat Mac-first atau Mac-only, dan Mac juga makin umum di kalangan pengembang laboratorium riset frontier AI, sehingga posisi ekosistem Mac makin menguat
  • Brooks memandang AI berbasis agen bukan sekadar masalah GPU, melainkan persoalan desain chip secara menyeluruh yang mencakup eksekusi LLM, pemanggilan tool, dan pemrosesan workflow
  • Apple mengaitkan AI on-device dengan privasi, keamanan, dan biaya inferensi, serta memperkirakan eksekusi hybrid di mana perangkat dan cloud berbagi peran

Permintaan AI agent yang mengalir ke Mac mini dan Mac Studio

  • Doug Brooks, senior product manager Apple Silicon, membahas strategi chip Apple dan permintaan AI dalam wawancara The Deep View menjelang WWDC 2026
  • Apple melihat "incredible demand" untuk Mac mini dan Mac Studio
  • Untuk workload berbasis agen, syarat berikut dinilai penting
    • sistem yang dapat dikendalikan langsung oleh pengguna
    • lingkungan yang terpisah dari mesin utama yang digunakan
    • perangkat yang dapat berjalan 24 jam sehari, 7 hari seminggu
  • Brooks menilai Mac mini sebagai "amazing system" dalam kondisi seperti ini
  • Banyak tool AI hadir sebagai Mac-first atau Mac-only, dan Mac juga disebut umum digunakan di laboratorium riset frontier AI

AI on-device yang dibidik Apple Silicon

  • Brooks tidak melihat AI berbasis agen semata sebagai pekerjaan yang berpusat pada GPU
    • Tidak cukup jika GPU hanya menangani eksekusi LLM
    • Berbagai bagian chip juga terlibat dalam pemanggilan tool dan pekerjaan sekitar workflow
    • Struktur ini selaras dengan kekuatan Apple Silicon
  • Kekuatan Apple terkait AI terhubung dengan keputusan desain chip yang dibuat sebelum LLM seperti ChatGPT muncul
    • Neural Engine dirancang untuk operasi matriks yang hemat daya
    • Akselerator jaringan saraf yang kurang dikenal di dalam CPU menangani pekerjaan yang sensitif terhadap waktu seperti suara
    • Baru-baru ini, Apple juga menambahkan akselerator jaringan saraf ke GPU untuk memperluas performa AI dari chip kelas iPhone hingga silikon besar untuk Mac
  • Apple mempertahankan pendekatan membuat chip yang disesuaikan untuk mesin tertentu dan mengembangkan hardware dan software secara bersamaan
  • Eksekusi AI menunjukkan arus perpindahan sebagian dari cloud ke lokal, dan Brooks menyebut kenaikan biaya inferensi akibat meningkatnya penggunaan token oleh agen, bersama privasi dan keamanan, sebagai latar belakangnya
  • Eksekusi AI di masa depan diperkirakan lebih dekat ke pendekatan hybrid daripada peralihan penuh ke lokal, di mana agen memutuskan tugas mana yang diproses di perangkat dan mana yang dikirim ke cloud
  • Di iPhone dan iPad, yang ditekankan adalah "transparent AI"
    • Ini merujuk pada fitur yang bekerja diam-diam di seluruh sistem operasi dan aplikasi pihak ketiga tanpa secara terang-terangan menampilkan diri sebagai AI
    • Generator gambar Draw Things yang berjalan di iPhone, iPad, dan Mac disebut sebagai contoh
    • SwingVision, yang menganalisis pertandingan tenis dan pickleball secara real-time dengan kamera iPhone, juga termasuk sebagai kasus
  • Brooks menggambarkan laju perkembangan AI saat ini sebagai "just crazy" dan mengatakan sulit memprediksi keadaan setahun lagi, bahkan tiga bulan atau satu bulan ke depan

Bacaan terkait

1 komentar

 
GN⁺ 4 jam lalu
Pendapat di Hacker News

  • Apple sejauh ini hampir belum menghadirkan pengalaman AI yang menarik, tetapi saya tetap melihat kemungkinan besar dalam 5 tahun ke depan Apple akan menjadi penyedia AI yang dominan
    Jika ada satu atau dua kemajuan lagi pada chip, model, atau keduanya, perangkat Apple kelas menengah pun akan bisa menjalankan model lokal yang cukup bagus secara gratis. Pada saat itu, kombinasi privasi, biaya, dan latensi tampaknya akan sulit dikalahkan oleh OpenAI/Anthropic/Google
    Saya mencatat ini agar bisa dipuji atau diejek 5 tahun lagi

    • Justru saya lebih suka Apple tidak mengubah seluruh bisnisnya menjadi berpusat pada AI
      Sekarang sudah agak melelahkan. Di pekerjaan, karena memakainya demi kebutuhan praktis, bagian yang menarik dan menyenangkan jadi berkurang, dan kalau memakainya sebanyak itu di luar pekerjaan, sepertinya akan terasa sama
    • Ada dua alasan besar mengapa inferensi lokal akan sulit bersaing dengan cloud untuk sementara waktu
      Pertama, sebagian besar pekerjaan LLM yang berguna diproses secara paralel. Mac Mini bisa menjalankan satu thread inferensi LLM pada satu waktu, tetapi cloud bisa menjalankan puluhan thread dan melakukan batch secara efisien di seluruh armada hardware
      Kedua, hardware inferensi yang lebih cepat seperti Cerebras atau Groq tidak bisa dijalankan secara lokal. Keunggulan throughput token per thread yang 5x atau lebih sulit diremehkan, dan jika ditambah keunggulan multi-thread, itu menjadi pukulan telak bagi LLM lokal
      Inferensi lokal tetap punya peran. Jika menangani pekerjaan yang sangat sensitif, atau ingin membuat percakapan seksual maupun gambar NSFW dengan model tanpa sensor, lokal adalah satu-satunya pilihan. Apple dan perusahaan lain tampaknya juga akan terus menjalankan banyak pekerjaan berguna secara lokal, seperti saran penyuntingan kalimat, pengenalan suara, sintesis suara, dan manipulasi gambar; seiring hardware lokal membaik, fitur-fitur ini juga akan makin baik
      Namun untuk sebagian besar pekerjaan LLM, cloud tampaknya akan unggul sangat lama, mungkin selamanya
    • Integrasi machine learning yang halus di aplikasi Photos cukup bagus. Identifikasi tanaman, pengenalan wajah, penghapusan latar belakang, pencarian teks OCR, bahkan pencarian tulisan tangan pun terintegrasi dengan baik
    • Saya rasa hybrid akan datang lebih dulu daripada semuanya lokal atau semuanya online
      Kontrol atau delegasi komputer ditangani model lokal, sementara pekerjaan yang membutuhkan penalaran, perencanaan, dan akses pengetahuan yang kuat ditangani model online. Saya akan senang kalau salah, tetapi menurut saya model tumbuh lebih cepat daripada hardware
    • Pada April 2023 saya pernah menulis, “kita semua harus membeli Mac Studio spek penuh, RAM 128GB, 20 core CPU, banyak core GPU dan Neural”
      Kita terlambat sekaligus terlalu awal
      https://news.ycombinator.com/item?id=35527692

  • Jika Apple merancang Private Cloud Compute sebagai tempat eksekusi khusus milik individu, saya rasa mereka juga bisa menjual mesin dengan harga mulai 10.000 dolar
    Pada akhirnya memang perlu ada jalur turun ke mesin 2.500 dolar, tetapi celah seperti ini tampaknya sulit dilakukan oleh merek konsumen selain Apple
    [1] https://security.apple.com/blog/private-cloud-compute/

    • Model M3 Ultra Mac Studio yang stoknya habis dan memiliki bandwidth memori 800GB/s atau lebih sedang diperdagangkan di eBay seharga 24.000 dolar, jadi itu sangat mungkin
    • Ketika iCloud Drive masih dikembangkan, lewat tenaga penjualan yang datang ke perusahaan untuk memperkenalkan aplikasi medis iPad internal, saya pernah meminta Apple membuat hal seperti ini untuk iCloud
      Kalau ada Mac Pro rack-mount yang bisa dijadikan tujuan bagi perangkat “terkelola”, kami dengan mudah akan membayar 50.000 dolar, tetapi Apple sama sekali tidak memahami permintaan itu sendiri
    • Dulu setiap kali Mac baru keluar, saya dan rekan-rekan sering mencoba menyusun konfigurasi termahal
      Pada satu masa harganya mudah naik sampai enam digit dolar, tetapi seiring waktu makin turun
    • Apple cukup memusuhi pengguna profesional, jadi menurut saya tidak
    • Itu lebih dekat ke penggunaan enterprise. Sulit membayangkan use case dalam komputasi pribadi yang membenarkan mesin 10.000 dolar

  • Jika Anda hanya memakai software seperti Claude Code atau openclaw lewat API LLM atau langganan, tidak menjalankan model lokal, dan hanya ingin mendapatkan workflow “otak kedua” yang selalu menyala serta terhubung ke sistem file lokal, saya tidak yakin Mac mini benar-benar diperlukan
    Sepertinya itu bisa berjalan di Raspberry Pi atau laptop lama; saya penasaran apakah ada yang benar-benar sudah mencobanya

    • Saya agak tidak paham tren Mac mini
      Mungkin salah satu dari dua hal. 1) Orang mendengar “Mac bagus untuk AI”, lalu membelinya tetapi inferensinya sebenarnya lewat Claude, tanpa tahu bahwa selama tersambung internet, hair dryer pun bisa memanggil Anthropic API. 2) Orang ingin agen mereka punya gelembung biru iMessage
      Sulit dipercaya orang biasa melakukan inferensi di perangkat sebanyak itu sampai Mac Mini habis stok, dan sekalipun begitu, Mac mini bukan platform yang sangat bagus untuk tujuan tersebut
    • Untuk tujuan itu saja, Mac Mini tidak diperlukan, tetapi harganya cukup rendah dan kualitasnya bagus
      Orang yang membelinya mungkin tidak memakai seluruh performanya, tetapi mereka cenderung lebih mengutamakan kenyamanan daripada barang semurah mungkin
      Jika diasumsikan akan dipakai lama dan juga untuk hal lain, itu cukup bisa dibenarkan
    • Karena di Mac mini Anda bisa mengirim SMS lewat iMessage. Itu saja
    • Betul. Untuk tugas seperti menjalankan browser, sedikit ruang performa tambahan memang membantu, tetapi kalau ingin mengeluarkan sedikit uang, mini PC refurb atau merek seperti Minisforum dan GMKTec juga sudah cukup bagus
      Memori minimal 16GB, lebih baik 32GB jika memungkinkan
    • Kalau hanya memakai openclaw dan API, tidak perlu PC besar
      Saya menjalankan yang ringan di RPI4 8GB. Banyak orang menjalankan LLM lokal, dan untuk itu Mac berguna. Sejujurnya, menurut saya sulit mengalahkan value langganan OpenRouter dan panggilan API

  • Jika punya modal, saya ingin membuat appliance inferensi untuk rumah
    Konfigurasinya tidak punya periferal selain Ethernet: hanya unit komputasi terintegrasi CPU+GPU+memori, penyimpanan tambahan, motherboard, dan catu daya. Tanpa ornamen, hanya perangkat keras minimum yang diperlukan untuk menjalankan model seperti utilitas
    Panel depannya juga bagus kalau berupa display yang menunjukkan status seperti stereo Hi-Fi zaman dulu
    Kalau ditambahkan, saya membayangkan bentuknya seperti seri modul yang terdiri dari CPU RISC-V + GPGPU Vortex + memori

    • Di musim dingin bisa menghangatkan rumah, dan di musim panas bisa menghangatkan kolam renang
    • Itu terdengar seperti Mac mini/Studio yang hanya sedikit diubah tampilan luarnya
    • Bukankah itu yang dilakukan George Hotz di tiny? https://tinycorp.myshopify.com/
    • Di antara yang sudah ada, yang paling mendekati sepertinya LLM ASIC yang dirancang Taalas
      https://taalas.com/products/
      Sayangnya, chatbot perusahaan itu luar biasa cepat, tetapi justru tidak tahu apa-apa tentang perusahaan yang mengoperasikannya
      Bagaimanapun, ASIC untuk menjalankan diffusion language model secara lokal rasanya tidak buruk. Kalaupun suatu hari jadi usang, itu masih lebih baik daripada menyerahkan semuanya kepada perusahaan yang berjalan dengan dana ventura lalu menghilang di masa depan, atau lebih buruk lagi, menguasai pasar dan mengenakan tarif semaunya
    • Saya sedang memantau Tenstorrent untuk kegunaan ini
      Harganya sepertinya akan berada di antara platform memori terpadu dengan kepadatan memori tinggi dan GPU khusus tujuan tertentu
      Memang berada di batas yang masih masuk akal untuk rumah, tetapi menarik

  • Menjalankan model on-device di Mac cukup merepotkan
    Mulai dari mencari tahu apa yang akan berjalan—BF16, FP8, BF16+FP8, NVFP4, INT8, GGUF, dan sebagainya—saja, kalau mau dibilang halus, tidak jelas. Apple hampir tidak memberikan dukungan alat. Memang ada MLX, tetapi kalau tidak berniat mengonversi sendiri model ke format itu, Anda akan cukup tertinggal
    Aplikasi seperti LM Studio, Ollama, dan Draw Things memang menyederhanakan, tetapi tetap saja merepotkan

    • Saya tidak tahu persis apa yang merepotkan. Itu hanya proses belajar, dan dalam satu-dua hari akan terbiasa
      Rasanya orang lupa bahwa selama 50 tahun terakhir, melakukan berbagai hal dengan komputer itu membosankan dan rumit, dan hanya untuk membuatnya berjalan saja memakan banyak waktu. Komputer pertama saya RAM-nya 48KB, dan untuk bermain game harus memuat dari kaset selama 5 menit. Itu baru merepotkan
      Dibandingkan itu, LM Studio yang bisa mengunduh dan memuat model lalu memungkinkan kita mengobrol atau memasang agen terasa sangat mudah dan tidak melelahkan
    • Saya cukup sering memakai LM Studio, dan tim serta komunitas MLX biasanya mengunggah versi MLX dalam satu-dua hari setelah rilis model baru
    • Penasaran masalah apa yang dialami. Saya menjalankan beberapa agen Qwen Coder next secara lokal dan berjalan baik
    • Mengonversi model ke MLX secara harfiah hanya git clone lalu menjalankan mlx_lm.convert
      Setelah clone, itu pekerjaan 5 menit
    • Sebaliknya, saya cukup puas memakai LLM lokal dari antirez, yang terkenal dengan Redis ini
      [1] https://github.com/antirez/ds4

  • Intinya bukan inferensi AI, melainkan pemanggilan tool, pekerjaan aplikasi GUI desktop, dan menjalankan browser
    Belum ada model on-device yang cukup untuk melakukan pekerjaan nyata di Mac Mini kelas bawah. Namun untuk menjalankan beberapa browser dan aplikasi GUI, membeli Mac Mini jauh lebih baik daripada membayar container cloud yang lebih mahal dan performanya juga lebih buruk
    Browser tidak dirancang untuk berjalan di container Linux, dan paling baik berjalan di OS desktop bare-metal. M4 Mac Mini, dari sisi performa komputasi murni per dolar—yakni berdasarkan skor Geekbench—punya performa single-core lebih baik daripada VM mana pun yang bisa disewa di cloud

    • Berdasarkan harga aslinya, paket 4 unit adalah solusi yang sangat bagus untuk kebutuhan token per detik per dolar

  • Tautan yang diajukan seharusnya artikel editorial asli ini
    https://www.thedeepview.com/articles/how-apple-s-decade-long...

  • Pernyataan bahwa “menurut Doug Brooks, manajer produk senior Apple silicon di Apple, Mac mini dan Mac Studio Apple telah menjadi mesin yang disukai untuk menjalankan agen AI” sebagian besar adalah fenomena Amerika Serikat
    Di sekitar sini tidak ada Mac mini atau Mac Studio, hanya laptop ThinkPad dan MacBook yang terhubung ke hyperscaler

    • Entah yang dimaksud sekitar mana. Di Inggris, karena tarif listrik sangat tidak masuk akal, perangkat itu cukup populer sebagai salah satu opsi berdaya rendah untuk LLM lokal
      Kalau tidak berada di ranah LLM lokal, tentu saja tidak akan terlihat. Mirip seperti tidak pernah pergi ke lapangan tenis lalu berkata “tenis tidak populer di sini”

  • Seperti orang membeli mobil diesel karena lebih irit daripada bensin, di banyak negara orang membeli perangkat memori terpadu Apple karena tarif listrik sangat tinggi dan biaya operasionalnya lebih murah daripada konfigurasi Nvidia
    Jika pilihan memori terpadu non-Apple bertambah, banyak orang akan lebih memilih ke sana

  • Artikel ini adalah penulisan ulang dari https://www.thedeepview.com/articles/how-apple-s-decade-long...