Apple menyetujui driver yang memungkinkan penggunaan Nvidia eGPU di Arm Mac

 (theverge.com)
4 poin oleh GN⁺ 17 hari lalu | 1 komentar | Bagikan ke WhatsApp
  • Driver ini dikembangkan oleh Tiny Corp, bukan Nvidia, dan dapat digunakan tanpa menonaktifkan System Integrity Protection (SIP) berkat persetujuan penandatanganan dari Apple
  • Driver harus dikompilasi langsung melalui Docker, sehingga bukan model plug-and-play yang umum
  • Menurut dokumentasi Tiny Corp, driver ini dirancang untuk menjalankan large language model (LLM)
  • Tiny Corp menyatakan bahwa Apple telah menyetujui driver untuk AMD dan Nvidia
  • Dengan ini, terbuka kemungkinan bagi pengguna Arm Mac untuk memanfaatkan external GPU (eGPU)
  • Persetujuan Apple terhadap penandatanganan driver GPU dari pengembang eksternal dinilai sebagai kasus yang sangat langka
  • Sebelumnya, pemasangan driver tidak resmi tidak dimungkinkan tanpa menonaktifkan SIP
  • Persetujuan kali ini semakin memperkuat ekspandabilitas perangkat keras Mac serta pemanfaatan untuk beban kerja AI dan machine learning

Bacaan terkait

1 komentar

 
GN⁺ 17 hari lalu
Komentar Hacker News

  • Secara teknis ini proyek yang bagus, tetapi dalam praktiknya hampir tidak berguna di 90% situasi
    Jika ingin menjalankan LLM dengan GPU Nvidia, lebih baik beli PC bekas, dan jika ingin Mac dengan VRAM besar, ya beli saja Mac yang VRAM-nya besar
    Pendekatan yang diusulkan dibatasi oleh port Thunderbolt, dan akses ke tool serta library Nvidia juga kurang baik
    Di sisi lain, ini menjadi sistem yang tidak matang yang bisa rusak karena update macOS

    • Alternatif lain adalah me-mount lewat jaringan GPU Nvidia yang ada di mesin lain dalam LAN yang sama
      Dengan begitu tidak ada batas bandwidth Thunderbolt, dan panggilan CUDA bisa dipakai apa adanya
      Namun harus berada di LAN yang sama dan ada overhead sekitar 4%
      Sulit dipakai saat bepergian, dan masalah driver macOS juga tetap tidak terselesaikan
      Saya bekerja di GPU Go, jadi mungkin saya bias terhadap pendekatan ini
    • Kurangnya tooling Nvidia sebagian besar karena selama ini hardwarenya memang tidak bisa dipakai di macOS
      Sekarang sudah memungkinkan, jadi ke depan situasinya bisa berubah
    • Saya sempat mengira eGPU itu virtual GPU, padahal maksudnya adalah GPU eksternal

  • Saya tidak paham kenapa tautannya menuju proxy, bukan ke sumber asli
    Sumber aslinya adalah akun tinygrad di X

    • Mungkin karena login wall. X sekarang punya banyak pembatasan seperti “harus daftar untuk melihat komentar”, dan kualitas situsnya menurun
    • Belakangan ini X memang sering menjadi sumber asli

  • Dari yang saya pahami, ini hanya bekerja khusus untuk Tinygrad
    Tidak bisa memakai CUDA atau Vulkan dari PyTorch
    Dokumentasi terkait ada di dokumen TinyGPU

  • Apple menolak menandatangani driver eGPU Nvidia sejak 2018, dan saya tidak tahu bagaimana mereka lolos dari pengawasan regulator

    • Saya penasaran apakah ada bukti bahwa Nvidia benar-benar mencoba
      Sejak macOS 10.13, driver grafis pihak ketiga memang tidak diizinkan, tetapi mungkin driver non-grafis masih bisa
    • Bisa jadi pemerintah memang tidak peduli
      Hampir tidak ada Mac yang bisa dipasangi GPU Nvidia, dan sekarang bahkan sudah tidak punya slot sama sekali
    • Apple bukan pihak dengan posisi monopoli di pasar mana pun
    • Mirip dengan saat Google memblokir klien YouTube untuk Windows Phone
    • Bukannya cukup dengan menonaktifkan SIP?

  • Setelah membaca panduan dan skripnya, kelihatannya GPU dilewatkan ke Linux VM lalu dikembalikan lagi ke Mac
    Sepertinya tim TinyGrad mendapat persetujuan untuk pendekatan ini
    Bisa jadi saya salah memahami peran Docker

    • Dari dokumen TinyGPU dan kode GitHub,
      GPU Nvidia dipakai untuk menyesuaikan target kompilasi melalui Docker, sedangkan AMD membangun LLVM-nya sendiri di macOS lalu memakainya

  • Baik Apple maupun Nvidia sama-sama kehilangan hasil yang bagus karena sikap tertutup mereka
    Akan jauh lebih baik jika hardware Mac bisa menjalankan Nvidia lewat Linux
    Kita menjadi konsumen yang kehilangan kendali bahkan setelah membeli produknya

    • Karena itu saya memang tidak membeli produk Apple
      Semua tetap berjalan baik di luar ekosistem mereka

  • Semakin banyak pengguna laptop ARM yang menaruh GPU mereka secara remote
    Karena itu UX yang membuat GPU bisa mengikuti workflow lokal menjadi penting
    Kami di GPUGo / TensorFusion sedang meneliti cara menggabungkan alur pengembangan yang local-first dengan akses ke GPU remote
    Saya penasaran apakah orang benar-benar menginginkan sesuatu yang terasa seperti eGPU sungguhan, atau sekadar ingin komputasi remote dengan friksi minimal

    • Tapi kalau GPU harus menampilkan gambar, latensi jaringan 100 ms saja sudah jadi masalah

  • Saya sedang bepergian, tetapi punya RTX 5090 di rumah dan ingin mencoba ini dengannya
    Saya sedang merujuk ke dokumen TinyGPU dan berharap ini berjalan di M4 Mac Mini
    Sepertinya saya butuh ATX PSU untuk suplai daya; apakah inferensi LLM bisa dilakukan dengan tinygrad?

    • Di AliExpress ada enklosur GPU sekitar 100 dolar
      Itu memakai PSU standar, tetapi Mac Mini tidak punya occulink, jadi tetap dibatasi bandwidth USB-C
      Kalau driver Intel Arc sudah stabil, kombinasi GPU murah juga bisa menarik
      Intel Arc Pro B70 (32GB VRAM) sekitar 1000 dolar, dan Mac Mini sekitar 500 dolar
    • Saya ragu seberapa jauh VRAM cepat dari GPU bisa menutupi VRAM lambat milik Mac
      Kalau kecepatan interconnect tidak cukup, pergantian layer bisa menjadi bottleneck
    • Saya juga punya 5090 yang masih belum dibuka dari kotaknya, jadi akhirnya saya kembalikan
      Situasi yang ironis: punya uang, tetapi tidak punya waktu untuk memakainya

  • Menarik, tetapi CUDA maupun nvidia-smi tidak bisa dijalankan

    • Tetap saja ini tidak terlalu mengejutkan karena didasarkan pada library ML dari perusahaan lain, bukan dari Nvidia
      Akan bagus kalau ada lapisan kompatibilitas CUDA, tetapi inferensi dan training yang berjalan dengan library sendiri juga cukup keren

  • Jika Mac mendukung driver Nvidia, penjualan Mac Pro pasti akan naik

    • Fakta bahwa Apple dan Nvidia memulihkan hubungan resmi adalah hal besar
      Selama lebih dari 10 tahun terakhir Apple tidak mengizinkan driver GPU Nvidia
      GPU berusia 7 tahun (misalnya VEGA64, RTX1080Ti) masih punya kecepatan pemrosesan token yang lebih tinggi daripada kebanyakan Apple Silicon
      Prosesor MAX/Ultra dari Apple cocok untuk model besar, tetapi tidak secepat RTX5090