- Untuk mengurangi beban menyiapkan sendiri lingkungan pengembangan AI lokal, Ryzen AI Halo menyediakan Ryzen AI Max+ 395 mini PC yang sudah dipaketkan dengan ROCm, driver, model, dan alat pengembangan
- Konfigurasi tunggalnya terdiri dari CPU Zen 5 16-core/32-thread, GPU terintegrasi Radeon 8060S, NPU XDNA 2, memori terpadu 128GB LPDDR5x-8000, SSD 2TB, dengan harga $3,999.99 USD
- Dalam llama-bench, Apple Silicon Mac Studio unggul dibanding perangkat Ryzen AI Max+ 395, dan khususnya pada pembuatan token menunjukkan performa 2–3 kali lebih tinggi di Gemma 4 karena perbedaan bandwidth memori
- Pembeda Halo bukanlah prosesor baru, melainkan penyediaan titik awal yang kompatibilitasnya sudah diselaraskan, seperti AMD Ryzen AI Developer Center, Best Known Configurations, dan AMD AI Playbooks
- Dengan AMD Lemonade dan FastFlowLM, gpt-oss-20b-FLM dijalankan di XDNA 2 NPU, dan tercatat konsumsi hingga 35W serta pembuatan 20 tokens/s saat penggunaan CPU/GPU nyaris tidak ada
Kit pengembangan AI mini berbasis Ryzen AI Max+ 395
- AMD Ryzen AI Halo adalah PC berukuran kecil yang dibuat di sekitar prosesor AMD Ryzen AI Max+ 395 berbasis Zen 5, dirancang agar pengguna dapat lebih mudah mulai belajar pengembangan AI berbasis ROCm atau hardware AMD
- Prosesornya memiliki konfigurasi 16-core/32-thread, dan sebagian besar tugas AI ditangani oleh grafis terintegrasi Radeon 8060S
- NPU, yang sebelumnya belum punya banyak contoh pemanfaatan, juga benar-benar bisa digunakan pada perangkat ini
- Produk ini dijual dalam satu konfigurasi hardware, dengan spesifikasi utama sebagai berikut
- SSD M.2 2TB yang dapat dilepas
- Memori terpadu 128GB LPDDR5x-8000
- Bandwidth memori 256GB/s
- Kapasitas penyimpanan 2TB cukup untuk menyimpan banyak model lokal, dan memori 128GB masih menyisakan ruang operasi sistem bahkan setelah memuat beberapa model berukuran sedang
- Harga jualnya $3,999.99 USD, dan dapat dibeli dalam satu konfigurasi dengan Windows 11 Pro atau Linux yang sudah terpasang
- Pengguna bisa memasang OS yang diinginkan setelah menerimanya, tetapi tampaknya AMD tidak akan menyediakan secara terpisah image Linux/Windows pabrikan beserta driver, program, dan model yang dipaketkan
- Unit uji adalah versi Linux yang menjalankan distribusi Linux AMD kustom berbasis Debian 13.4
Sasis kecil dan ekspandabilitas
- Berbeda dari gambar pemasaran, Halo adalah perangkat berbentuk kotak yang sangat kecil, dengan luas alas sekitar persegi 15cm dan tinggi kurang dari 5cm
- Bobotnya 1,2kg, tetapi untuk dibawa bepergian perlu turut memperhitungkan adaptor daya 240W yang merupakan komponen wajib
- Tombol daya dan semua port ditempatkan di bagian belakang
- 4 port USB 3.2 Type-C
- 1 port HDMI 2.1
- 1 port Ethernet 10GbE
- Wi-Fi 7 dan Bluetooth 5.4
- Port USB-C yang paling dekat dengan tombol daya hanya untuk input USB-C Power Delivery
- Tidak ada struktur stacking yang jelas, tetapi berkat penyangga sudut dan lubang masuk udara di semua sisi, perangkat ini masih memungkinkan ditumpuk, misalnya untuk memakai Windows dan Linux secara terpisah atau membangun cluster
- Sistem pendinginnya memakai dua blower fan yang menarik udara dari bagian atas dan samping, melewatkannya melalui heatsink, lalu membuangnya ke belakang
- Dalam penggunaan normal cukup senyap, tetapi kecepatan fan bisa naik saat menangani TDP 120W dari prosesor di dalamnya
- Cincin lampu putih di bagian bawah casing berkedip biru saat mode hemat daya, dan lampunya bisa dimatikan
Pembongkaran dan konfigurasi internal
- Karena strukturnya berupa mini PC padat, tidak banyak bagian yang bisa diperiksa langsung di dalam, tetapi cover bawah dapat dibuka dengan melepas 4 baut di bawah dudukan magnetik yang dapat dilepas
- SSD M.2 2280 mudah diakses tanpa pembongkaran tambahan
- Untuk melepas shell atas dan menampilkan compute core, beberapa konektor tambahan harus dilepas
- Core itu sendiri bisa dikeluarkan, tetapi tidak banyak bagian yang bisa diutak-atik pengguna lebih lanjut
- Pelat logam yang terlihat saat casing bawah pertama kali dibuka dapat dilepas dengan 4 baut, tetapi tidak dilepas agar tidak mengganggu material penghantar panas
Performa LLM menurut llama-bench
- Ryzen AI Max+ 395, dengan code name Strix Halo, adalah prosesor yang sudah tersedia sejak musim semi 2025, sehingga Halo tidak menawarkan performa baru pada bagian ini
- Hardware lain yang memakai prosesor yang sama antara lain Framework Desktop, Beelink GTR9 Pro, X+ Rival, dan ACEMAGIC M1A PRO
- Pengujian performa ini dilakukan sebelum melihat konfigurasi software yang menjadi inti produk, untuk memastikan apakah performanya sesuai ekspektasi
- Pengujian berfokus pada llama-bench yang disertakan dalam llama.cpp
- llama.cpp adalah inference engine open source untuk memuat dan menjalankan model bahasa besar dalam format GGUF
- llama-bench mengukur prompt processing (pre-fill) dan token generation (decoding)
- Performa LLM dalam token/detik sensitif terhadap perbedaan kompatibilitas dan variabilitas, sehingga hasilnya perlu dilihat bersama berbagai sumber lain
Hasil pengujian llama-bench dasar
- Pengujian dasar memakai konfigurasi pp512/tg128, yang mensimulasikan situasi saat pengguna memasukkan 512 token dan model menghasilkan 128 token
- Model yang digunakan adalah tiga model kelas 17–32GB yang belakangan banyak menarik perhatian
- Qwen 3.6 35B A3B(Q4_K_M)
- Gemma 4 31B IT(IQ4_XS)
- GLM 4.7 Flash(Q8_0)
- Perangkat pembandingnya adalah sebagai berikut
- AMD Ryzen AI Halo: AI Max+ 395, 128GB
- Framework Desktop: AI Max+ 395, 128GB
- M2 Ultra Mac Studio: GPU 76-core, memori terpadu 128GB
- M3 Ultra Mac Studio: GPU 80-core, memori terpadu 512GB
- Pada Halo dan Framework Desktop, runtime ROCm/HIP dan Vulkan sama-sama digunakan
- Apple Silicon Mac Studio menghasilkan performa lebih tinggi dibanding perangkat AMD Ryzen AI Max+ 395, dan perbedaan utamanya berasal dari sekitar 800GB/s bandwidth memori pada Mac dibanding bandwidth 256GB/s pada Max+ 395
- Bagian prompt processing umumnya lebih dibatasi oleh komputasi, dan pada Gemma 4 yang merupakan dense model, selisih antara Apple Silicon dan Max+ 395 tampak lebih kecil dibanding jika hanya membandingkan bandwidth memori
- Prompt processing pada model sparse Mixture of Experts seperti Qwen 3.6 35B A3B dan GLM 4.7 Flash lebih rendah ketergantungannya pada komputasi, sehingga keunggulan bandwidth memori Mac tampak lebih besar
- Token generation umumnya jauh lebih dibatasi oleh bandwidth memori, dan pada Gemma 4, perangkat Apple Silicon menunjukkan performa token/detik 2–3 kali lebih tinggi
- Pada Ryzen AI Max+ 395, tidak ada pemenang yang jelas antara Vulkan dan ROCm/HIP
- Backend yang lebih cepat bergantung pada kompatibilitas, struktur model, ukuran konteks, hardware, dan optimasi software
- Kedua backend juga terus diperbarui
- Pengujian dilakukan dengan Flash Attention aktif, tetapi pengaturan ini tidak selalu menjamin performa terbaik, sehingga sebaiknya diuji langsung di masing-masing sistem
Peningkatan konteks dan simulasi penggunaan agentic
- Seiring meningkatnya penggunaan LLM agentic, pengujian llama-bench tambahan dilakukan untuk melihat bagaimana performa turun saat ukuran konteks membesar
- Pengujian ini menyederhanakan simulasi situasi ketika agent yang diberi instruksi melakukan tool call atau memberikan jawaban
- Parameter utamanya adalah sebagai berikut
-p,-n: menentukan jumlah token yang digunakan untuk prompt processing dan token generation-b,-ub: menentukan ukuran batch dan microbatch-fa: mengaktifkan atau menonaktifkan Flash Attention-ngl: menentukan jumlah layer model yang dioffload ke GPU-r: menentukan jumlah pengulangan-d: menentukan jumlah token yang sudah ada di dalam konteks
- Untuk mengurangi akumulasi panas yang bisa terjadi saat menjalankan pengujian beruntun, pengujian dilakukan dengan skrip sendiri yang menambahkan loop dan waktu jeda
- Ketiga model menunjukkan penurunan performa besar seiring meningkatnya ukuran konteks
- Gemma 4 dengan kombinasi backend Vulkan dan konteks 65.536 token tidak selesai dalam 30 menit
Daya dan suhu
- Karena Halo memiliki sasis yang sangat kecil, dilakukan pengecekan apakah perangkat ini dapat mempertahankan TDP maksimum 120W dan boost maksimum 140W dari paket Ryzen AI Max+ 395
- Sebagai pembanding, Framework Desktop yang memakai Ryzen AI Max+ 395 yang sama juga ikut diuji
- Pengujian dilakukan dengan menjalankan 20 kali llama-bench prefill test sambil mengukur konsumsi daya dari stopkontak menggunakan Quarch QTL2843
- Kedua perangkat berada dalam mode “Performance”, dan Halo tidak mengizinkan pengaturan daya atau pendinginan oleh pengguna
- AI Max+ 395 pada Framework Desktop mempertahankan baseline 120W sepanjang pengujian, dengan spike daya hingga 130W yang terjadi relatif sering
- Halo mempertahankan 140W selama sekitar 5 menit setelah pengujian dimulai, lalu turun ke TDP 120W selama sisa pengujian
- Desain blower Halo dan lubang masuk udara di semua sisi menjaga bagian luar tetap relatif dingin bahkan pada kondisi keseimbangan termal, tetapi bagian bawah menghangat hingga sekitar 50°C
- Fan berputar kencang saat membuang panas, tetapi karakter suaranya lebih mirip “woosh” daripada nada yang tajam
Nilai produk yang dibentuk oleh software
- Mini PC berbasis Ryzen AI Max+ 395 sudah bisa dibeli dalam beberapa produk, sehingga nilai unik Halo lebih terletak pada AMD Ryzen AI Developer Center, konfigurasi terkurasi, dan janji dukungan 1st-party daripada hardware baru
- Seperti NVIDIA DGX Spark, Halo dirancang untuk mengurangi waktu yang dihabiskan developer untuk menyiapkan lingkungan ketika mereka perlu menguji di hardware AMD atau NVIDIA tertentu
- Berbeda dari DGX Spark, Halo tersedia dalam versi Linux dan Windows
- Versi Linux, saat booting, masuk ke AMD Ryzen AI Developer Center, tempat pengguna dapat melakukan instalasi dan pembaruan software, mengakses dokumentasi, serta mengendalikan sistem
- Menurut AMD, Halo tidak dikunci sehingga pengguna dapat memasang OS yang mereka inginkan
- Namun tampaknya AMD tidak akan menyediakan image untuk berpindah antara konfigurasi Windows/Linux pabrikan AMD
Best Known Configurations dan Playbooks
- AI Halo dan Developer Center memberi akses ke Best Known Configurations(BKC) dari AMD
- BKC adalah konfigurasi sistem yang telah diverifikasi AMD bahwa software, package, dan driver yang disertakan saling kompatibel
- Konfigurasi ini mengurangi beban harus terlebih dahulu menyelesaikan masalah dependency saat menjalankan playbook atau memulai pembelajaran
- AMD AI Playbook pada sistem AI Max+ umum memberikan instruksi command line untuk alokasi memori, tetapi pada AI Halo disederhanakan menjadi slider atau dropdown bergantung pada Linux atau Windows
- Halo tidak menghalangi pengaturan manual atau konfigurasi kompleks, dan meski ada risiko mengabstraksikan detail implementasi dan hardware, perangkat ini menyediakan titik awal sebelum masuk lebih dalam
- AMD AI Playbooks adalah kumpulan tutorial sederhana untuk mengeksplorasi workload AI di hardware AMD
- Playbooks berfokus pada AI Halo, tetapi versi untuk GPU Radeon juga tersedia
- Playbooks juga dipublikasikan di GitHub, dan AMD mengatakan akan menjaganya tetap terbaru seperti BKC serta menambahkan playbook baru setiap bulan
Playbooks yang dicoba
- AMD Sync menyediakan cara sederhana untuk mengakses Halo dari jarak jauh melalui jaringan
- Memeriksa metrik live
- Membuka proyek VSCode
- Memulai proyek Jupyter Labs
- Akses terminal
- AMD Sync hanya memerlukan pemasangan AMD Sync pada perangkat remote dan menyalin informasi SSH, dan dalam pengujian berjalan tanpa masalah
- Playbook terkait LM Studio dan Lemonade membahas proses mengunduh, mengelola, menyajikan, dan berinteraksi dengan LLM lokal
- Playbook LM Studio dan Lemonade disusun dalam alur singkat dan mudah diikuti, mulai dari instalasi software, pembaruan runtime, hingga mengunduh model pertama
- Kedua playbook berlanjut hingga langkah memakai LLM lokal sebagai asisten coding atau berinteraksi secara terprogram dengan OpenAI API
- Playbook VSCode menghubungkan LLM lokal yang dihosting dari playbook sebelumnya dengan Cline agent di dalam IDE
- Playbook eksekusi LLM dan fine-tuning berbasis PyTorch menunjukkan bahwa berkat software, driver, dan model yang sudah terpasang, LLM dapat dijalankan dalam 4–5 langkah
- Playbook PyTorch bukan tutorial lengkap yang membahas cara kerja internal skrip, tetapi berhasil berperan sebagai smoke test untuk menghubungkan dependency dan memastikan semuanya berjalan
- Untuk pemula, bagian “Next Steps” juga menyediakan ide yang bisa dicoba berikutnya
Kekuatan dan kelemahan konfigurasi software
- BKC dan playbooks menyediakan keadaan acuan yang selalu bisa kembali digunakan, yang mengurangi situasi ketika pengguna mengikuti banyak tutorial tetapi tidak ada yang berjalan
- Keadaan tersebut dapat diakses melalui tombol System Reset di Developer Center
- Karena Halo dapat dipasang dan dikonfigurasi sesuai kebutuhan seperti komputer biasa, BKC dan playbooks tidak menghalangi kebebasan pengguna
- BKC dan playbooks juga dapat membuat tutorial 3rd-party berasumsi pada titik awal yang dikenal dan kompatibel, sehingga membantu pengguna melangkah lebih jauh
- Seperti terlihat di AI Playbook GitHub issues, beberapa playbook saat ini memiliki bagian yang gagal, dan masalah juga terjadi selama pengujian nyata
- Jika AMD tidak cepat menyelesaikan masalah-masalah ini, seluruh nilai software dapat goyah, dan hal itu tetap menjadi risiko ketika membeli berdasarkan janji nilai masa depan
NPU yang benar-benar digunakan
- Pada Halo, LLM dapat dijalankan di XDNA 2 NPU melalui AMD Lemonade dan FastFlowLM
- Model yang dijalankan adalah gpt-oss-20b-FLM, dan telemetri penggunaan NPU tidak tersedia
- Saat penggunaan CPU/GPU hampir 0, paket AI Max+ 395 mengonsumsi daya hingga 35W, dengan performa pembuatan 20 tokens/s
- NPU sering kali memiliki performa komputasi lebih rendah daripada GPU, tetapi keunggulannya adalah efisiensi energi yang jauh lebih tinggi
- NPU cocok untuk tugas seperti memproses sensor semacam kamera dengan cepat, sehingga CPU dan GPU bisa tetap dialokasikan untuk pekerjaan utama
- Kit pengembangan ini, yang mencakup Ryzen AI Max+ 395 dan NPU, dapat membantu memajukan pengembangan LLM lokal yang lebih hemat daya dibanding GPU raksasa
Perilaku USB-C Power Delivery
- Halo sepenuhnya mendapat daya melalui USB-C PD
- USB-C saat ini dapat menyalurkan hingga 240W, dan Halo menyertakan adaptor daya AC/DC Delta ADP-240KB BA yang mendukung USB-C PD Extended Power Range(EPR)
- Adaptor ini dapat menyediakan hingga 48V, 5A
- Dalam pengujian, Halo tidak menarik lebih dari 200W dari power supply
- Paket PD antara adaptor daya dan Halo diukur menggunakan Infineon CY4500-EPR
- Saat pertama kali terhubung, adaptor daya mengirim pesan SOURCE_CAPABILITIES untuk memberi tahu tegangan dan arus yang tersedia
- Pada awalnya hanya mode output Standard Power Range(SPR) yang ditampilkan, dibatasi pada 20V, 5A, yaitu 100W
- Halo mengirim pesan EPR_MODE untuk meminta mode EPR pada adaptor daya, lalu setelah itu memeriksa kemampuan EPR penuh
- Halo meminta mode output 48V tetap yang dapat menggunakan hingga 5A, sehingga memakai konfigurasi maksimum 240W
- Halo terus mengirim EXTENDED_CONTROL_MESSAGE ke adaptor daya, dan menarik bahwa pola pesan berkelanjutan semacam ini terlihat pada output tegangan tetap
1 komentar
Komentar Hacker News
Hal yang baru dan layak disorot adalah AMD playbooks(https://developer.amd.com/playbooks/, https://github.com/amd/playbooks)
Ini adalah jawaban AMD terhadap playbooks Nvidia(https://build.nvidia.com/spark, https://github.com/NVIDIA/dgx-spark-playbooks), dan saya memandang positif bahwa AMD mulai menggarap area ini dengan lebih serius
Perangkat kerasnya sepenuhnya sama dengan yang dijual seharga 2 ribu dolar tahun lalu, dan dari OEM Tiongkok masih bisa dibeli 1 ribu dolar lebih murah
Bagus kalau pengujian LLM dari LTT Lab makin canggih, tetapi angkanya bisa cukup banyak berubah tergantung versi ROCm/Vulkan dan versi build llama.cpp
Untuk memaksimalkan performa Strix Halo, penyetelan kernel dan utilitas seperti ryzenadj bisa membantu, dan sebagian besar sudah dirangkum di http://strixhalo.wiki/
Jika dipakai untuk coding atau pekerjaan agen, saat model mendukung MTP, ini sudah cukup matang, dan decode bisa menjadi sekitar 30% lebih cepat
Singkatnya, seperti disebutkan di artikel, prosesor AMD Ryzen AI Max+ 395(Strix Halo) sudah ada sejak musim semi 2025, dan Halo tidak menawarkan sesuatu yang baru dalam hal itu
Ada batasan bandwidth memori 256 GB/s yang sama seperti board sebelumnya, jadi saya tidak mengerti kenapa sekarang diluncurkan seolah-olah barang baru
Dengan harga serupa, Anda bisa membeli Framework Desktop, dan GMKtec EVO-X2 bisa dibeli sedikit lebih murah
Dari sudut pandang AMD, wajar jika mereka ingin mengambil untung langsung daripada menjualnya lebih murah ke produsen PC
Beli saja komputer tower biasa atau server rack
Saya benar-benar ingin punya mesin dengan memori 128GB atau lebih, tetapi membayar 4 ribu dolar hanya untuk 256 GB/s terasa berat
Harus menanggung kelemahan dari sisi ARM maupun AMD
Sepertinya saat RTX Spark keluar, harganya harus menjadi 6 ribu dolar, dan saya khawatir kalau mesin 128GB+ dengan 700+ GB/s muncul, harganya akan menjadi 10 ribu dolar sehingga tidak terjangkau oleh kebanyakan konsumen
Sejujurnya saat ini pilihan yang bagus tidak banyak, dan mungkin lebih baik menunggu sampai pasar tidak terlalu gila
Kalau ada yang membuat mesin dengan keduanya, mereka bisa dengan mudah menjualnya seharga 10 ribu dolar, dan orang-orang sepertinya akan antre untuk membelinya
Misalnya DS4, yaitu model kuantisasi 1-bit DeepSeek V4 Flash, hanya sekitar 9–13 token per detik, dan waktu hingga token pertama sangat lama
Ini tidak realistis untuk model coding interaktif berbasis agen
Saya suka Strix Halo, dan terutama menggunakannya dengan baik untuk menjalankan pekerjaan non-interaktif secara terus-menerus, seperti audit keamanan perangkat lunak atau eksperimen pembelajaran
Sebagai platform untuk eksperimen AI, ini bagus, tetapi dengan 4 ribu dolar Anda bisa membeli Asus Ascend GX10 berbasis Nvidia, dan kemungkinan itu lebih baik
Untuk penggunaan agen interaktif lokal, Anda mungkin akan menjalankan Qwen 3.6 atau Gemma 4, dan keduanya muat dengan longgar di GPU 2x64GB, sementara GPU lama pun bisa lebih cepat daripada Strix Halo
Keduanya juga muat meski mepet di 32GB, dan akan berjalan baik di Mac 48GB atau 64GB
Saat ini sweet spot di sisi GPU tampaknya adalah dua Radeon AI Pro R9700
Harganya tidak setara mobil bekas seperti 5090 atau 4090, tetapi menyediakan memori dan performa yang cukup untuk inferensi lokal, dan tidak merepotkan atau aneh seperti GPU server lama di eBay, atau membutuhkan duct kipas cetak 3D
Untuk saat ini, belum ada model tertentu yang berjalan lebih baik di mesin inferensi 128GB seperti ini tetapi tidak berjalan baik di mesin 64GB
Mesin 64GB bisa saja lebih cepat, dan dari GPU 32GB pun tidak banyak yang lebih lambat, tetapi sebaiknya jangan membeli GPU yang saat ini tidak didukung aktif oleh driver vendor dan CUDA atau ROCm
Perangkat-perangkat ini hebat saat lebih murah daripada DGX Spark
Namun jika harganya sama, tidak ada alasan membeli ini daripada Spark
Spark secara harfiah adalah versi yang lebih cepat, dan dukungan perangkat lunaknya juga lebih baik
Saya mengatakan ini sebagai pemilik perangkat Ryzen AI Max 395
Itu berdasarkan beberapa pemasok pendidikan tinggi
CPU Ryzen lebih baik daripada DGX Spark, dan khususnya pada program modern yang sudah diperbarui untuk memakai AVX-512, performa multithread jauh lebih tinggi
Sistem NVIDIA kemungkinan besar hanya lebih baik untuk aplikasi GPU
Saya cukup lama mengutak-atik kernel Linux yang tepat, firmware kernel, instalasi ROCm, dan sebagainya
Saya punya perangkat Strix Halo dan menyukainya, tetapi dengan harga ini, untuk penggunaan AI lebih baik membeli ASUS GX 10 berbasis Nvidia
Ekosistem CUDA masih lebih kuat
AMD punya CPU yang lebih bagus sehingga lebih baik sebagai mesin desktop, tetapi pihak Nvidia sedikit lebih cepat dan dukungannya sedikit lebih baik untuk tugas inferensi dan pelatihan
Dengan ROCm pun hampir selalu bisa melakukan hal yang sama, tetapi butuh sedikit lebih banyak usaha
Namun Ubuntu kustom yang dikirim Nvidia bersama perangkat kerasnya sangat buruk sampai sulit ditangani
Nvidia tidak pandai membuat software, dan setelah beberapa tahun menangani lini Jetson, kondisinya masih buruk
Masih berupa Ubuntu kustom yang kasar, dengan struktur berbasis image yang rumit dan tanpa UEFI, jadi bukan tipe perangkat yang bisa langsung dipasangi Linux lain begitu saja
Saya berasumsi mereka juga akan mengirim Ubuntu di perangkat yang lebih besar, tetapi yang pernah saya tangani langsung hanya mesin Jetson embedded kecil
Di sisi AMD, itu PC x86_64 biasa sehingga hampir semua Linux bisa dipasang, dan di perangkat saya langsung saya pasang Fedora
Itu hanya Ubuntu biasa dan saya tidak mengalami masalah berarti
Selain itu, sejauh yang saya lihat, mereka satu-satunya vendor perangkat Linux ARM64 yang benar-benar mengirim Linux dengan dukungan yang layak
Saya memakai ASUS GX10 sebagai workstation utama sehari-hari, dan yang tidak jalan hanya Spotify, mungkin karena masalah DRM
Sepertinya juga tidak ada klien Signal ARM64
Keunggulan besar DGX Spark dibanding Strix Halo adalah kecepatan prefill yang jauh lebih tinggi
Kira-kira 5 kali lebih cepat
Perangkat keras jaringannya juga luar biasa kuat, tetapi kemungkinan saya dan 99% pengguna Spark lain tidak akan memakai performa itu sampai batasnya
Bandwidth memori 256GB/s kira-kira hanya 1/4 dari 3090
Kalau memorinya dipangkas setengah dan kecepatannya dinaikkan 4 kali, itu akan jadi pembelian yang lebih baik
Kecepatan memori tinggi bagus untuk model dense atau serving dengan konkurensi tinggi
Namun di lingkungan lokal satu pengguna, platform seperti ini sering kali lebih baik karena memungkinkan model MoE yang lebih kuat dan besar dipakai pada kecepatan yang masuk akal dan konkurensi rendah
Saat itu, lane PCIe yang lambat kemungkinan menjadi bottleneck
Jika pekerjaannya muat di kartu 24GB, sejak awal Anda bukan pengguna sasaran untuk ceruk AI mini PC yang mereka coba buat
Model kecil bisa dijalankan jauh lebih baik
Secara pribadi, 3090 paling masuk akal ketika bisa membeli minimal 2 unit, idealnya 4 unit, dan saat itu sudah menjadi cerita anggaran yang sama sekali berbeda
Model MTP baru, Qwen3.6 35B MoE, bisa menghasilkan token hingga konteks sekitar 80k tanpa pelambatan besar
Mendapat banyak token memang bagus, tetapi karena kemampuannya memproses dan memperluas konteks, mesin ini akan tetap unggul dibanding kartu grafis kecil
Modul RAM DDR4 32GB punya bandwidth 25GB/s dan harganya 160 dolar
Jika membeli 8 unit, dengan 1.280 dolar Anda mendapat RAM 256GB dan bandwidth 200GB/s
Jika membeli 16 modul 16GB seharga 60 dolar per unit, dengan 960 dolar Anda bisa mendapat bandwidth 400GB/s
Masalahnya adalah perlu 8 atau 16 memory controller
Memory controller tidak semahal itu
Intel Core i3-14100F punya controller 2-channel dan harganya 110 dolar, jadi controller 16-channel bisa diperkirakan di bawah 880 dolar, dan controller 8-channel sekitar 440 dolar
Kalau begitu, rasanya lebih baik membuat CPU murah dengan 16 controller DRAM daripada perangkat 4 ribu dolar yang hanya punya 128GB
Atau bisa juga dua CPU yang masing-masing punya 8 channel RAM
DDR5 berkapasitas 32GB harganya 360 dolar, dua kali lebih mahal tetapi bandwidth-nya bahkan tidak sampai dua kali lipat, jadi tidak layak dibeli
Lebih masuk akal membuat lebih banyak channel RAM dan memasang DDR4
Namun motherboard-nya bisa cukup mahal
Alih-alih beralih ke DDR5 yang mahal, CPU termurah sekalipun seharusnya dibuat mendukung 8/16 channel DDR4
Modul 32GB DDR5-4800 harganya 360 dolar, sedangkan dua modul 32GB DDR4-3200 harganya 320 dolar, jadi kapasitasnya dua kali lipat, bandwidth-nya lebih tinggi, dan harganya lebih rendah
DDR5 itu hanya kemahalan
Dalam bentuk sebelumnya harganya “hanya” 2 ribu dolar, tetapi bahkan di box yang diperbarui ini, bandwidth memori masih sangat kurang
Ada beberapa model yang punya ruang untuk GPU khusus demi inferensi hybrid, tetapi secara pribadi menurut saya tidak sepadan
Lebih baik menyimpan uang untuk build Xeon atau EPYC
Saya tidak mengerti kenapa semua produk serupa mentok tepat di VRAM 128GB
Dengan harga ini, saya berharap minimal VRAM 224GB
Tergantung memory bus
Bisa dianggap kira-kira 96GB untuk 128-bit, 192GB untuk 256-bit, 384GB untuk 512-bit, dan 768GB untuk 1024-bit
https://community.frame.work/t/was-there-no-possible-way-to-...
Karena mereka tidak ingin produk konsumen/homelab bermargin rendah menggantikan produk data center, mereka sengaja membatasi VRAM produk seperti itu agar kurang menarik untuk penggunaan data center
Ini hanya sedikit lebih murah daripada Nvidia DGX Spark yang punya CUDA, atau Mac dengan 128GB dan bandwidth memori dua kali lipat
Keunggulan Strix Halo awalnya adalah harganya setengah dari mesin-mesin yang jauh lebih kuat itu
Membeli chip AMD dengan harga ini hampir bisa dibilang gila
Namun seluruh pasar hardware saat ini memang sedang gila, jadi sayangnya ini pun sepertinya akan laris
M5 Pro punya bandwidth memori sedikit lebih tinggi, tetapi saat ini maksimal hanya bisa sampai 64GB DRAM
Bahkan konfigurasi memori kecil ini lebih mahal daripada AMD atau NVIDIA, dan jika menginginkan SSD berukuran wajar, bukan SSD kecil—cukup untuk memuat LLM dan menghitung kuantisasi sendiri—harganya akan lebih mahal lagi
Misalnya, dengan SSD 4TB dan DRAM 64GB, harganya lebih dari 5.600 dolar
Jika tujuannya inferensi LLM, Apple tidak terlihat sebagai solusi yang kompetitif
Harganya jauh lebih tinggi, dan untuk menyimpan beberapa LLM dibutuhkan banyak ruang, sementara ekspansi SSD juga terbatas
Satu-satunya bagian yang benar adalah sistem AMD Strix Halo dulu jauh lebih murah daripada NVIDIA, tetapi sekarang harganya sudah sama
CPU Strix Halo lebih baik daripada NVIDIA, tetapi kemungkinan besar GPU NVIDIA lebih baik daripada GPU AMD, dan CUDA dijamin akan berjalan dengan baik