Project Digits dari Nvidia, "superkomputer AI pribadi"
(techcrunch.com)- Nvidia memperkenalkan perangkat ringkas berbasis Grace Blackwell di CES 2025 yang dapat diletakkan di atas meja
- Project Digits adalah superkomputer AI pribadi yang menjalankan tumpukan perangkat lunak AI Nvidia secara lokal, ditujukan sebagai opsi di antara cloud dan workstation
- Nvidia menjelaskan bahwa satu perangkat mendukung performa hingga 1 petaflop dan dapat menjalankan model hingga 200 miliar parameter dengan GB10 Grace Blackwell Superchip
- GB10 dikembangkan bersama MediaTek, serta mencakup GPU Blackwell, CPU Grace 20-core, memori 128GB, dan penyimpanan flash hingga 4TB
- Produk ini dijadwalkan mulai dijual pada Mei melalui mitra utama dengan harga $3.000, sehingga meski menawarkan lingkungan pengembangan AI lokal yang kuat, pembeli perorangan kemungkinan akan terbatas
Grace Blackwell hadir di atas meja
- Nvidia mengumumkan Project Digits di CES 2025 yang digelar di Las Vegas
- Project Digits adalah “superkomputer AI pribadi” yang menghadirkan platform perangkat keras Grace Blackwell milik perusahaan dalam bentuk ringkas
- Sasaran utamanya disebut mencakup peneliti AI, ilmuwan data, dan mahasiswa
- CEO Jensen Huang menjelaskan bahwa Project Digits menjalankan seluruh tumpukan AI Nvidia, dan dapat digunakan seperti platform komputasi cloud di atas meja maupun sebagai workstation
Skala eksekusi model dan konfigurasi perangkat keras
-
GB10 Grace Blackwell Superchip
- Project Digits menggunakan GB10 Grace Blackwell Superchip baru dari Nvidia
- Chip ini menyediakan performa komputasi hingga 1 petaflop untuk pembuatan prototipe, fine-tuning, dan menjalankan model AI
- Nvidia menjelaskan bahwa satu perangkat Project Digits dapat menjalankan model hingga 200 miliar parameter
-
Konfigurasi chip dan memori
- GB10 dikembangkan bekerja sama dengan MediaTek
- Strukturnya menghubungkan GPU Nvidia Blackwell dengan CPU Nvidia Grace 20-core
- Di dalamnya terdapat pool memori 128GB dan penyimpanan flash hingga 4TB
-
Ekspansi dan cara penggunaan
- Dengan menghubungkan dua unit Project Digits, tergantung pada beban kerja, perangkat ini dapat menjalankan model hingga 405 miliar parameter
- Perangkat ini dapat digunakan secara mandiri, dan juga bisa dipakai dengan menghubungkannya ke PC Windows atau Mac standar
- Sistem operasinya adalah DGX OS berbasis Linux dari Nvidia
Jadwal rilis dan harga
- Project Digits dijadwalkan mulai dijual pada Mei melalui “mitra utama” dengan harga $3.000
- Huang mengatakan bahwa menghadirkan Grace Blackwell Superchip kepada jutaan pengembang dan menempatkan superkomputer AI di atas meja ilmuwan data, peneliti AI, dan mahasiswa akan memperluas partisipasi dalam era AI
2 komentar
Semoga performanya juga bagus sesuai klaimnya dan pemeliharaannya pun memuaskan.
Opini Hacker News
Melihat Jetson Nano yang ada di sudut, Nvidia meninggalkannya setelah 4 tahun, jadi setelah pensiun kini hanya berfungsi sebagai pemberat kertas
Ia dirilis sebagai komputer papan tunggal untuk “AI”, tetapi sejak awal sudah berbasis Ubuntu 18.04 kustom yang sudah usang, dan begitu dukungan 18.04 berakhir, Nvidia sepenuhnya menghentikan pembaruan JetPack proprietary dan drivernya
Akibatnya, stack machine learning seperti CUDA dan Pytorch juga menjadi tidak berguna, dan saya tidak berniat membeli lagi komputer papan tunggal Nvidia kecuali dukungan perangkat lunaknya masuk ke upstream kernel Linux
Hubungan Nvidia dengan Linux secara umum memang rumit. Mereka memang menyediakan driver, tetapi salah satu cara paling pasti untuk merusak instalasi Linux hingga sulit dipulihkan adalah memasang atau meng-upgrade driver itu
Rasanya mereka hanya menanggung upaya minimum agar bisa mengatakan “berfungsi”, bukan memprioritaskan Linux sebagai target dukungan kelas satu
Sejujurnya, komputer papan tunggal Nvidia lebih banyak repotnya daripada manfaatnya
Kelihatannya sudah jauh membaik, tetapi karena fork JetPack Linux memiliki driver
nvgputerpisah untuk Tegra dan belum dipisahkan dari tree itu, keterbatasannya besar: kernel tanpa GPUJika bukan secara eksplisit untuk robotika dan inferensi AI di edge, ada alternatif yang lebih baik
Dilihat dari namanya, desain bergaya DGX, dan perangkat lunak seperti DGX OS, perangkat ini terasa lebih dekat ke desain Grace Hopper/pusat data daripada Tegra
Di sisi workstation/server seperti itu, biasanya UEFI, dan ada kemungkinan bisa memakai kernel Linux upstream serta driver Nvidia open source di distro pilihan
Jika demikian, ini bisa menjadi mesin Linux biasa yang jauh lebih familier daripada seri Jetson, tetapi belum jelas apakah GH200/GB200 juga membutuhkan patch kustom
Waktu yang akan menjawab, tetapi jika GPU yang bagus digabungkan dengan desain ARM Cortex yang bagus dan berperilaku lebih seperti box Linux tradisional dibanding seri Jetson, ini bisa menjadi mesin inferensi AI lokal yang hebat
Berdasarkan pengalaman, vendor tidak mengurus patch keamanan sebaik upstream. Mengingat ekosistem Nvidia yang tertutup, saya tidak terlalu berharap pada dukungan jangka panjang
Ini tampaknya lebih bermakna daripada GPU seri 5x
Mengingat demam AI/LLM, bahkan jika M4 Max/Ultra Mac mini keluar, perangkat ini bisa menggerus sebagian kalangan pengembang AI hobi yang selama ini dikuasai Apple
Beberapa tahun terakhir Nvidia tampaknya melakukan semuanya dengan benar, jadi saya jadi berpikir andai saja punya sahamnya
Xeon Phi gagal karena berbagai alasan, tetapi ketersediaan software yang dioptimalkan adalah bagian yang sebenarnya tidak perlu gagal
Sekarang ada Xeon, EPYC, dan MI300C dengan banyak core efisien, tetapi jika selama 10 tahun terakhir orang sudah memakai software yang disesuaikan untuk hardware seperti ini, masalah untuk mengeluarkan performanya pasti sudah terselesaikan
Itanium juga sama; hal pertama yang seharusnya dijamin Intel adalah dukungan Linux yang baik, dan itu bisa disiapkan bahkan sebelum silikon pertama keluar
Untuk sementara dukungan Itanium memang bagus, tetapi sekarang platform itu sudah lama mati
Sun juga gagal dengan cara serupa pada SPARC. Setelah menyerah pada workstation, tidak ada jalur onboarding yang mudah
Mereka melakukan hal yang benar dengan menjaga relevansi sistem operasi lewat OpenSolaris, dan pada dasarnya membiarkan x86 Solaris agar orang bisa belajar dan berlatih
Akan bagus kalau Oracle Cloud setidaknya menyediakan SPARC sebagai instans cloud
IBM juga menempuh jalur yang sama sekarang. Tidak ada mesin POWER entry-level yang masuk akal dan bisa bersaing secara performa dengan x86 kelas workstation
Yang ada paling hanya mesin half-rack kecil yang bisa diletakkan di casing di samping meja
Saya hampir tidak melihat perusahaan yang ingin menerapkan sistem baru dengan AIX, IBMi, atau Linux on POWER, karena membangunnya di platform pesaing terlalu mudah
Di IBM Cloud, instans AIX, IBMi, dan IBM Z memang tersedia tetapi tidak mudah, dan saya juga tidak menemukan tutorial untuk pergi dari “nol ke SSH/5250/3270”
Linux on Z memungkinkan, tetapi tampaknya tidak ada cara dari IBM untuk menyediakan Linux on POWER, dan hanya beberapa laboratorium HPC yang masih menyediakan sumber daya semacam itu
Banyak perusahaan akan membeli perangkat seperti ini untuk pengembangan lokal agar chip kelas enterprise yang mahal tetap tersedia untuk penggunaan komersial
Langkah yang jenius. Justru form factor yang bisa memasukkan performa sebesar ini ke ukuran mirip Mac mini lebih mengejutkan
Dengan 6.000 dolar bisa membeli dua unit dan menjalankan model 400B+ secara lokal, itu terdengar tidak masuk akal
Membayangkan menjalankan sesuatu seperti ChatGPT di desktop bahkan setahun lalu pun tidak terbayangkan
Namun karena pengguna hobi banyak mendorong perbaikan stack teknologi, jika mereka mulai memakai ini, ekosistem NVIDIA akan semakin mengakar
Mac dengan unified memory adalah ancaman yang harus segera ia respons. Dilihat dari situ, Jensen adalah CEO masa perang, dan ia tidak sedang bercanda
Tidak mengherankan juga AMD absen dari ruang high-end. Nvidia sedang berhadapan langsung dengan Apple, sementara AMD bukan perusahaan yang bisnisnya bersaing dengan Apple
Karena orang ingin melakukan fine-tuning dan membuat gambar dewasa di waktu luang mereka
Diagram Venn pengguna yang mengunggah bahwa mereka menjalankan model difusi dan LLM di rumah hampir seperti lingkaran sempurna
Mengejutkan bahwa Nvidia merilis superkomputer desktop Linux dengan rasio harga-kinerja yang lebih baik daripada apa pun di sisi Wintel, dan stack software barunya tidak di-porting ke Win32 melainkan hanya berjalan di WSL2
Mungkin benar-benar tahun desktop Linux akan tiba
Neoverse N2 20-core tampaknya tidak akan jauh lebih unggul dibanding Zen 5 16-core
Sisi GPU terlihat menjanjikan, tetapi mereka tidak menyebutkan bandwidth memori, konfigurasi, spesifikasi detail, maupun performa
Yang terlihat baru informasi samar seperti “mulai dari 3000 dolar”, hingga 4TB NVMe, hingga 128GB RAM
AMD Strix Halo, yaitu AI Max+ 395, juga diperkirakan akan cukup kompetitif
Kalau begitu, bukankah ini kelanjutan dari arus “Unix di atas workstation” yang sudah berlangsung selama beberapa dekade terakhir?
Nvidia bekerja erat dengan Microsoft untuk mengembangkan kartu, fitur-fitur utama masuk lebih dulu ke DirectX lalu masuk ke Vulkan dan OpenGL sebagai ekstensi Nvidia, dan kemudian ketika vendor lain mengikuti dengan ekstensi serupa, itu menjadi standar
Bukankah WSL2 pada dasarnya mesin virtual? Kalau begitu artinya berjalan di Linux, dan Linux juga bisa dijalankan di WSL2, bukan?
Kalau benar-benar hanya berfungsi di WSL2, ceritanya berbeda
Saya sempat berharap karena mengira ini workstation Linux, tetapi kalau WSL2 terlibat atau wajib dengan cara apa pun, harus langsung kabur
Saya agak terkejut karena banyak komentar membandingkan biayanya dengan solusi cloud murah
Menurut saya proposisi nilai Nvidia benar-benar berbeda
Misalnya, jika sebuah startup di Uni Eropa yang menangani data pribadi atau rahasia perusahaan ingin menganalisisnya dengan LLM, selama performa bukan bottleneck, fakta bahwa data tidak keluar dari ruang bawah tanah saja bisa bernilai lebih dari 3000 dolar
Dibanding membayar per token, saya akan jauh lebih banyak melakukan eksperimen konyol dengan LLM di hardware yang saya miliki sendiri
Faktanya, sekarang pun saya menghabiskan jauh lebih banyak waktu dengan Llama lokal yang lebih kecil daripada Claude
Bahkan jika tidak mengerjakan hal sensitif, saya tetap enggan mengirim data saya ke perusahaan-perusahaan seperti ini
Ini bukan produk yang bersaing dengan cloud, melainkan dengan Mac mini dan GPU berkinerja tinggi, dan di pasar itu 3000 dolar adalah titik harga yang sangat menarik
Jika perusahaan teknologi menaruh beberapa perangkat seperti ini secara lokal, pengguna bisa menanyai LLM perusahaan dengan data sensitif
Saat ini saya mengembangkan, melatih, dan menggunakan model di hardware yang dirangkai dari komponen sisa setelah upgrade desktop; saya pasti akan membeli satu, dan kalau berfungsi baik, mungkin membeli dua
Namun regulasi atau kepentingan bisnis kadang juga menuntut redundansi dan perlindungan data, sehingga menaruh semuanya hanya onsite mungkin tidak memenuhi persyaratan itu
Ada satu pasar yang tidak banyak dibahas di sini, yaitu bioinformatika
Illumina, pemain kuat di pasar ini, sudah menyediakan chip hardware kustom untuk server bernama DRAGEN guna menganalisis ribuan genom dengan cepat
Seiring sequencing genom manusia menjadi umum, pasar utama produk ini adalah kedokteran personal
Perusahaan seperti Oxford Nanopore menggunakan GPU onboard untuk basecalling, yaitu mengubah sinyal listrik mentah dari sequencer menjadi A, T, G, C, tetapi karena keterbatasan ukuran dan daya, hasilnya tidak sebaik yang diharapkan
Perangkat ini bisa menjadi game changer besar bagi tempat seperti ONT, terutama untuk pekerjaan yang lebih keren seperti adaptive sequencing
Area lain dalam bioinformatika, misalnya sebagian besar software analisis rutin, masih sangat bergantung pada CPU dan RAM
Illumina mengakuisisi perusahaan pembuat chip ini seharga 100 juta dolar
Biaya menganalisis satu genom di cloud dengan hardware serbaguna biasanya di bawah 10 dolar
Tentu saja chip seperti ini bisa memungkinkan analisis yang saat ini tidak mungkin atau terhambat biaya
Namun setidaknya saat ini bottleneck genomika bukan analisis, melainkan biaya sequencing, yang saat ini sekitar 400–500 dolar per genom
Namun menurut saya masih tersisa 1–3 tahun sebelum ASI benar-benar berjalan
Karena penasaran saya mencari tahu, dan perangkat ini menjalankan sesuatu bernama DGX OS
Fitur utama DGX OS 6 adalah berbasis Ubuntu 22.04, kernel Linux LTS terbaru 5.15, pembaruan paket software seperti Python dan GCC, kernel Linux yang dioptimalkan Nvidia dengan dukungan GPU Direct Storage tanpa patch tambahan, akses ke semua branch driver GPU Nvidia dan versi CUDA Toolkit, instalasi opsional Ubuntu OFED bawaan serta NVIDIA OFED untuk fitur tambahan, dukungan Secure Boot, serta dukungan DGX H100/H200
Saya jadi teringat apa yang terjadi kalau upgrade dilakukan ketika driver Nvidia berupa gumpalan biner terpasang
Ah, maaf, harusnya disebut telemetri
Nvidia telah melakukan hal yang seharusnya dilakukan Intel/AMD jika ingin mengancam ekosistem CUDA
Mereka merilis perangkat inferensi lokal/GPU 128GB yang “murah”
Bagus, dan ke depannya upaya AI Intel/AMD terlihat suram
Bahkan dengan analisis SWOT dasar atas posisi Nvidia, mereka semestinya mempertimbangkan kemungkinan pesaing mengeluarkan produk seperti ini
Entah Apple yang sudah sedikit demi sedikit menggerogoti area ini, atau AMD/Intel yang bisa atau seharusnya melakukannya
Tidak ada jaminan semuanya akan berjalan seperti ini, tetapi masa depan dengan model seperti LLM di setiap meja dan setiap rumah terasa cukup masuk akal
Ini bukan periferal yang dihubungkan ke komputer untuk menjalankan tugas khusus, melainkan komputer utuh yang menjalankan Linux
Ini seperti pertapa di taman. Membuat orang membayangkan masa depan ketika suatu hari semua orang memiliki versi masa depan dari benda seperti ini, perangkat itu hidup dan belajar bersama, dan berbeda dari AI SaaS berbasis cloud, bisa langsung diajari sehingga memberi keunggulan yang menyimpang dari rata-rata
Meski ada kelebihannya, orang yang menjalankan server Plex sendiri alih-alih berlangganan streaming masih sangat sedikit
Di sisi lokal pun, jika kemajuan hardware terus berlanjut dan ditemukan bahwa model kecil bisa menangani berbagai tugas dengan cukup baik, workstation lokal berperforma tinggi seperti ini paling jauh tampaknya akan tetap menjadi daya tarik ceruk
Saya penasaran dari mana asalnya
IBM Roadrunner adalah superkomputer pertama yang mencapai 1 petaflop, yakni 1 kuadriliun operasi floating-point per detik, pada 25 Mei 2008
100 juta dolar, 2,35MW, 6000ft²
Sebaliknya, Project Digits dirancang untuk peneliti AI, data scientist, dan mahasiswa, serta dengan GB10 Grace Blackwell Superchip baru dari Nvidia menyediakan performa hingga 1 petaflop untuk prototyping, fine-tuning, dan menjalankan model AI
3000 dolar, 1kW, 0,5ft²
Jadi setidaknya ada selisih 8 kali lipat, dan dalam praktiknya kemungkinan jauh lebih besar
Sangat meragukan juga apakah Digits bisa menghasilkan 1/8 petaflop pada FP32
Perbedaan lainnya tampak masuk akal jika mempertimbangkan rentang waktu 20 tahun
Tampaknya seperti penerus Nvidia Jetson AGX Orin 64GB Developer Kit: https://www.okdo.com/wp-content/uploads/2023/03/jetson-agx-o...
Saya penasaran dengan spesifikasi detailnya dari sisi bandwidth memori dan performa komputasi
Kalau masih seperti sekarang, sepanjang masa pakainya hanya mendapat 1–2 pembaruan kernel utama, dan harus melakukan hal aneh seperti memasang Ubuntu berusia 6 tahun di PC x86 hanya untuk menjalankan utilitas flash OS
Alasan produk ini terkenal di komunitas teknologi adalah sindrom komputer papan tunggal
Orang membelinya karena antusias dengan hal-hal yang tampaknya bisa dilakukan, lalu setahun kemudian 95% masuk laci karena hal yang sebenarnya dikerjakannya dengan baik berbeda dari alasan pembelian
Produk ini, seperti yang disebut artikel, lebih dekat ke keturunan varian HPC
Tampaknya dimaksudkan sebagai perangkat awal yang benar-benar berguna bagi orang yang ingin melakukan atau menjalankan tugas AI umum dengan lebih baik daripada PC sembarang
Namun Nvidia bukan perusahaan yang biasa menurunkan harga dengan mudah, jadi pasti ada catatan kecil di suatu tempat