CEO Intel: "Seluruh industri termotivasi untuk menghapus pasar CUDA"
(tomshardware.com)- CEO Intel Pat Gelsinger memamerkan chip data center Core Ultra dan Xeon Generasi ke-5 dalam sebuah acara di New York City, sambil menyatakan bahwa dominasi CUDA milik Nvidia dalam pelatihan AI tidak akan berlangsung selamanya
- Gelsinger menilai industri sedang bergerak ke lapisan pemrograman Pythonic untuk membuat pelatihan AI lebih terbuka, dengan mencontohkan MLIR, Google, dan OpenAI
- Intel memandang pasar inferensi (inference) yang tidak bergantung pada CUDA sebagai medan persaingan yang lebih penting, dan ingin bersaing dalam eksekusi model pascapelatihan dengan Gaudi 3, Xeon, dan PC edge
- Pusat strategi AI Intel adalah OpenVINO, dan Intel memperkirakan lingkungan komputasi campuran di mana sebagian komputasi diproses di cloud dan sebagian lagi di PC
- Gelsinger mengatakan akan bersaing di pasar AI data center melalui CPU, akselerator, dan foundry, sambil mengejar peluang chip internal maupun peluang komersial dengan Nvidia dan AMD
Serangan Intel terhadap dominasi CUDA
- Pat Gelsinger menargetkan langsung teknologi CUDA milik Nvidia saat memperkenalkan Intel Core Ultra dan chip data center Xeon Generasi ke-5 dalam sebuah acara di New York City
- Saat menjawab pertanyaan di NASDAQ, ia mengatakan bahwa dominasi Nvidia CUDA dalam pelatihan AI tidak akan bertahan selamanya
- Ia berkata, “Seluruh industri termotivasi untuk menghapus pasar CUDA”
- Ia melihat MLIR, Google, dan OpenAI sedang bergerak ke lapisan pemrograman Pythonic untuk membuat pelatihan AI lebih terbuka
- Ia menyebut parit pertahanan CUDA “dangkal dan kecil”, serta mengeklaim bahwa industri ingin menghadirkan kumpulan teknologi yang lebih luas untuk pelatihan, inovasi, dan data science dalam skala besar
Strategi yang lebih menekankan inferensi daripada pelatihan
- Intel memandang inferensi sebagai pasar inti alih-alih hanya bersaing dalam pelatihan
- Menurut Gelsinger, setelah sebuah model dilatih satu kali, ketergantungan pada CUDA tidak lagi ada; yang penting adalah seberapa baik model tersebut bisa dijalankan
- Gaudi 3 yang pertama kali diperkenalkan di panggung disebut sebagai produk untuk menghadapi persaingan ini
- Xeon dan PC edge juga disebut sebagai sumbu persaingan ke arah yang sama
- Ini bukan berarti Intel meninggalkan pasar pelatihan, tetapi Gelsinger menilai bahwa “pada dasarnya pasar inferensi adalah medan penentunya”
OpenVINO dan komputasi campuran
- Gelsinger menekankan OpenVINO sebagai standar utama dalam upaya AI Intel
- Ke depan, ia memperkirakan dunia komputasi campuran di mana sebagian komputasi diproses di cloud dan sebagian lagi di PC pengguna
- Sandra Rivera menambahkan bahwa Intel bisa menjadi mitra pilihan karena memiliki skala dari data center hingga PC
- Rivera juga menonjolkan kemampuan Intel untuk melakukan produksi massal sebagai keunggulan
Persaingan tiga jalur yang membidik pasar AI data center
- Gelsinger mengatakan Intel akan bersaing di seluruh pasar AI data center melalui tiga jalur: CPU, akselerator, dan foundry
- Untuk peluang internal, ia menyebut chip seperti TPU, Inferentia, dan Trainium
- Dari sisi peluang komersial, Intel juga ingin mengejar semua kemungkinan kerja sama dengan Nvidia, AMD, dan lainnya
- Intel mendorong strategi menjadi pemain foundry sambil tetap bersaing dengan produknya sendiri
Pertanyaan yang masih tersisa dalam peta persaingan
- Gelsinger menunjukkan kepercayaan diri yang kuat dalam presentasi hari itu sambil memimpin pemaparan timnya
- Apakah Intel benar-benar bisa menantang CUDA masih akan ditentukan setelah aplikasi untuk chip yang diumumkan Intel dan chip yang sedang dikembangkan para pesaing tersebar lebih luas
1 komentar
Pendapat di Hacker News
Seperti komentar lain, intinya adalah CUDA. Intel maupun AMD bisa membuat chip dengan cukup cepat, tetapi mereka tidak memahami bahwa pesaing yang sebenarnya adalah software dan ekosistem
Misalnya, di eBay Anda bisa membeli MI100 bekas dengan performa hampir setara A100 dengan harga seperlimanya, tetapi alasan semurah itu adalah karena dibanding GPU Nvidia, Anda akan menghabiskan sangat banyak waktu untuk membuatnya berjalan akibat ketidakcocokan software
Google juga baru sebatas menempelkan antarmuka XLA ke PyTorch untuk memberi peneliti jalur kompatibilitas yang lumayan, dan Intel pun serupa
Jika perusahaan di bidang ini ingin menjual chip, mereka harus membuat kumpulan pengujian raksasa seperti semua model di Hugging Face, lalu memperbaiki masalah satu per satu secara brute force
Intel, seperti biasanya, mengumumkan inisiatif terbuka lalu hanya memberi dukungan minimum, dan OpenVINO tampaknya kemungkinan besar akan berakhir tanpa banyak hasil. Triton dari OpenAI sepertinya sudah lebih sering disebut
Jika PyTorch berjalan baik di GPU Intel, banyak orang akan dengan senang hati pindah
Jika Anda cukup berumur, Anda pasti sudah berulang kali melihat pola ini di industri. Sejarah Unix melawan Windows NT pada 1990-an penuh dengan gerakan semacam ini, dan dunia networking pun sedang mengalami hal yang sama lagi dengan UltraEthernet
OpenGL mungkin pendekatan yang paling sukses, tetapi itu pun hanya nyaris berhasil, dan tidak banyak membantu pemain yang memang belum berada di jalur kemenangan. Unix 95 maupun Unix 98 tidak berhasil
Intel kemungkinan besar akan menggembar-gemborkan inisiatif terkait, lalu satu atau dua kuartal kemudian memangkas besar-besaran divisi itu
Untuk bersaing di ranah CUDA dibutuhkan komitmen bertahun-tahun dan perekrutan besar-besaran, dan untuk itu mereka juga harus menaikkan gaji ke harga pasar
Untuk mengambil bagian kue NVIDIA, mereka tidak harus langsung membuat sesuatu yang lebih baik dari H100. Banyak konsumen menginginkan produk yang puas berada di level 4090, 4080, bahkan 3080, tetapi harganya setengah, bisa langsung dibeli di Amazon atau NewEgg dan semacamnya, serta tidak punya tombol “minta harga”
AMD dan Intel jauh lebih baik daripada NVIDIA dalam membuat chip benar-benar bisa dibeli, tetapi itu saja tidak cukup
Yang dibutuhkan adalah
intelcc,amdcc,qualcommccyang menerima dan mengompilasi kode persis sama yang biasanya dimasukkan kenvcc. Bahkan satu prototipe fungsi pun tidak boleh berbeda, dan harus berjalan di hardware target tanpa pertanyaan. Itu harus menjadi pengganti drop-in untuk CUDAJika itu terjadi, mengompilasi ulang PyTorch dan semua hal lain untuk chip lain akan menjadi urusan sepele
Fakta menariknya, lebih dari separuh engineer NVIDIA adalah software engineer. Jensen secara sengaja dan strategis membangun stack software yang kuat di atas GPU, dan telah melakukannya selama puluhan tahun
Sampai Intel menemukan CEO yang seteknis dan sestrategis Jensen, bukan sekadar eksekutif yang hanya melihat angka, tampaknya sulit bagi mereka untuk berhasil melawan CUDA
Gelsinger bergabung dengan Intel pada 1979 saat berusia 18 tahun, ikut menulis buku pemrograman mikroprosesor 80386 pada 1987, dan menjadi arsitek utama prosesor generasi ke-4 80486 yang dirilis pada 1989
Pada usia 32 tahun ia menjadi wakil presiden termuda dalam sejarah Intel, lalu menjadi CTO pada 2001 dan memimpin pengembangan teknologi inti seperti Wi-Fi, USB, Intel Core, Intel Xeon, serta 14 proyek chip. Ia juga memulai Intel Developer Forum sebagai tandingan Microsoft WinHEC
Bahkan jika Intel tersandung kakinya sendiri, insentif untuk menarik lebih banyak pembuat chip tetap besar. Itu akan terjadi; pertanyaannya hanya apakah dalam hitungan bulan, tahun, atau satu dekade
Secara pribadi, saya bertaruh ke sisi yang lebih singkat. Sebagian besar tampak seperti masalah perkalian matriks, dan tiba-tiba ada uang serta perhatian yang sangat besar mengalir ke sana. Strategi APU AMD [0] juga mulai menjangkau pasar kelas atas lewat MI300A, perkembangan yang menarik
[0] Tambahan bagi yang tidak mengikuti arus ini: AMD telah menyatukan memori sistem dan memori GPU. Jika saya memahaminya dengan benar, pada chip-chip ini tidak lagi diperlukan “menyalin data ke GPU”. Pada dasarnya CPU mendapatkan ekstensi besar untuk matematika matriks. Dulu teknologi ini dimasukkan ke CPU murah sehingga tidak berguna untuk pekerjaan AI, tetapi sekarang mereka memasukkannya ke chip besar
Tentu saja bisa saja kesan pertama saya buruk. Saat pengumuman akuisisi, hal pertama yang ia katakan kepada Pivotal adalah “kalian dulu sepupu kami, tetapi sekarang lebih seperti anak kami”, sehingga seluruh suasananya jadi aneh
Hardware tanpa software hanyalah pasir yang mahal. Semua perusahaan semikonduktor tahu ini. Pada awalnya Intel-lah yang menyempurnakan paket lengkap ini dengan x86
Di ranah komputasi GPU, CUDA adalah x86. Ada di mana-mana, menjadi standar de facto, dan suatu hari akan terganggu. Pertanyaannya apakah itu butuh 1 tahun atau 10 tahun
Akan sangat bagus jika bisa membuat toolchain, ekosistem, dan pengalaman pemrograman yang lebih baik daripada CUDA, lalu membuatnya kompatibel dengan performa terbaik di semua platform komputasi. Semua pihak menang
Sampai saat itu, klaim seperti itu agak menggelikan, terutama mengingat OpenCL gagal dalam hal pengalaman programmer dan dukungan yang terus berkurang. Upaya memakai compute shader DX/GL/Vulkan untuk komputasi GPU serbaguna juga sama saja
Benarkah mereka “termotivasi”? Mereka sudah punya bertahun-tahun, tapi hasilnya mengenaskan. Entah apakah mereka pernah menginvestasikan bahkan sebagian kecil dari investasi yang masuk ke CUDA. Mereka harus menunjukkannya dengan uang, bukan kata-kata
Saya tidak mau koprosesor, dan tidak mau lagi bahasa tujuan khusus rusak lainnya, entah itu C/C++ yang penuh keanehan atau tiruan Python yang setengah matang. Cukup masukkan lebih banyak core dan biarkan kita memakai thread sungguhan dari bahasa pemrograman umum
Intel dan AMD punya waktu bertahun-tahun untuk menyediakan fungsi serupa di atas OpenCL
Sepertinya mereka perlu melihat dulu kegagalan mereka sendiri
Saat saya melihat-lihat untuk mencobanya, implementasinya ada beberapa, dan masing-masing mendukung subset sistem operasi dan hardware yang berbeda, jadi cukup berantakan
https://www.intel.com/content/www/us/en/developer/tools/onea...
Orang tidak ingin membeli komputasi yang lebih lambat dan mungkin lebih murah bahkan di hardware Nvidia. Jadi mengapa mereka akan melakukannya di hardware Intel? Aplikasinya juga harus diubah, jadi sejak awal ini jelas terlihat sulit
Saya bukan pakar di bidang ini, tetapi apakah ada yang saya lewatkan? Jika industri x86 ingin lepas dari apa yang disediakan Nvidia, Intel harus mengisi kategori “lebih baik” dengan satu atau lain cara
Sebaliknya mereka membangun di atas CUDA lalu mengeluh bahwa vendor hardware lain tidak punya CUDA
Menurut saya, itu karena OpenCL adalah subset bersama yang bisa disepakati beberapa perusahaan untuk diimplementasikan. Saya pernah menulis kode yang dikompilasi ke CUDA, OpenCL, C++, dan OpenMP, dan terus-menerus berulang: “Apa, OpenCL bahkan tidak bisa melakukan ini? Sial”
Saya ingin seseorang yang benar-benar memahami bidang AI menjelaskan apa moat CUDA yang sebenarnya
Jelas bagi semua orang bahwa itu bukan hardware, melainkan software, yaitu ekosistem CUDA
Dulu saya pernah sedikit berkutat dengan machine learning, tetapi pada level melatih dan menyesuaikan model saya memakai library tingkat tinggi, dan sejauh yang saya tahu library-library itu hanya menentukan backend mana yang dipakai dengan semacam pernyataan
ifJadi, dengan asumsi Intel dan lainnya mengimplementasikan pesaing yang praktis, apakah salah jika berpikir bahwa transisi akan mulus bagi banyak pengguna? Mungkin tidak bagi peneliti atau orang yang mendorong batas, tetapi bagi kebanyakan perusahaan biaya migrasinya sepertinya tidak besar
Produk seperti itu pun dibuat oleh perusahaan besar Amerika. Mereka bukan berusaha menjadikan PC komoditas serbaguna, melainkan menginginkan potongan kecil dari pasar besar
Klon PC yang sebenarnya, yaitu produk kompatibel drop-in murni, dibuat di Taiwan dan menguasai pasar. Perusahaan besar tidak menginginkan pasar yang terkomoditisasi dengan harga rendah dan semua orang bersaing di arena yang setara. “Transisi yang mulus” menghasilkan persis konsekuensi seperti itu, jadi itulah mengapa perusahaan-perusahaan ini tidak membuatnya
Tentu saja itu tidak semudah kedengarannya. Bahkan TPU Google masih kesulitan menyamai H100 dalam operasi floating-point per dolar, dan kalau tidak memakai Jax, penggunaannya juga cukup merepotkan
Para pesaing, khususnya Intel, tampaknya mencoba masuk ke pasar dengan pendekatan top-down. Mereka berusaha mendapatkan sebagian pasar inferensi dengan hardware pemrosesan sekuensial, dan pada dasarnya bergantung pada inovasi yang terjadi di Nvidia. CUDA akan selalu selangkah di depan
Dalam pelatihan LLM skala besar, CUDA bukan moat besar. Itu terlihat dari Anthropic yang pindah dari CUDA ke Trainium. Kemungkinan mereka menulis ulang semua kernel untuk Trainium
Orang-orang tampaknya tidak ingin beranjak dari CUDA. Selama beberapa bulan terakhir saya melihat berbagai model dan alat, dan kebanyakan kurang lebih seperti ini
device = "cuda" if torch.cuda.is_available() else "cpu"Saya belum melihat satu pun yang mengimplementasikan middleware jaringan saraf AMD: https://www.amd.com/en/developer/zendnn.html
cudasehingga ROCm terlihat seperti CUDA dalam pemeriksaan fiturMereka ingin membuat transisi mulus, dan karena kode lama sering memeriksa CUDA, mereka melakukan apa yang diperlukan agar kode itu tetap berjalan
Cara yang masuk akal untuk memutus siklusnya adalah AMD secara aktif berkontribusi pada proyek-proyek populer utama dengan kode, pengujian, dan instalasi “langsung berfungsi” yang mudah untuk menambahkan dukungan AMD, lalu menjual lebih banyak hardware setelahnya. Namun saya tidak melihat AMD melakukan itu
Jadi saat memakai GPU AMD pun, makna seperti
device = "cuda"tetap bekerja apa adanyaIntel tidak melakukan apa-apa selama 10 tahun terakhir. Mereka membuang miliaran dolar untuk GPU yang nyaris berfungsi, dan hanya memeras laba sambil memperlambat inovasi dengan bersandar pada monopoli CPU
Setidaknya Nvidia membuat sesuatu yang membantu kemajuan AI, dan taruhan berani mereka berhasil
Pat Gelsinger dan Lisa Su sama-sama tampaknya sama sekali tidak paham software, bahkan tidak bisa mendelegasikannya. Mereka berharap “komunitas” yang mengerjakan software untuk hardware mereka yang sangat kompleks
Presentasi Bill Daly dari Nvidia [1] menunjukkan bahwa mereka mengembangkan hardware dan software bersama-sama. Model pemrograman CUDA adalah taruhan besar sejak lama, dan mereka memang pantas menang di machine learning/AI
Jika Intel dan AMD tidak berubah secara radikal, permainan sudah selesai. Mereka akan kalah dari ARM dan Nvidia
[1] https://www.youtube.com/watch?v=kLiwvnr4L80
Ini jauh lebih sulit daripada yang dikatakan orang-orang
Kapalnya sudah berlayar 10 tahun lalu. Saat itu saya mengambil mata kuliah komputasi GPU serbaguna di universitas, mungkin namanya semacam “pemrograman paralel heterogen”, dan baru pada kuliah pertama saya tahu bahwa semua hardware dan materi disediakan gratis oleh NVIDIA
Hasilnya adalah kelas CUDA murni yang sama sekali tidak menyebut alternatif, seperti kuliah Word dan Excel zaman dulu di kampus
Nvidia benar-benar piawai membangun atau membeli moat
Pada PhysX, jika tidak ada GPU Nvidia, bahkan pada CPU yang mendukung SSE pun akan jatuh ke jalur lambat FPU yang tidak dioptimalkan: https://arstechnica.com/gaming/2010/07/did-nvidia-cripple-it... https://www.realworldtech.com/physx87/3/ “Dari sudut pandang Nvidia, jika performa CPU dasar diturunkan dengan memakai instruksi x87 dan single thread, GPU akan terlihat lebih baik”
Program “The Way It’s Meant To Be Played” membayar studio untuk secara langsung merugikan AMD. Salah satu contohnya adalah Ubisoft menarik patch DX10.1: https://techreport.com/news/14707/ubisoft-comments-on-assass...
Dalam program “GameWorks”, mereka melangkah lebih jauh dengan membayar studio game untuk memasukkan langsung library Nvidia yang menurunkan performa ke dalam game: https://techreport.com/review/21404/crysis-2-tessellation-to... https://arstechnica.com/gaming/2015/05/amd-says-nvidias-game... https://wccftech.com/fight-nvidias-gameworks-continues-amd-c...
Saya sepenuhnya memahami bahwa NVIDIA punya insentif untuk mempertahankan dominasi CUDA, dan juga memahami bahwa dalam kondisi pasar ini perusahaan lain seperti AMD dan Intel telah melewatkan peluang
Namun, patut dicatat bahwa ketika parit teknis dan fungsional seperti ini mempertahankan monopoli de facto pada kasus penggunaan tertentu, pada akhirnya konsumenlah yang dirugikan
CUDA digunakan bukan hanya untuk AI, tetapi juga fisika, pemodelan numerik, kriptografi, biologi, dan sebagainya. Nvidia membangun platformnya dengan menemukan ribuan kasus penggunaan dan mendengarkan masukan pelanggan, lalu AI menjadi sumber pendapatan yang sangat besar
Masalahnya, Intel dan AMD kemungkinan besar ke depan pun hanya akan melihat kantong uang “AI” dan mengabaikan bagian lain dari platform, termasuk debugging, compiler, integrasi bahasa, GUI, hingga perbaikan bug
Kalau Intel berkata, “Kami akan menginvestasikan miliaran dolar ke OpenCL untuk menjamin pengalaman developer dan platform kelas terbaik serta menyingkirkan CUDA,” itu akan menarik. Namun yang terbaca sekarang lebih mirip, “Kami akan mengganti beberapa pemanggilan fungsi CUDA di PyTorch.” Itu hanya akan terasa menyenangkan sampai tiba saatnya Anda harus men-debug masalah performa dan menyadari bahwa alih-alih bisa berbicara langsung dengan engineer CUDA di GitHub, Anda harus mengirim email ke mailing list Intel yang sudah mati
Dalam hal itu, CUDA adalah keuntungan besar bagi konsumen. Karena alternatifnya benar-benar buruk