CEO Nvidia Jensen Huang mengumumkan chip AI baru: "GPU yang lebih besar dibutuhkan"

CEO Nvidia Jensen Huang mengumumkan chip AI baru: 'GPU yang lebih besar dibutuhkan'

• Nvidia pada hari Senin mengumumkan generasi baru chip kecerdasan buatan (AI) dan perangkat lunak untuk menjalankan model AI.
• Prosesor grafis AI baru itu bernama 'Blackwell' dan dijadwalkan mulai dikirim pada akhir tahun ini.
• Pengumuman ini datang pada momen penting bagi perusahaan dan pembuat perangkat lunak yang masih sibuk berusaha mendapatkan chip yang mirip dengan H100 generasi saat ini.

Blackwell, penerus Hopper

• Nvidia memperbarui arsitektur GPU setiap dua tahun untuk menghadirkan lompatan besar dalam performa.
• GB200, prosesor berbasis Blackwell, menawarkan performa AI sebesar 20 petaflop dibandingkan 4 petaflop pada H100, sehingga memungkinkan perusahaan AI melatih model yang lebih besar dan lebih kompleks.
• Chip ini mencakup 'transformer engine' yang dibuat khusus untuk menjalankan AI berbasis transformer, serta menggabungkan dua die yang diproduksi oleh TSMC menjadi satu chip besar.

Mikroservis inferensi Nvidia

• Nvidia menambahkan produk baru bernama 'NIM' (Nvidia Inference Microservice) ke langganan perangkat lunak Nvidia Enterprise.
• NIM mempermudah proses inferensi untuk menjalankan perangkat lunak AI menggunakan GPU Nvidia yang sudah ada, sehingga perusahaan dapat terus memanfaatkan jutaan GPU Nvidia yang telah mereka miliki.
• Strategi ini mendorong pelanggan yang membeli server berbasis Nvidia untuk bergabung dengan Nvidia Enterprise, yang mengenakan biaya lisensi tahunan sebesar $4.500 per GPU.

Opini GN⁺

• Pengumuman chip AI baru Nvidia, 'Blackwell', dan perangkat lunak terkait 'NIM' melambangkan kemajuan teknologi di bidang AI serta menekankan pentingnya platform perangkat keras dan perangkat lunak untuk pelatihan dan inferensi model AI.
• Peningkatan performa chip Blackwell memberi peluang bagi para peneliti AI untuk bereksperimen dengan model yang lebih besar dan lebih kompleks, yang dapat memainkan peran penting dalam kemajuan AI.
• Namun, tingginya harga chip AI berperforma tinggi dapat menjadi hambatan masuk bagi sebagian perusahaan atau lembaga penelitian, dan hal ini dapat memicu diskusi tentang demokratisasi teknologi.
• Perusahaan lain yang bersaing dengan Nvidia juga sedang mengembangkan produk dengan kemampuan serupa; misalnya produk seperti AMD Radeon Instinct atau TPU milik Google menawarkan pilihan di pasar perangkat keras AI.
• Hal-hal yang perlu dipertimbangkan saat mengadopsi teknologi AI meliputi biaya, performa, kompatibilitas, dan dukungan teknis, dan pilihan teknologi baru Nvidia dapat memberikan keuntungan besar bagi perusahaan yang mampu memenuhi faktor-faktor tersebut.

[corelyai]

• Konferensi pengembang Nvidia: memperkenalkan chip Blackwell dan teknologi masa depan

• Nvidia memperkenalkan Blackwell, platform inovatif dengan 28 miliar transistor yang ditempatkan bersebelahan pada dua die untuk menciptakan satu chip raksasa yang mentransfer data 10 terabyte per detik, serta menawarkan kompatibilitas bentuk dan fungsi dengan Hopper.
• Switch link MVY pada Blackwell, yang dibekali 50 miliar transistor, memungkinkan komunikasi antargPU dengan kecepatan tertinggi sehingga sistem AI exaflops dapat dibangun dalam satu rak.
• Nvidia Blackwell mengumumkan kemitraan dengan AWS, Google, Oracle, dan Microsoft untuk mempercepat berbagai layanan AI dan mengintegrasikan teknologi Nvidia ke platform-platform tersebut.
• Nvidia memperkenalkan AI Foundry yang bekerja sama dengan perusahaan seperti SAP, ServiceNow, Cohesity, Snowflake, dan Dell untuk membangun solusi AI generatif dan pabrik AI.
• Dengan men-streaming Omniverse Cloud ke Vision Pro untuk mendukung integrasi dan alur kerja yang mulus di berbagai alat desain, Nvidia juga memperkenalkan Project Groot, Isaac Lab, dan Osmo untuk robot berbasis AI.
• Robot bdx milik Disney yang ditenagai Jetson tampil khusus dan memperlihatkan kemampuan pembelajaran di Isaac Sim.

Ini adalah ringkasan isi video CNET oleh corely.ai (https://www.youtube.com/watch?v=bMIRhOXAjYk)

[GN⁺]

Komentar Hacker News

• Di konferensi terlihat bahwa Nvidia bergerak ke arah menaikkan seluruh stack.

  • Sebagai vendor hardware, Nvidia seperti yang diduga terus membuat yang lebih besar.
  • Yang menarik adalah mereka sedang membangun NIM, semacam "docker for llms".
  • NIM adalah sistem container yang bisa diterapkan dengan mudah di hardware Nvidia.
  • Menarik untuk melihat dampaknya terhadap startup AI.

• Terlihat bahwa Nvidia sedang berubah menjadi penyedia platform.

  • Ini tampaknya akan lebih menguntungkan bagi Nvidia sebagai platform layanan AI.
  • Menjaga keseimbangan dengan kemitraan bersama AWS dan Microsoft bisa jadi sulit.
  • Nvidia diuntungkan karena ketergantungan AI pada CUDA sangat tinggi.
  • Menarik untuk melihat bagaimana ini akan berkembang ke depan.

• Bertanya-tanya apakah FP4 berarti floating point 4-bit.

  • Grafik perbandingan yang menyebut 30 kali lebih tinggi daripada Hopper agak menyesatkan.

• Nvidia mengakuisisi Bright Cluster Manager beberapa tahun lalu.

  • Terlihat ada niat untuk menyediakan seluruh stack, sehingga muncul pertanyaan siapa target akuisisi berikutnya.

• Bertanya apakah "perusahaan platform" dalam konteks ini berarti multi-chip.

  • Karena tidak realistis memasukkan terlalu banyak transistor ke dalam satu die, beralih ke multi-chip terasa logis.

• Mereka mengklaim pengurangan konsumsi daya sebesar 25 kali, tetapi ini sulit dipahami.

  • Perlu penjelasan dari mana angka ini berasal.

• Ada penyebutan tentang produksi massal petaflop dua digit.

  • Ada berbagai estimasi tentang daya komputasi yang dibutuhkan untuk mereplikasi aktivitas otak manusia.
  • Petaflop adalah 10^15.
  • Ini menegaskan bahwa kita hidup di zaman yang luar biasa.

• Pendapatan data center Nvidia mencapai rekor $18.4 miliar pada kuartal 4 2023.

  • Naik 27% dibanding kuartal sebelumnya dan 409% dibanding tahun sebelumnya.
  • Ini mengisyaratkan bahwa pendapatan dari inferensi meningkat cukup besar.

• Bahwa FP8 hanya 2,5 kali dibanding Hopper terasa agak mengecewakan setelah waktu yang lama.

  • Karena ini adalah 2 chip yang di-fuse, efek nyatanya hanya sekitar peningkatan 25%.
  • Sebagian besar kemajuan ada pada throughput memori dan penggunaan daya.
  • Menarik untuk melihat bagaimana kemajuan ini akan memengaruhi segmen konsumen.

• Memberikan tautan informasi tambahan tentang detail teknis.