Amazon memperkenalkan chip AI baru Trainium3 dan mengisyaratkan roadmap kolaborasi dengan Nvidia

• AWS memperkenalkan Trainium3 UltraServer yang dibekali chip Trainium3 berbasis proses 3 nanometer, menghadirkan peningkatan besar pada performa pelatihan dan inferensi AI
• Sistem baru ini menawarkan kecepatan 4 kali lebih cepat dan memori 4 kali lebih besar dibanding generasi sebelumnya, serta efisiensi energi 40% lebih tinggi
• Sistem ini dapat menghubungkan hingga 1 juta chip Trainium3, sehingga cocok untuk menangani aplikasi AI berskala besar
• Pelanggan seperti Anthropic, Karakuri, SplashMusic, dan Decart sudah menggunakannya dan telah mengonfirmasi pengurangan biaya inferensi
• AWS juga menyatakan bahwa chip Trainium4 generasi berikutnya akan mendukung Nvidia NVLink Fusion sehingga dapat beroperasi secara interoperabel dengan GPU Nvidia, yang dinilai sebagai titik balik penting dalam persaingan infrastruktur AI

---

Pengungkapan Trainium3

• AWS secara resmi mengumumkan Trainium3 UltraServer di acara re:Invent 2025
  • Sistem ini ditenagai oleh chip Trainium3 3 nanometer dan teknologi jaringan milik AWS
  • AWS menjelaskan bahwa performanya meningkat signifikan dibanding generasi kedua, baik untuk pelatihan maupun inferensi AI
• AWS menyebut sistem Trainium3 menghadirkan kecepatan pemrosesan 4 kali lebih cepat dan kapasitas memori 4 kali lebih besar
  • Setiap UltraServer dilengkapi 144 chip
  • Dengan menghubungkan ribuan server, hingga 1 juta chip dapat digunakan untuk satu aplikasi
• Chip baru ini menghadirkan peningkatan efisiensi energi sebesar 40%, membantu mengurangi konsumsi daya di pusat data skala besar
  • AWS menekankan bahwa hal ini juga memungkinkan penghematan biaya bagi pelanggan cloud AI

Pelanggan utama dan contoh penggunaan

• Anthropic, Karakuri dari Jepang, SplashMusic, dan Decart sudah menggunakan Trainium3
  • AWS menjelaskan bahwa para pelanggan ini telah secara signifikan menurunkan biaya inferensi
• AWS menyebut peningkatan performa dan efisiensi biaya ini menjadi fondasi untuk meningkatkan skalabilitas aplikasi AI

Roadmap chip generasi berikutnya, Trainium4

• AWS mengumumkan bahwa Trainium4 sudah dalam pengembangan dan akan mendukung teknologi interkoneksi berkecepatan tinggi NVLink Fusion dari Nvidia
  • Dengan demikian, sistem ini akan dapat beroperasi secara interoperabel dengan GPU Nvidia dan dapat dipadukan dengan teknologi rak server berbiaya rendah milik AWS
• Di tengah posisi Nvidia CUDA sebagai standar utama untuk aplikasi AI, sistem Trainium4 memiliki potensi untuk mempermudah pemindahan aplikasi berbasis GPU Nvidia ke cloud AWS
• Jadwal peluncuran Trainium4 belum diungkapkan, dan ada kemungkinan informasi tambahan akan muncul pada acara re:Invent tahun berikutnya

Makna strategis efisiensi energi dan penghematan biaya

• AWS sedang membangun “sistem yang mengonsumsi lebih sedikit” di tengah lonjakan penggunaan listrik pusat data
• Pendekatan ini dinilai sebagai upaya untuk mencapai dua tujuan sekaligus: menurunkan biaya operasional dan menjaga keberlanjutan
• Strategi AWS yang berfokus pada penghematan biaya berpotensi memperkuat daya tarik bagi pelanggan cloud dalam persaingan infrastruktur AI

Ringkasan

• Trainium3 adalah chip AI generasi ketiga yang meningkat besar dalam performa, memori, dan efisiensi
• Trainium4 menargetkan perluasan ekosistem AWS melalui kompatibilitas dengan Nvidia
• AWS mengejar infrastruktur AI yang berperforma tinggi, berbiaya rendah, dan ramah lingkungan sekaligus untuk memperkuat daya saingnya di pasar cloud AI

[GN⁺]

Komentar Hacker News

• Tim kami sudah berkali-kali bilang ke perwakilan AWS bahwa kami tidak tertarik dengan instance Trainium maupun Inferentia
  karena tidak ada bukti yang meyakinkan bahwa keduanya kompatibel secara stabil dengan pustaka standar seperti Transformers atau PyTorch
  AWS mengklaim semuanya berjalan baik, tetapi itu hanya berlaku di ‘jalur bahagia’ pada AMI tertentu milik mereka dan neuron SDK
  Begitu kami benar-benar bekerja memakai dependensi kami sendiri, semuanya langsung berantakan
  TPU milik GCP juga baru layak dipakai setelah Google menginvestasikan dukungan perangkat lunak dalam jumlah besar
  Saya tidak punya waktu untuk menjadi beta tester demi memakai chip AWS
  • AWS di luar layanan intinya (S3, Dynamo, Lambda, ECS, dll.) penuh dengan layanan beta
    Hanya sedikit yang benar-benar stabil, sisanya masih banyak sisi kasarnya
  • Google mengerahkan upaya besar untuk melebur TPU ke dalam ekosistemnya
    Sulit membayangkan Amazon akan berinvestasi sampai tingkat seperti itu
  • Bocorannya, ini tidak akan jalan kalau Anda tidak menulis banyak kode kustom
• Saya pernah mencoba membangun sendiri container LMI di SageMaker dan rasanya seperti neraka
  Versi vLLM tidak diperbarui selama 6 bulan, dan endpoint biasa tidak bisa dipakai karena timeout 60 detik yang diputuskan 8 tahun lalu
  Membayangkan penderitaan yang harus dilalui pengembang jika harus memakai silikon kustom dalam situasi seperti ini saja sudah mengerikan
• AWS banyak bicara besar soal Trainium, tetapi tidak ada satu pun pelanggan yang naik ke panggung untuk memujinya
  Orang-orang yang benar-benar pernah memakainya katanya menyerah karena sulitnya deployment dan operasional
  Sepertinya banyak dipakai secara internal, tetapi adopsi dari pihak luar hampir tidak ada
  Meski begitu, saya tetap memandang positif investasi Amazon pada chip buatannya sendiri
  • Instance spot Inf1/Inf2 begitu tidak diminati sampai harganya 10~20% lebih murah daripada instance CPU
    Trn1 tampaknya belum separah itu, jadi sepertinya masih ada yang memakainya
  • Saya dengar Anthropic juga banyak memakai Trainium
    Mungkin mereka mendapat dukungan penuh dari AWS
    Kalau tidak berinvestasi lebih banyak pada SDK dan tooling, tidak akan ada yang mau memakai cloud seperti ini
• Konsep Block floating point (MXFP8/4) menarik
  AI sedang mendorong tipe data dasar yang tidak berubah selama puluhan tahun
  Dokumen wiki Block floating point
• Menarik bahwa artikelnya sama sekali tidak pernah menjelaskan sebenarnya chip ini melakukan apa
  • Intinya adalah arsitektur beberapa systolic array 128x128
    Untuk detailnya, lihat newsletter Semianalysis
  • Sesuai namanya, ini chip untuk training
  • Pada akhirnya ini adalah chip yang melakukan operasi vektor
  • Sepertinya tugas sebenarnya chip ini adalah memuaskan para pemegang saham, jadi mereka merasa tidak perlu menjelaskannya kepada pengembang
• Sama sekali tidak ada pembahasan soal performa atau benchmark
  • Mereka memang bilang “4 kali lebih banyak”, tetapi itu tidak berarti 4 kali lebih cepat, dan saat bilang memorinya 4 kali lebih banyak pun tidak ada patokan pembandingnya
• Berita sebenarnya adalah bagian soal “roadmap yang ramah Nvidia”
  Amazon tampaknya ingin menekan biaya di AI seperti yang mereka lakukan di logistik
  Tetapi tingkat kepercayaan dirinya terlihat rendah, dan ini tampak seperti strategi demi menjaga muka untuk mempertahankan hubungan dengan Nvidia
• Menarik melihat NVLink makin meluas
  Intel juga ikut serta, dan ini terasa seperti momen transisi PCI → AGP
  AMD dulu sempat hampir menangkap peluang pada era HyperTransport, tetapi Infinity Fabric mereka sekarang tetap terbatas untuk penggunaan internal
  UALink maupun CXL juga mendapat perhatian, tetapi masih ada batas kecepatan PCIe
  Idealnya, integrasi jaringan harus menjadi fitur bawaan di chip
  Seperti saat Intel Xeon dulu hampir memberikan 100Gb Omni-Path secara gratis
  • NVLink Fusion pada akhirnya terlihat seperti jebakan ketergantungan pada Nvidia
    Intel memang sedang terdesak jadi bisa dimengerti, tetapi AWS menempuh jalan yang sama tampaknya bukan hal yang baik
    Kalau AMD, menurut saya lebih baik memasukkan SolarFlare NIC ke I/O die
    Jika transisi PCIe/SATA bisa dilakukan, mestinya transisi PCIe/Ethernet juga memungkinkan, tetapi UEC mungkin terlalu niche
• Post resmi Amazon: Memperkenalkan Trainium 3 UltraServer