Tenstorrent dan Kondisi Startup Hardware AI

• Kekuatan Tenstorrent
  • Mengembangkan CPU berperforma tinggi berbasis RISC-V dan core AI, serta menunjukkan pendekatan yang orisinal di bidang hardware AI
  • Membuka seluruh software stack dan alat pengembang sebagai open source, membangun ekosistem yang ramah pengembang
  • Dapat memproduksi chipset AI yang terdiferensiasi dengan memanfaatkan proses Samsung Foundry SF4X yang kompetitif dari sisi harga
• Kelemahan dan kekhawatiran
  • Dominasi kuat Nvidia di pasar hardware AI
  • Dibandingkan pesaing yang berfokus pada GPU, kelemahan relatif Tenstorrent masih terletak pada masalah latensi yang tinggi
• Posisi di pasar
  • Tenstorrent menawarkan nilai yang berbeda dari Nvidia, AMD, dan ARM melalui potensi hardware AI dan RISC-V IP
  • Strategi yang berfokus pada inference meningkatkan peluang keberhasilan di pasar

Gambaran teknis Tenstorrent

• Fitur utama Grendel (chipset AI generasi ke-3)
  • Mengadopsi arsitektur chiplet: memisahkan core CPU RISC-V berperforma tinggi dan core AI
  • Merancang topologi mesh untuk perpindahan data yang efisien antar-core
• Struktur core
  • Core RISC-V besar: dapat menjalankan Linux, untuk memproses kode umum
  • Core Baby RISC-V: core sangat kecil yang digunakan untuk perpindahan data dan eksekusi kernel. Sebanyak 752 core menempati kurang dari 1% dari total area die
  • Core Tensix: unit komputasi AI khusus untuk operasi vektor dan matriks. Setiap core Tensix dikelola oleh 5 core Baby RISC-V untuk eksekusi kernel
• Compiler
  • Menggunakan compiler yang dimodifikasi berbasis GCC. Pengguna hanya perlu menulis satu kernel, lalu GCC akan menangani sisanya secara otomatis

Tantangan startup hardware AI

1. Persaingan di pasar training
   • GPU H100 milik Nvidia mendominasi pasar
   • Perusahaan cloud besar seperti Amazon dan Google bekerja sama dengan mitra desain semikonduktor untuk memproduksi chip mereka sendiri
2. Peluang di pasar inference
   • Ada kemungkinan untuk bersaing dengan Nvidia dari sisi biaya dan performa
   • Daya saing harga berkat proses Samsung dan tidak menggunakan HBM
3. Mendapatkan pelanggan
   • Pasar hardware inference yang menargetkan perusahaan kecil atau startup menjadi sasaran utama

Strategi software Tenstorrent

• Software stack versi ke-6
  • Menyediakan aksesibilitas yang sesuai untuk beragam pengembang dan pengguna (dari model ML hingga kernel tingkat rendah)
  • Berkolaborasi dengan komunitas Discord untuk mengembangkan kernel yang inovatif
• Menyelesaikan masalah masa lalu
  • Sebelumnya, software stack harus dibangun ulang untuk setiap hardware
  • Kini, mereka mengembangkan software stack terpadu yang dapat berjalan tanpa bergantung pada hardware

Diskusi teknis dan kesimpulan

• Filosofi Tenstorrent
  • "Masa depan AI bukanlah pekerjaan aljabar linear murni, melainkan pekerjaan campuran"
  • Menekankan perlunya integrasi CPU dan core AI
• Visi Jim Keller
  • Jika workload AI masa depan menuntut integrasi CPU, maka Tenstorrent adalah satu-satunya vendor yang telah siap
• Prospek pasar
  • Pasar training AI hampir tidak menyisakan peluang bagi startup karena posisi monopoli Nvidia
  • Ada kemungkinan sukses di pasar inference dengan pendekatan yang inovatif
  • Performa Blackhole generasi ke-2 dan Grendel generasi ke-3 akan menjadi tolok ukur penting ke depan

Investasi dan valuasi perusahaan

• Valuasi Tenstorrent saat ini
  • Baru-baru ini dinilai sebesar 2 miliar dolar AS dalam putaran Seri D
  • Menangkap peluang di pasar RISC-V IP yang berkaitan dengan kenaikan harga ARM
• Perbandingan dengan pesaing
  • Dibandingkan startup hardware AI lain seperti Cerebras, Tenstorrent unggul dalam kemampuan teknis dan kecocokan pasar
  • Memiliki kelemahan daya saing dalam ekosistem CUDA dibandingkan Nvidia
• Strategi ke depan
  • Tetap fokus pada pasar inference sambil menjaga daya saing
  • Melanjutkan filosofi yang berpusat pada ekosistem pengembang dan open source

Kesimpulan

• Tenstorrent mengambil pendekatan yang orisinal dalam hardware AI dan desain CPU RISC-V, serta menawarkan pembeda penting di pasar yang didominasi Nvidia dan ARM
• Potensi pertumbuhannya di pasar inference tinggi, dan perusahaan ini dinilai sebagai salah satu startup AI yang layak investasi.

[GN⁺]

Pendapat Hacker News

• Menjalankan bisnis penyewaan komputasi berkinerja tinggi dan ingin mendemokratisasi komputasi agar mudah diakses siapa saja. Merasa minat terhadap perangkat selain Nvidia masih kurang karena posisi dominannya. Berharap minat dan permintaan terhadap layanan seperti ini terus meningkat.
  • Dengan ARM menaikkan harga lisensi dan royalti, masa depan IP CPU RISC-V terlihat cerah. Ada kekhawatiran karena semakin banyak perusahaan yang membatalkan kontrak.
  • Ini lebih merupakan versi mini dari komputasi berkinerja tinggi tradisional ketimbang perangkat keras AI, dan akan berguna untuk berbagai pekerjaan terlepas dari demam AI.
  • Tenstorrent melihat masa depan AI ada pada beban kerja campuran. Beban kerja CPU akan tetap dibutuhkan, dan sejauh ini belum ada perubahan besar.
  • Menyinggung kemungkinan penipuan oleh Groq, serta mengklaim bahwa Llama 3.1 405B dapat menggantikan engineer junior.
  • Hampir lupa dengan sengketa ARM-Qualcomm, dan perubahan besar akan segera terjadi.
  • Berharap AMD dan NVIDIA lebih agresif masuk ke pasar pusat data dan superkomputasi. Situasi saat ini diibaratkan seperti fandom tim olahraga.
  • Memuji sikap tim Tenstorrent yang terbuka untuk berdiskusi, dan berharap lebih banyak perusahaan bersikap seperti ini.
  • Ada kekhawatiran bahwa Llama berguna bagi engineer senior, tetapi bisa menghambat pembelajaran engineer junior. Perlu dipikirkan cara agar engineer junior bisa belajar dan memahami secara efektif.
  • Menertawakan klaim bahwa Llama 3.1 405B dapat menggantikan engineer junior.