Bagaimana Token AI Bepergian Melalui Pusat Data

• Pada 2026, inferensi AI telah berkembang hingga sekitar dua pertiga dari seluruh komputasi AI, dan mencakup 80–90% dari biaya komputasi sepanjang masa pakai model yang diterapkan, sehingga biaya pemrosesan token dan latensi menentukan keekonomian infrastruktur
• Satu permintaan melewati jalur 15 tahap: tokenisasi, API gateway, autentikasi, routing, penjadwalan, KV cache, GPU·HBM, kernel CUDA, NVLink·switch·NIC·Ethernet, lalu kembali sebagai respons
• Prefill, yang memproses input secara paralel, terikat pada jumlah komputasi dan latensi token pertama; sementara decoding, yang menghasilkan token satu per satu, terikat pada bandwidth memori serta kecepatan dan biaya generasi. Karena itu batching, kuantisasi, dan speculative decoding menargetkan bottleneck yang berbeda
• Continuous batching dan PagedAttention meningkatkan utilisasi GPU serta throughput konkuren, sementara prompt caching memangkas biaya input berulang hingga 90% dan latensi prompt panjang sekitar 85%; pemisahan prefill·decode memungkinkan pengoperasian pool GPU per tahap
• Biaya untuk menyediakan kualitas tetap turun dengan median sekitar 200 kali per tahun, tetapi throughput meningkat 7 kali; nilai jangka panjang terkonsentrasi pada bottleneck fisik seperti bandwidth HBM, jaringan NVLink, komponen optik, dan daya, serta pada platform inferensi yang mengubah efisiensi menjadi keterikatan pelanggan

---

Mengapa Inferensi Menjadi Pusat Ekonomi AI

• Chatbot, coding agent, ringkasan pencarian, dan caption gambar semuanya adalah pekerjaan pembuatan token yang menjalankan forward pass pada model terlatih untuk berulang kali memprediksi token berikutnya; proses inilah yang disebut inferensi
• Pada Mei 2026, Google mengungkapkan bahwa di seluruh layanannya mereka memproses 3,2 kuadriliun token per bulan
  • Jika disetahunkan, jumlahnya sekitar 38 kuadriliun token
  • Angka ini naik 7 kali dari 480 triliun token per bulan setahun sebelumnya, dan pada awal 2024 sebesar 9,7 triliun token per bulan
  • Angka ini merepresentasikan biaya untuk merespons permintaan pengguna, bukan pelatihan
• Porsi inferensi dalam komputasi AI meningkat dari sekitar sepertiga pada 2023, menjadi separuh pada 2025, dan sekitar dua pertiga pada 2026
• Pada model yang telah diterapkan, inferensi adalah harga pokok pendapatan yang berulang pada setiap permintaan; ada kaidah praktis industri bahwa inferensi mencakup 80–90% dari biaya komputasi sepanjang masa pakai
• Belanja modal 2026 yang diajukan empat hyperscaler besar mencapai sekitar 725 miliar dolar AS, naik 77% dibanding tahun sebelumnya
  • Lebih dari 60% di antaranya dialokasikan bukan untuk chip, melainkan untuk daya, pendinginan, dan bangunan
  • Pasar silikon khusus inferensi saja diperkirakan melampaui 50 miliar dolar AS pada 2026
• Ada dua perubahan yang memperbesar permintaan inferensi
  • Perluasan waktu inferensi dan sistem agent mengonsumsi 10–100 kali lebih banyak token per kueri
  • Workflow agent, karena retry, pemanggilan tool, dan pemuatan ulang konteks, 5–25 kali lebih mahal per tugas dibanding permintaan tunggal
• Biaya untuk menyediakan tingkat kualitas tetap telah turun dengan median sekitar 200 kali per tahun sejak awal 2024, tetapi muncul paradoks Jevons: token yang makin murah membuka lebih banyak pekerjaan dan meningkatkan total penggunaan
• Batching, paging, kuantisasi, speculative decoding, serving terpisah, dan network fabric semuanya adalah teknik untuk menurunkan biaya per token pada target latensi tertentu

Tahap 1–4: Mengubah Teks Menjadi Pekerjaan yang Dapat Di-batch

• Tahap 1: Pengguna dan tokenisasi

  • Klien mengirim teks melalui HTTPS, tetapi model menerima input berupa ID bilangan bulat, bukan teks
  • Tokenizer berbasis BPE tingkat byte memecah string menjadi token subkata, lalu memetakan tiap token ke ID dalam kosakata berisi sekitar 100 ribu–200 ribu entri
  • RFP dan pertanyaan 12.000 token dalam contoh menjadi urutan datar berisi 12.022 ID bilangan bulat
  • Tokenisasi dilakukan secara deterministik di CPU dan biayanya nyaris nol, tetapi jumlah token input·output menentukan tagihan
  • Context window 200 ribu–1 juta token pada model frontier 2026 adalah batas atas ukuran dokumen yang dapat dimasukkan sekaligus

• Tahap 2: API gateway

  • API gateway menghentikan TLS dan mem-parsing permintaan, lalu melakukan validasi skema, manajemen versi API, rate limiting kasar, pemberian ID pelacakan, dan pencatatan penggunaan awal
  • Dengan proxy sekelas Envoy atau NGINX dan web application firewall, lapisan ini memproses jutaan permintaan per detik, tetapi tidak menjalankan logika model
  • Anggaran latensinya di bawah 1 milidetik, dan sekitar 5% trafik yang berupa kesalahan format, kuota terlampaui, atau permintaan agresif ditolak sebelum mencapai sumber daya mahal

• Tahap 3: Autentikasi dan tingkat penagihan

  • API key atau token OAuth dihubungkan ke organisasi untuk memeriksa tingkat rate limit dan batas pengeluaran, serta menentukan harga per token yang akan diterapkan
  • Kelayakan untuk diskon input cache, jalur prioritas, dan harga batch murah juga ditentukan pada tahap ini
  • Sambil menetapkan isolasi data per organisasi dan batas pencegahan penyalahgunaan, byte anonim diubah menjadi unit kerja yang dapat diukur, ditagih, dan diisolasi

• Tahap 4: Load balancing

  • Load balancer umum mendistribusikan permintaan ke replika model yang sama menggunakan health check dan sinyal beban real-time
  • Pada LLM, round-robin sederhana dapat mengirim permintaan dengan system prompt atau prefiks dokumen yang sama ke replika berbeda, sehingga kehilangan peluang reuse cache
  • Load balancing AI modern berkembang menjadi pendekatan sadar-cache yang memilih replika dengan KV cache untuk prefiks yang sama, dan perannya mulai tumpang tindih dengan router inferensi pada tahap berikutnya
  • Ketika seluruh perangkat jenuh, keputusan untuk mengantrekan permintaan atau mengembalikan 429 juga dibuat pada tahap ini

Tahap 5–6: Menentukan Lokasi Eksekusi dan Batch

• Tahap 5: Router inferensi

  • Router inferensi memilih model·silikon·replika dalam beberapa milidetik
  • Di antara frontier 70B, 8B hasil distilasi, model penalaran, dan pasangan model draft·target, ia memilih konfigurasi paling ekonomis yang memenuhi service level objective
  • Memproses permintaan yang sebenarnya cukup dengan model 8B menggunakan 70B akan menggerus margin secara tidak perlu
  • FLOPS penting untuk prefill yang berpusat pada komputasi, sedangkan bandwidth HBM penting untuk decode yang berpusat pada memori, sehingga GPU yang cocok bisa berbeda bahkan dalam satu permintaan
  • Mengirim ke instance yang memiliki KV cache dengan prefiks yang sama dapat mengubah prefill 12.000 token menjadi cache hit yang nyaris gratis
  • Compiler dan autotuner melakukan precompile dan penyesuaian kernel GPU sesuai model, bentuk input, dan chip, lalu memilih rencana eksekusi termurah saat runtime
  • Together AI, Fireworks, Baseten, dan Modular memprodukkan pilihan kernel·chip·presisi di lapisan ini dan memonetisasinya melalui infrastruktur inferensi mereka sendiri

• Tahap 6: Scheduler dan continuous batching

  • Pada ukuran batch 1, H100 terikat pada memori ketimbang komputasi, sehingga utilisasi streaming multiprocessor hanya sekitar 30–40%
  • Scheduler menggunakan continuous batching untuk menambahkan permintaan baru dan menghapus sekuens yang selesai pada setiap forward pass
  • Tanpa menunggu kumpulan permintaan tetap selesai, GPU dapat terus diisi secara kontinu
  • Dengan cara ini, vLLM menghasilkan throughput 2–4 kali lebih tinggi daripada sistem serving sebelumnya, dan menangani 3–5 kali lebih banyak trafik dibanding loop PyTorch sederhana pada H100 yang sama

Tahap 7–8: Cache KV dan Manajemen Memori GPU

• Tahap 7: Cache KV

  • Di setiap lapisan attention, vektor Key dan Value dibuat untuk tiap token, dan token berikutnya merujuk ke K/V dari semua token sebelumnya
  • Jika ini dihitung ulang setiap kali, biayanya menjadi O(n²) pada konteks panjang, sehingga prefill menghitung K/V untuk 12.022 posisi sekali saja dan menyimpannya di cache KV
  • Setelah itu, tahap decode menambahkan satu K/V untuk token baru dan membaca cache yang sudah ada
  • Cache KV membesar sesuai jumlah dan panjang sequence simultan, dan menjadi struktur yang paling besar serta dinamis dalam mengonsumsi memori GPU saat serving

• PagedAttention dan Pencegahan Fragmentasi

  • Karena panjang sequence sulit diprediksi, alokasi memori kontigu dapat membuat 60–80% memori tidak terpakai
  • PagedAttention / vLLM membagi cache KV menjadi page berukuran tetap seperti memori virtual pada sistem operasi
  • Blok fisik dialokasikan sesuai kebutuhan dan dihubungkan melalui page table, sehingga tidak memerlukan ruang kontigu
  • Page dari sequence yang selesai segera dikembalikan
  • Sequence dari banyak pengguna dapat berbagi satu GPU secara aman dan efisien
  • Cara manajemen memori ini mendukung peningkatan throughput vLLM sebesar 2–4 kali

• Caching Prompt dan Prefiks

  • Permintaan yang mengulang prompt sistem, pembuka few-shot, atau prefiks dokumen yang sama dapat menggunakan kembali cache KV yang sudah dihitung sekali
  • Anthropic menawarkan pembacaan cache dengan harga 0,30 dolar AS per 1 juta token, yaitu 0,1 kali harga input biasa; input biasa 3 dolar AS
  • OpenAI GPT-5.x juga menerapkan diskon 90% untuk input cache sebesar 0,50 dolar AS dan input biasa sebesar 5 dolar AS
  • Pada prompt panjang, latensi juga berkurang sekitar 85%, dan pertanyaan lanjutan pada contoh RFP tidak perlu mengulang prefill 12.022 token

• Tahap 8: Tiga Komponen Memori GPU

  • Memori paket GPU memuat bobot model yang tetap, cache KV yang bertambah sesuai permintaan simultan dan panjangnya, serta activation sementara dan workspace
  • Setelah bobot dimuat, ruang yang tersisa menjadi anggaran cache KV, sehingga memori sering kali membatasi jumlah pengguna simultan lebih daripada jumlah komputasi
  • Model 70B membutuhkan sekitar 140 GB pada FP16 sehingga memerlukan dua H100 80 GB, tetapi pada FP8 ukurannya turun menjadi sekitar 70 GB sehingga masih menyisakan ruang cache KV di satu GPU
  • Memori yang dihemat dari bobot melalui kuantisasi langsung berujung pada lebih banyak pengguna simultan

Tahap 9–10: Bottleneck HBM dan Optimasi Kernel GPU

• Tahap 9: Bottleneck Berbeda pada Prefill dan Decode

  • Prefill adalah perkalian matriks besar yang memproses 12.022 token input secara paralel, memenuhi tensor core, dan terikat pada jumlah komputasi serta time to first token (TTFT)
  • Decode harus membaca seluruh bobot model dan cache KV yang terus bertambah dari HBM setiap kali membuat satu token berikutnya
  • Pada batch size 1, intensitas komputasi decode sekitar 1 FLOP per byte, jauh lebih rendah daripada batas roofline sekitar 410–590 FLOP/byte
  • Tensor core menghabiskan lebih banyak waktu menunggu memori daripada menghitung, dan bandwidth HBM menentukan batas atas kecepatan serta biaya generasi

• Pengurangan Presisi

  • Menurunkan presisi dari FP16 ke FP8 dan FP4 mengurangi jumlah byte bobot yang harus dibaca per token, sehingga meningkatkan throughput decode yang berpusat pada memori
  • NVIDIA NVFP4 adalah format floating-point 4-bit untuk tensor core generasi ke-5 Blackwell
  • Format ini menyediakan throughput aritmetika sekitar 2–3 kali lebih tinggi dan penghematan memori sekitar 1,8 kali dibanding FP8
  • Perbedaannya dari akurasi acuan dipertahankan dalam kisaran sekitar 1%
  • Ini turut mempercepat inferensi end-to-end hingga 5 kali dibanding Hopper

• Tahap 10: Kernel CUDA dan Fusion

  • Operasi matematika GPU dijalankan sebagai kernel, yaitu program kecil yang berjalan di ribuan core
  • Jika operasi transformer dijalankan sebagai ratusan kernel terpisah, tiap kernel membaca data dari HBM dan menulis kembali hasilnya, sehingga memberi beban besar pada pekerjaan yang dibatasi bandwidth
  • Kernel fusion menggabungkan beberapa operasi menjadi satu, mempertahankan data perantara di SRAM on-chip dan mengurangi akses HBM
  • FlashAttention menggunakan attention berbasis tile dan online softmax untuk menurunkan baca/tulis HBM sesuai panjang sequence dari skala kuadrat menjadi skala linear, serta mempercepat 2–4 kali
  • FlashAttention-3 memanfaatkan engine asinkron Hopper dan FP8 untuk mencapai 840 TFLOPS di H100, sekitar 85% dari performa puncak

• Speculative Decoding

  • Dalam decode, karena seluruh bobot harus dibaca bahkan saat menghasilkan satu token, biaya tambahan untuk memverifikasi beberapa kandidat token secara paralel relatif kecil
  • Model draf kecil mengusulkan K token berikutnya, lalu model target besar memverifikasinya dalam satu eksekusi paralel dan mengadopsi prefiks benar terpanjang
  • Outputnya secara matematis sama dengan decoding biasa, tetapi kecepatannya 2–4 kali lebih tinggi
  • Metode seperti EAGLE-3 mengadopsi lebih dari 75% token draf

Tahap 11–14: Jaringan yang Masuk ke Dalam Model

• Tahap 11: Jaringan scale-up NVLink

  • Model dengan triliunan parameter dan model MoE yang tidak muat dalam satu GPU dibagi ke beberapa GPU, sehingga komunikasi antargpu terjadi di setiap layer dan untuk setiap token
  • Jaringan bukan perangkat pendukung di luar loop decoding, melainkan beroperasi di dalam loop decoding
  • NVLink 5 menyediakan 1,8 TB/s per GPU, sekitar 14 kali lebih cepat daripada link PCIe Gen5
  • GB200 NVL72 menghubungkan 72 GPU Blackwell dan 36 CPU Grace ke dalam satu domain NVLink
  • Total bandwidth-nya 130 TB/s, dengan memori terpadu 13,4 TB
  • Dayanya sekitar 120 kW, dan pada model triliunan parameter menyediakan throughput inferensi hingga 30 kali lebih tinggi dibanding klaster H100

• Volume komunikasi yang diciptakan paralelisasi

  • Paralelisasi tensor membagi perkalian matriks di setiap layer ke beberapa GPU, lalu harus menggabungkan hasil parsial beberapa kali dengan all-reduce untuk setiap token
  • MoE mengirim token ke expert yang tersebar di beberapa GPU, sehingga komunikasi all-to-all sering menjadi bottleneck utama
  • Lingkungan operasional DeepSeek menggunakan 8 NIC 400 Gbps per node, dan dengan DeepEP menumpangtindihkan komunikasi antarexpert dengan komputasi untuk mengurangi berhentinya GPU

• Tahap 12: Switch dan kontrol kemacetan

  • NVSwitch dalam domain scale-up menyediakan 144 port NVLink dan switching non-blocking 14,4 TB/s, memungkinkan 72 GPU berkomunikasi serentak pada kecepatan puncak
  • Untuk jaringan scale-up yang melampaui rak, digunakan switch seperti NVIDIA Quantum-X800 InfiniBand, Spectrum-X800 Ethernet, dan Broadcom Tomahawk 6 102,4 Tbps
  • Jaringan AI mengurangi jumlah hop komunikasi kolektif dengan topologi yang dioptimalkan per rail, yang menghubungkan GPU bernomor sama ke switch rail yang sama
  • Operasi dalam fabric seperti SHARP melakukan reduksi di switch
  • Ketika ribuan GPU menyelesaikan satu tahap secara bersamaan, terjadi incast tersinkronisasi; kemacetan pada satu link saja dapat menghentikan seluruh komunikasi kolektif, sehingga routing adaptif menjadi wajib

• Tahap 13: NIC dan DPU

  • Paket yang berpindah antar-rak melewati SmartNIC atau DPU seperti NVIDIA BlueField
  • RoCE atau InfiniBand verbs memungkinkan GPU jarak jauh membaca memori GPU lain secara langsung tanpa melewati CPU
  • Kecepatan link saat ini 400 Gb/s, dan 800 Gb/s sedang distandardisasi
  • DPU menangani kontrol kemacetan, enkripsi, virtualisasi storage, dan isolasi multi-tenant sebagai pengganti CPU host
  • Dalam klaster yang dioptimalkan per rail, setiap GPU kadang diberi NIC khusus; DeepSeek memasangkan 8 GPU dengan 8 NIC 400 Gb/s

• Tahap 14: Ethernet dan komponen optik

  • InfiniBand menyediakan latensi sekitar 1–2 µs dan fabric lossless, sehingga menjadi pilihan tradisional untuk klaster AI; RoCEv2 Ethernet diperlakukan sebagai pilihan kedua dengan latensi sekitar 5–10 µs
  • Ultra Ethernet Consortium mengumumkan UEC 1.0 pada Juni 2025, yang merekonstruksi stack Ethernet untuk AI
  • Dell’Oro memperkirakan Ethernet akan melampaui InfiniBand di jaringan backend AI pada 2027
  • Inferensi sensitif terhadap biaya dan dekat dengan lingkungan multi-tenant serta perusahaan, sehingga struktur harga Ethernet dan ekosistem terbukanya menjadi penting

• Biaya dan daya komponen optik

  • Transceiver optik menyumbang sekitar 60% biaya jaringan dan sekitar 45% daya jaringan
  • Karena jaringan menyumbang sekitar 15–18% dari total biaya klaster, komponen optik saja setara dengan sekitar 10% dari total biaya
  • Modul pluggable 800G pada satu switch mengonsumsi total lebih dari 500 W, sehingga bisa memakai daya lebih besar daripada ASIC switching
  • Pasar transceiver optik AI diperkirakan naik 57%, dari sekitar 16,5 miliar dolar AS pada 2025 menjadi sekitar 26 miliar dolar AS pada 2026
  • Co-packaged optics (CPO) memindahkan perangkat optik ke paket switch, menurunkan daya link 1.6T dari sekitar 30 W menjadi 9 W
  • NVIDIA mengklaim efisiensi daya 5 kali dan resiliensi 10 kali pada switch fotonik yang dijadwalkan meluncur pada paruh kedua 2026
  • Pada model yang lebih besar dari satu GPU, kesenjangan bandwidth sekitar 20–40 kali antara scale-up NVLink dan scale-out Ethernet harus dikelola

Tahap 15: Streaming respons dan penyelesaian tagihan

• Setelah token terakhir dihasilkan, detokenisasi mengubah ID integer kembali menjadi teks
• Respons menelusuri kembali jalur melalui NIC, switch, load balancer, dan gateway, lalu biasanya distream per token sebagai server-sent events (SSE)
• Pengguna dapat mulai membaca sekitar 0,3 detik sebelum seluruh jawaban selesai, sehingga TTFT sangat memengaruhi kecepatan yang dirasakan
• Terakhir, penagihan ditutup dengan menghitung token input biasa atau yang di-cache serta token output yang lebih mahal sesuai tier yang ditentukan pada tahap autentikasi

Sistem operasi inferensi bernama serving terdisagregasi

• Batching, paging KV, pemisahan prefill dan decode, pemilihan hardware, serta komunikasi kolektif semuanya merupakan masalah penjadwalan workload heterogen di lapisan memori dan jaringan untuk meningkatkan utilisasi silikon mahal
• Disaggregated serving pada 2026 memisahkan prefill yang berpusat pada komputasi dan decode yang berpusat pada bandwidth ke pool GPU terpisah
• Masing-masing pool dapat diskalakan dan disesuaikan secara independen, sementara cache KV distream di antara kedua pool
• NVIDIA Dynamo, vLLM, SGLang, llm-d, dan Mooncake mengadopsi struktur ini

Mengapa perusahaan compiler menjadi cloud inferensi

• Perusahaan compiler, kernel, dan auto-tuner menjalankan teknologi mereka di infrastruktur sendiri dan menjual token, alih-alih melisensikannya, sehingga mengubah selisih efisiensi menjadi margin kotor
• Jika kernel, batching, kuantisasi, dan speculative decoding meningkat 2 kali, token yang dapat dijual per GPU juga naik 2 kali
• Auto-tuner yang memilih kernel berbiaya terendah untuk setiap kombinasi model, bentuk input, dan chip menghasilkan pendapatan langsung dari armada GPU berskala besar
• Pendapatan tahunan berulang Baseten meningkat dari sekitar 200 juta dolar AS pada Desember 2025 menjadi sekitar 600 juta dolar AS pada Maret 2026, tumbuh sekitar 1.900% dibanding tahun sebelumnya
  • Perusahaan ini menggalang 1,5 miliar dolar AS dengan valuasi 11–13 miliar dolar AS
  • Valuasinya naik dari 5 miliar dolar AS lima bulan sebelumnya
• Akuisisi Qualcomm atas Modular senilai sekitar 3,9 miliar dolar AS adalah contoh perusahaan chip yang mencoba menandingi NVIDIA dengan compiler yang independen dari hardware

Kriteria memilih penyedia inferensi

• Latensi, biaya, keandalan

  • Latensi harus dinilai dengan membaginya menjadi TTFT, yang menentukan kapan jawaban mulai muncul, dan latensi antartoken, yang menentukan kecepatan jawaban selesai
  • Yang penting adalah latensi ekor p99, yang mencerminkan jeda yang benar-benar dialami pengguna, bukan median
  • Inferensi GPU umum membutuhkan sekitar 400–600 ms untuk token pertama
  • Groq dan Cerebras menyajikan TTFT di bawah 100–150 ms dan kecepatan output lebih dari 1.600–2.100 token per detik pada model sekelas Llama-70B, sekitar 4–6 kali stack GPU umum
  • Biaya harus dihitung sebagai biaya campuran yang mencerminkan rasio input-output, tingkat cache hit, dan apakah pemrosesan batch memungkinkan, bukan harga tunggal yang dipublikasikan
  • Output sekitar 4–5 kali lebih mahal daripada input dan biasanya mendominasi total biaya
  • Prompt caching menurunkan biaya input 50–90%, sementara tier pemrosesan batch umumnya menurunkannya sekitar 50%
  • Harga pada pertengahan 2026 berbeda dengan kelipatan dua digit, mulai dari sekitar 0,04–0,20 dolar AS per 1 juta token untuk endpoint model terbuka yang dioptimalkan biaya seperti DeepInfra atau Groq, hingga beberapa dolar untuk model frontier
  • Contoh harga Groq adalah 0,15 dolar AS untuk input dan 0,60 dolar AS untuk output
  • Keandalan harus diukur melampaui sekadar SLA uptime, hingga ketersediaan fungsional
  • Azure OpenAI menyediakan SLA 99,9% untuk pembuatan token
  • Perusahaan juga menuntut SLA latensi seperti TTFT di bawah 200 ms pada 99,99% panggilan
  • Lonjakan tingkat penolakan, perubahan versi model otomatis yang memperburuk hasil evaluasi, dan pembatasan kuota saat beban tinggi dapat merusak produk meski uptime resmi tetap terpenuhi
  • Versi model harus dipatok, kapasitas dinegosiasikan, dan ketersediaan fungsional dipantau sendiri

• Tujuh kriteria yang menentukan kelayakan produksi

  • Throughput dan batas permintaan: batas token per menit dan ruang lonjakan throughput membatasi pekerjaan paralel agen serta skala ekspansi
  • Keamanan dan kepatuhan regulasi: SOC 2 Type II, HIPAA, ISO 27001, dan GDPR adalah syarat dasar bagi industri teregulasi, serta sulit ditambahkan belakangan
  • Lokalitas data dan deployment privat: jaminan tanpa retensi, VPC·BYOC, dan dukungan on-premises menentukan persetujuan pembelian perusahaan
  • Determinisme dan kontrol versi: seed tetap dan checkpoint tetap mencegah drift hasil evaluasi akibat perubahan otomatis
  • Cakupan dan kebaruan model: ragam model, dukungan pada hari rilis untuk bobot terbuka baru, serta hosting fine-tuning·LoRA menentukan kecepatan adopsi model terbaru
  • Fleksibilitas deployment: pilihan serverless, infrastruktur khusus, dan self-hosting menentukan keseimbangan antara biaya dan tingkat kontrol
  • Portabilitas: API yang kompatibel dengan OpenAI dan routing multi-penyedia yang rapi menjadi sarana merespons gangguan, perubahan harga, dan perubahan model

Bottleneck fisik tempat nilai terakumulasi

• Bandwidth HBM menentukan batas atas decoding, domain scale-up NVLink bersifat eksklusif, sementara komponen optik dan daya menjadi input yang langka
• Karena lebih dari 60% dari belanja modal 725 miliar dolar AS digunakan untuk daya dan bangunan, metrik akhir jangka panjang adalah jumlah token per watt
• Pasar jaringan terbelah ke dua arah
  • Jaringan koneksi scale-up tetap menjadi wilayah yang tertutup dan defensible
  • Jaringan scale-out di luar rak terbuka dan menjadi komoditas di sekitar Ethernet dan UEC
  • Area diferensiasi adalah domain NVLink, optik·CPO, dan kekayaan intelektual kontrol kemacetan, bukan switching umum
• Margin perangkat lunak inferensi ditentukan oleh perkalian selisih efisiensi, tingkat utilisasi, dan skala operasi; hanya perusahaan yang mengubah performa menjadi kekuatan distribusi dan biaya perpindahan yang bisa bertahan di tengah penurunan harga
• Bisnis yang menjadikan kecepatan mentah saja sebagai keunggulan kompetitif dapat melihat performa yang sama dikomoditisasi oleh lapisan compiler dan alat gratis NVIDIA
• Pembesaran skala ekonomi token tidak otomatis menjamin margin tinggi; platform yang mengubah bottleneck memori·interkoneksi·optik·daya dan efisiensi menjadi lock-in pelangganlah yang menentukan perbedaannya