Masalah Biaya Infrastruktur saat Perusahaan Mengadopsi AI

Kebutuhan Infrastruktur Beban Kerja AI

• Beban kerja AI membebani komputasi, penyimpanan, dan jaringan dengan cara yang tidak diperkirakan oleh sebagian besar tim TI.
• Banyak organisasi saat memulai perjalanan AI perusahaan cenderung fokus pada pengeluaran yang nyata seperti biaya lisensi, layanan konsultasi, dan talenta.
• Namun, kebutuhan infrastruktur untuk mendukung beban kerja AI kurang terlihat, tetapi menonjol sebagai pusat biaya yang sama pentingnya.
• Implementasi AI memicu dampak berantai di seluruh ekosistem teknologi, menghasilkan masalah yang tak dapat diprediksi oleh kerangka kerja perencanaan kapasitas tradisional.

Keterbatasan perencanaan TI tradisional

• Beban kerja AI secara fundamental berbeda dari aplikasi perusahaan tradisional dalam pola konsumsi sumber daya.
• Pola penggunaan yang tidak dapat diprediksi:
  • Perencanaan kapasitas tradisional mengasumsikan pola penggunaan yang relatif dapat diprediksi, tetapi beban kerja AI dapat berkembang secara eksponensial saat adopsi meningkat.
  • Kasus penggunaan AI yang sukses menyebar dengan cepat ke seluruh departemen, dan setiap implementasi baru membutuhkan sumber daya komputasi tambahan.
• Munculnya agen AI otonom memperkenalkan dinamika biaya baru yang tak dapat diprediksi oleh perencanaan tradisional.
• Akselerator perangkat keras khusus:
  • Banyak aplikasi AI memerlukan akselerator perangkat keras khusus seperti GPU atau TPU, yang mengikuti kurva harga-kinerja berbeda dari CPU standar.

Tiga pilar utama infrastruktur AI

1. Arsitektur komputasi:
   • Beban kerja AI modern membutuhkan kapasitas pemrosesan paralel skala besar dan dapat melampaui kapasitas infrastruktur yang ada.
   • Inisiatif AI yang tampak ringan seperti chatbot layanan pelanggan tetap menimbulkan kebutuhan komputasi yang signifikan untuk menangani ribuan interaksi serentak.
2. Arsitektur penyimpanan:
   • Pengembangan dan penyebaran AI menghasilkan volume data yang sangat besar yang membebani sistem penyimpanan.
   • Selain penyimpanan data mentah untuk pelatihan dan validasi model, juga dibutuhkan kapasitas untuk artefak model, penangkapan data inferensi, dan solusi cadangan untuk aset AI.
3. Infrastruktur jaringan:
   • Perpindahan data menimbulkan kebutuhan jaringan yang signifikan.
   • Beban kerja AI harus mentransfer dataset dalam jumlah besar melalui infrastruktur jaringan, yang dapat memicu bottleneck yang menyebabkan penurunan performa.

Mengukur dampak nyata AI

• Organisasi membutuhkan pendekatan yang lebih canggih untuk mengukur dampak infrastruktur AI.
• Praktik terbaik adalah mengembangkan pemahaman komprehensif terhadap pemanfaatan sumber daya, melampaui metrik yang sederhana.
• Benchmarking per beban kerja memberikan perspektif yang lebih realistis dibandingkan spesifikasi vendor maupun benchmark industri umum.
• Akuntansi sumber daya total harus mengukur lebih dari sekadar metrik komputasi dasar, mencakup pemanfaatan memori, pola I/O penyimpanan, lalu lintas jaringan, dan penggunaan akselerator khusus.

Optimalisasi infrastruktur yang strategis

• Alih-alih sekadar menambah sumber daya untuk mengatasi masalah, organisasi dapat menerapkan pendekatan strategis untuk mengoptimalkan beban kerja AI.
• Model penyebaran berbasis beban kerja menyadari bahwa aplikasi AI yang berbeda memiliki profil konsumsi sumber daya yang unik.
• Kerangka tata kelola sumber daya menetapkan kebijakan yang jelas untuk alokasi sumber daya, memantau pola penggunaan, dan menerapkan mekanisme penagihan untuk memberi akuntabilitas.
• Pendekatan infrastruktur hibrida dapat memberikan keseimbangan optimal antara performa, biaya, dan fleksibilitas.

Pentingnya tim infrastruktur AI

• Tantangan terbesar dalam pengelolaan biaya infrastruktur AI adalah tantangan organisasi, bukan tantangan teknis.
• Tim TI tradisional sering dioperasikan dalam silo, dengan komputasi, penyimpanan, jaringan, dan pengembangan aplikasi yang dikelola secara terpisah.
• AI workload menuntut pendekatan yang lebih terintegrasi, dan organisasi yang sukses membentuk tim lintas fungsi yang menggabungkan keahlian domain TI tradisional, ilmu data, dan unit bisnis.
• Integrasi ini memungkinkan pengembangan solusi end-to-end, sehingga menjembatani kesenjangan antara kemampuan infrastruktur dan kebutuhan aplikasi.

Masa depan strategi infrastruktur AI

• Dengan berkembangnya cepatnya teknologi AI, organisasi harus mengembangkan strategi infrastruktur yang menjaga keseimbangan antara kebutuhan segera dan fleksibilitas jangka panjang.
• Banyak pelanggan enterprise berinvestasi sumber daya besar untuk implementasi RAG (retrieval augmented generation), tetapi ternyata lebih sulit dari perkiraan untuk mencapai penggunaan kelas enterprise dari sistem ini.
• Munculnya protokol yang distandarisasi secara mendasar mengubah cara sistem AI berintegrasi dengan infrastruktur perusahaan.
• Modularitas memungkinkan aplikasi tetap terlindung dari perubahan teknologi inti sehingga dapat dengan mudah mengadopsi pendekatan baru.

Membangun ekosistem AI yang berkelanjutan

• Keunggulan kompetitif nyata AI perusahaan bukan berasal dari algoritma paling canggih atau model terbesar.
• Membangun ekosistem infrastruktur yang berkelanjutan adalah cara agar inovasi AI tetap terdukung tanpa menekan keuangan organisasi.
• Melalui proses tinjauan berkala, kinerja infrastruktur AI dan efisiensi biaya harus dievaluasi agar organisasi dapat beradaptasi dengan kebutuhan yang berubah.
• Untuk menjamin nilai berkelanjutan dari investasi AI, pemimpin teknologi harus mengintegrasikan pertimbangan infrastruktur sejak awal perencanaan strategis.

[clumsypupil]

Biaya pengguna pada layanan nyata yang memanfaatkan AI tampaknya berbeda dari layanan konvensional, sehingga kadang membuat orang kelabakan. Sepertinya masalah terbesar adalah polanya berbeda dari pola layanan lama yang disebutkan di atas.