5 Tren Observability pada 2024

• Observability: ukuran yang menunjukkan seberapa baik keadaan internal sistem dapat disimpulkan dari hasil output eksternal sistem
  • Mengumpulkan metrik, event, log, dan trace untuk divisualisasikan dan dianalisis
  • Memberikan konteks yang kaya tentang latar belakang perilaku internal, sehingga membantu pemecahan masalah sistem secara mendalam
• Ringkasan 5 tren observability pada 2024 yang disebut setidaknya 3 kali oleh perusahaan observability seperti Grafana Labs, Splunk, Dynatrace, Chronosphere, serta lembaga riset pasar seperti Dimensional Research

1. Pengaruh AI makin besar sebagai ‘alat’ observability
   • AI digunakan untuk korelasi sinyal, deteksi anomali, analisis akar penyebab, dan optimasi performa, sehingga membantu lebih cepat memahami ‘apa yang terjadi di sistem’
   • Jika AI mendeteksi anomali, masalah dapat diselesaikan otomatis melalui investigasi dan respons otomatis
   • Permintaan terhadap alat yang mengotomatiskan proses rutin dan mengurangi pekerjaan berjam-jam meningkatkan pemanfaatan AI di observability
   • Untuk mengimbangi kecepatan penyediaan cloud-native, organisasi memerlukan analitik berbasis AI yang akurat dan dapat diprediksi, dengan otomatisasi infrastruktur multi-cloud dan praktik pengembangan agile dalam skala besar
   • Dengan memanfaatkan alat observability yang menggabungkan AI kausal, prediktif, dan generatif, insight dari data observability, keamanan, dan bisnis bisa diperkaya untuk analisis sistem yang lebih mendalam
   • Tentu saja, butuh waktu sebelum bisa dianggap bahwa ‘AI telah mencapai tingkat keandalan yang diinginkan pelanggan’
2. Meningkatnya pentingnya mengamati AI sebagai ‘objek’ observability
   • AI generatif menghasilkan data dalam jumlah besar dan kompleks dengan kecepatan eksplosif, didorong oleh otomatisasi dan produktivitas
   • Pengguna membuat konten dengan AI dan juga mengembangkan ‘AI milik mereka sendiri’, sehingga jumlah data yang muncul dan harus diproses sangat besar
   • AI berdampak luas pada berbagai bidang masyarakat seperti kesehatan, hukum, keuangan, dan perjalanan, sehingga harus dipahami dengan baik
   • Apakah AI berfungsi normal atau memiliki bias adalah objek pengamatan yang penting
   • Organisasi harus siap mengamati AI secara akurat dan spesifik
   • Mereka perlu mengetahui cara mengambil metrik, log, dan trace dari AI
3. Upaya menekan biaya observability
   • Banyak perusahaan menghadapi persoalan anggaran, mencari cara mengelola biaya dari sisi teknis maupun bisnis, serta mengendalikan biaya TI secara keseluruhan
   • Saat perusahaan beralih ke lingkungan multi-cloud atau cloud-native, jumlah data yang dihasilkan meningkat, begitu pula biayanya
   • ESG Research: “69% organisasi khawatir biaya pengumpulan dan penyimpanan data akan meningkat signifikan seiring waktu karena pertumbuhan data observability”
   • Dynatrace: “Tim harus sering memutuskan log mana yang dipertahankan untuk analisis real-time, mana yang dibuang, dan mana yang disimpan di storage berbiaya rendah dengan aksesibilitas rendah”
   • Cara mengurangi biaya observability:
     • Menekan pertumbuhan data dan menggunakan alat yang membantu organisasi memperoleh nilai lebih baik dari data yang dikumpulkan
     • Memfilter event duplikat dan tidak relevan yang tidak memberi nilai pada hasil observability
     • Menghapus nilai kosong, menghapus label yang tidak perlu, mengubah format data yang tidak efisien menjadi ‘format yang sesuai dengan objek observability’, serta melakukan trimming dan transformasi event
4. Meningkatnya permintaan untuk open source dan OpenTelemetry
   • Banyak perusahaan berinvestasi pada teknologi open source untuk mengatasi kekhawatiran ketergantungan pada vendor, lalu mengintegrasikannya sebagai bagian dari tech stack observability
   • Menurut survei Dimensional Research, 87% responden yang bertanggung jawab atas observability mengatakan, “OpenTelemetry akan menjadi standar data observability dalam 5 tahun ke depan”
   • OpenTelemetry dirancang untuk menghasilkan dan mengelola data seperti trace, metrik, dan log, tanpa ketergantungan pada vendor tertentu
   • Ini berarti dapat digunakan bersama semua alat observability yang mendukung OpenTelemetry
   • Namun adopsi OpenTelemetry masih berada pada tahap awal
   • Saat mengadopsi OpenTelemetry, ada persoalan seperti kekhawatiran soal dukungan teknis, kebutuhan menunggu adopsi pasar meluas, dan kurangnya pemahaman manajemen tentang nilainya
5. Penguatan langkah integrasi alat observability
   • Alih-alih memakai banyak alat observability, gerakan untuk mengonsolidasikannya ke alat dari satu atau dua vendor makin kuat
   • Hasil survei Dimensional Research menunjukkan perusahaan rata-rata menggunakan lebih dari 7 alat observability dan monitoring
   • Alasan integrasi alat observability: identifikasi masalah lebih cepat, penghematan biaya, perbaikan kolaborasi tim, minimisasi downtime, peningkatan keamanan, penyederhanaan kompleksitas operasional, pengurangan kebutuhan pelatihan, dan pencegahan data silo
   • Chronosphere: “Developer dan tim teknis tidak ingin menghabiskan waktu berpindah-pindah antarmuka pengguna atau software yang berbeda untuk mencari jawaban, atau mengeluarkan biaya untuk banyak software”
   • Dimensional Research: “Jika alat terlalu banyak, kesulitan dalam menunjukkan korelasi data membesar dan memicu ‘fenomena tool silo’ yang membatasi visibilitas di seluruh lingkungan”
   • Mengonsolidasikan alat observability ke alat dari satu atau dua vendor memudahkan pengumpulan data yang terfragmentasi dan standarisasi cara data dikumpulkan serta dikonsumsi