Vector - pipeline data observability open source berperforma tinggi

• Platform pipeline data observability end-to-end (agen dan agregator) berperforma tinggi yang memungkinkan pengguna mengendalikan data yang dapat diobservasi
• Dapat mengumpulkan, mentransformasi, dan merutekan log serta metrik untuk dikirim ke vendor mana pun yang diinginkan saat ini, maupun vendor lain yang mungkin diinginkan di masa depan
• Mengurangi biaya, menyediakan pengayaan data (Enrichment) baru dan keamanan data, bersifat open source, serta menawarkan kecepatan hingga 10 kali lebih cepat dibanding alternatif lain

Prinsip

• Keandalan - Dibangun dengan Rust, dan keandalan adalah tujuan desain utama
• End-to-end - Dideploy sebagai Agent atau Aggregator. Vector adalah platform yang lengkap
• Terintegrasi - Log, metrik (beta), tracing (segera hadir). Satu alat untuk semua data

Kasus penggunaan

• Mengurangi total biaya observability
• Berpindah vendor tanpa mengganggu workflow
• Meningkatkan kualitas data dan memperbaiki insight
• Mengintegrasikan agen dan menghilangkan kelelahan akibat terlalu banyak agen
• Meningkatkan kinerja dan keandalan observability secara keseluruhan

Komunitas

• Startup dan perusahaan besar seperti Atlassian, T-Mobile, Comcast, Zendesk, Discord, Fastly, CVS, Trivago, Tuple, Douban, Visa, Mambu, Blockfi, Claranet, Instacart, dan lainnya mengandalkan Vector
• Vector diunduh lebih dari 100.000 kali per hari
• Pengguna terbesar Vector memproses lebih dari 30TB data setiap hari
• Vector memiliki lebih dari 100 kontributor dan terus berkembang

[softer]

Penjaga pipeline log

[xguru]

Pendapat Hacker News

• Penilaian positif terhadap software Vector

  • Vector adalah software yang sangat baik untuk menjalankan pipeline log multi-GB/s.
  • Agen Vector mengumpulkan log pod dan journald sebagai DaemonSet, lalu mengirimkannya ke agregator Vector pusat (Deployment) menggunakan protokol protobuf milik Vector.
  • Mendukung berbagai storage (s3, gcs/bigquery, loki, prom).
  • Dokumentasinya bagus, tetapi contoh pola umum kadang sulit ditemukan; namun seiring waktu dan bertambahnya pengguna, hal ini terus membaik.
  • Tips yang berguna adalah mencari "vector dev" di Google untuk mendapatkan hasil yang baik.
  • Baru-baru ini juga ditambahkan kontribusi yang menangani counter dengan lebih baik sebagai alternatif Prometheus pushgateway.

• Visi dan harapan terhadap sistem penyimpanan log

  • Sistem pemrosesan dan penyimpanan log hampir siap, dan dalam jangka menengah hingga panjang diharapkan berkembang menjadi sistem penyimpanan log yang bisa di-query.
  • Log diproses dengan alat seperti Vector lalu disimpan ke object storage dalam format file yang dipahami secara luas.
  • Objek log didaftarkan ke metadata store agar bisa dicari.
  • Alat seperti Delta Lake atau Iceberg dapat bekerja baik pada skala besar maupun kecil.
  • Beberapa pipeline pemrosesan log dapat melakukan commit ke storage yang sama.
  • Alat berperforma tinggi seperti Clickhouse, DuckDB, dan Spark dapat membacanya.
  • Karena menggunakan format standar, berpindah alat atau memakai beberapa alat sekaligus menjadi memungkinkan.

• Keandalan dan kegunaan Vector

  • Vector jauh lebih andal dibanding beats atau forwarder khusus vendor (chronicle forwarder, fdr).
  • Vrl berguna untuk melakukan "pre-parse" pada log berskala besar seperti aws cloudtrail dan imperva abp.

• Pengalaman menggunakan Vector dan rekomendasi

  • Ada pengalaman menggunakan Vector, dengan konfigurasi yang sederhana dan bahasa vrl yang cukup kuat.
  • Fitur "check" di CLI membantu menangkap masalah konfigurasi.
  • Direkomendasikan karena tidak ada masalah dari sisi performa dan efisien dalam penggunaan sumber daya.

• Keserbagunaan Vector

  • Vector lebih dari sekadar "berperforma tinggi"; ia seperti pisau Swiss Army untuk log dan metrics.
  • Digunakan untuk berbagai pekerjaan seperti mengubah log menjadi metrics, mengubah metrics ke format lain, mendorong data ke penyimpanan lain, dan melakukan filtering.
  • Menjadi pilihan pertama untuk mengumpulkan, mengagregasi, memfilter, dan melakukan prapemrosesan data observability.

• Minat dan harapan terhadap Vector

  • Mengetahui Vector setelah menyiapkan pipeline fluent-bit yang baru.
  • Vector memiliki banyak fitur menarik, dan jika ada waktu ingin mencobanya lebih cepat.
  • Terlihat menarik untuk dicoba di proyek baru.

• Cakupan penerapan dan kemungkinan penggunaan Vector

  • Yang diketahui tentang Vector sejauh ini kebanyakan berupa contoh dan diskusi yang menargetkan database atau aplikasi multi-tenant yang kompleks.
  • Muncul pertanyaan apakah ada yang pernah memakai Vector pada sistem terdistribusi seperti kendaraan otonom untuk mengagregasi log operasional, status sistem, serta input dan output tiap aplikasi.

• Contoh penggunaan nyata Vector dan kemungkinan pemanfaatan tambahan

  • Vector digunakan untuk pengiriman log, menggantikan konfigurasi logstash yang tidak mampu melakukan pekerjaan yang dibutuhkan.
  • Baru mulai memahami kemungkinan yang dimiliki Vector dan ada keinginan untuk memakainya lebih banyak.
  • Ingin mengetahui contoh penggunaan Vector selain untuk pengiriman log.

• Masalah kepercayaan terhadap Datadog

  • Sulit mempercayai Datadog yang mengelola Vector, yang terlihat seperti pesaing OTEL.

• Fitur Vector dan rencana untuk terus mengamati

  • Vector menarik, tetapi saat ini belum bisa dipakai karena tidak memiliki fitur tracing.
  • Berencana mengamati Vector selama beberapa bulan ke depan, dengan harapan ada fitur bagus yang nantinya bisa digunakan.