Perbaikan arsitektur untuk pipeline data real-time tanpa lag

 (engineering.ab180.co)
17 poin oleh toughrogrammer 2021-11-11 | 2 komentar | Bagikan ke WhatsApp

Pembahasan tentang hubungan antara Kafka consumer group dan jumlah partition, tantangan auto scaling yang muncul karenanya, serta pengenalan arsitektur baru untuk mengatasinya.

  • Pengenalan layanan Airbridge dan workload

  • Masalah pada arsitektur lama

  • Usulan arsitektur baru

    • Opsi 1: model driver, executor seperti Spark streaming

    • Opsi 2: model decouple antara Kafka consumer dan application server

  • Alasan memilih opsi 2

  • Arsitektur model decouple antara Kafka consumer dan application server

  • Hal-hal yang perlu dipertimbangkan dalam arsitektur baru

  • Kesulitan yang dialami

  • Hasil setelah menerapkan arsitektur baru

  • Hal-hal yang perlu dicoba lebih lanjut ke depannya

Bacaan terkait

2 komentar

 
lamanus 2021-11-11

Wah... saya juga pakai ECS, tapi belum pernah memikirkannya sedalam ini. Bagus sekali.
 
lamanus 2021-11-11

Sepertinya saat menggunakan envoy, permintaan untuk mengurangi trafik antar AZ berada dalam status tertahan.

https://github.com/aws/aws-app-mesh-roadmap/issues/94