Perbaikan arsitektur untuk pipeline data real-time tanpa lag

<p>Pembahasan tentang hubungan antara Kafka consumer group dan jumlah partition, tantangan auto scaling yang muncul karenanya, serta pengenalan arsitektur baru untuk mengatasinya.<br /> <br /> - Pengenalan layanan Airbridge dan workload<br /> - Masalah pada arsitektur lama<br /> - Usulan arsitektur baru<br /> - Opsi 1: model driver, executor seperti Spark streaming<br /> - Opsi 2: model decouple antara Kafka consumer dan application server<br /> - Alasan memilih opsi 2<br /> - Arsitektur model decouple antara Kafka consumer dan application server<br /> - Hal-hal yang perlu dipertimbangkan dalam arsitektur baru<br /> - Kesulitan yang dialami<br /> - Hasil setelah menerapkan arsitektur baru<br /> - Hal-hal yang perlu dicoba lebih lanjut ke depannya</p>

[lamanus]

<p>Wah... saya juga pakai ECS, tapi belum pernah memikirkannya sedalam ini. Bagus sekali.</p>

[lamanus]

<p>Sepertinya saat menggunakan envoy, permintaan untuk mengurangi trafik antar AZ berada dalam status tertahan.<br /> <br /> https://github.com/aws/aws-app-mesh-roadmap/issues/94</p>;