Menjalankan query CloudWatch Logs dengan Athena

• Kekurangan CloudWatch Logs

  • Ada bagian yang sulit diatasi meski menggunakan Logs Insights

• Mencoba menjalankan query CloudWatch Logs dengan Athena Federated Query

  • query memakan waktu terlalu lama

  • troubleshooting menjadi sulit karena error log dan dokumentasinya kurang ramah

• Pada akhirnya memakai cara klasik: unloading ke S3 dengan Firehose lalu menjalankan query dengan Athena

  • Hal-hal yang dipertimbangkan dalam metode ini

    • Firehose dynamic partitioning

    • Athena partition projection

    • Firehose buffer size & interval

  • Hal yang perlu diperhatikan

    • Batas jumlah CloudWatch Logs subscription filter

    • Format log

    • Biaya

• IaC

  • Men-terraforming Athena table DDL

[toughrogrammer]

Saya menulis bullet list dalam beberapa level, tetapi formatnya rusak... Saya sudah mencoba dua cara, yakni whitespace dan tab, tetapi hasilnya tetap sama, jadi untuk sementara saya biarkan begitu saja. Mohon pengertiannya.

[xguru]

Ah, saat ini itu belum bisa. Nanti kami akan mendukung Markdown, jadi mohon tunggu sebentar~

[toughrogrammer]

Wah, saya menantikannya! Saya selalu sangat berterima kasih dan menggunakan layanannya dengan baik.

[toughrogrammer]

Saya sempat ingin mencoba lagi setelah menambahkan komentar, tetapi ternyata postingannya tidak bisa dihapus. Sepertinya kalau ada komentar, postingan memang tidak bisa dihapus.