Mari pastikan dulu apakah Airflow benar-benar pilihan terbaik untuk use case saya

• Karena ada terlalu banyak alternatif untuk Airflow, kita perlu memastikan dengan jelas apakah Airflow memang solusi terbaik untuk use case saya (atau bahkan apakah ini solusi yang valid)
• Alternatif yang disebutkan dalam tulisan tersebut
  • Prefect
  • Dagster
  • Cadence
  • Temporal

[hmkim]

Ada juga cwl, wdl, nextflow, snakemake, dan lain-lain.

[kbumsik]

Masalahnya, sebelum benar-benar mencoba langsung pada skala tertentu, ternyata tidak mudah memprediksi apakah Airflow memang cocok untuk diri kita. Untuk sesuatu yang seterkenal itu, rasanya ada beberapa jebakan yang sulit diketahui sebelumnya.

Tidak adanya trigger DAGrun berbasis event, pengembangan lokal yang tidak mudah (airflow standalone muncul di 2.2 jadi sedikit lebih mudah), konfigurasi DAG yang tidak dinamis, serta hal-hal seperti mudahnya salah menggunakan Variable tanpa memakai template jinja jika belum benar-benar memahami cara kerja internalnya, dan lain-lain...

Untuk proyek berikutnya, saya ingin mencoba merasakan Dagster sekali.