Pelajaran yang Dipetik dari Mengoperasikan Airflow dalam Skala Besar

Shopify memanfaatkannya untuk ekstraksi data, pelatihan model machine learning, pemeliharaan tabel Apache Iceberg, pemodelan data berbasis DBT, dan lainnya

1. Saat menggunakan cloud storage, akses file bisa lambat
   → Meningkatkan performa dengan GCS + NFS
2. Jika volume metadata membesar, operasi Airflow bisa melambat
   → Menetapkannya menjadi 28 hari dengan memanfaatkan kebijakan retensi
3. DAG bisa sulit dihubungkan dengan pengguna & tim
   → Menggunakan penyimpanan metadata terpusat
4. Penulis DAG memiliki banyak hak akses
   → Memanfaatkan DAG policy
5. Sulit menjamin load balancing yang konsisten
   → Membuat jadwal terstandarisasi untuk mengurangi traffic burst
6. Ada berbagai titik kontensi sumber daya
   → Memanfaatkan Pools, Priority Weight, Celery Queue, dan Isolated Workers