Ploomber - Framework open source untuk membuat pipeline data dengan cepat

• Dikembangkan menggunakan Jupyter/VSCode/PyCharm dan lainnya

• Deployment ke server produksi tanpa perubahan kode: Kubernetes, AWS Batch, Airflow, Kubeflow, Slurm, dan lainnya

• Notebook yang sudah ada dapat direfaktor menjadi pipeline modular

Fitur utama

• Pengembangan cepat menggunakan YAML

• Menyediakan fleksibilitas melalui Python API yang kuat

• Secara otomatis menyimpan cache hasil sebelumnya dari pipeline dan hanya menghitung ulang bagian yang berubah sejak eksekusi sebelumnya

• Deployment terdistribusi melalui shell script atau Kubernetes, Airflow, AWS Batch, dan lainnya

[japansea]

Tidak mungkin bisa menandingi Kafka, kan?