Sebuah stack infrastruktur yang memungkinkan Anda mengembangkan dengan cepat di lokal lalu menjalankannya dalam skala besar di cloud tanpa perubahan kode. Kode/data/dependensi yang dikerjakan di notebook dapat dibuat menjadi snapshot dan disimpan di S3 atau sistem file, sehingga memungkinkan pekerjaan seperti melanjutkan alur kerja atau mereproduksi hasil sebelumnya.
2 komentar
Mengapa disebut MetaFlow dapat dipahami lewat ilustrasi di https://docs.metaflow.org/introduction/why-metaflow.
Dikembangkan bersama oleh Netflix dan AWS, sehingga terintegrasi secara mendalam.
Di local, data disimpan di hard disk dan cukup memasang notebook untuk pengembangan yang cepat dan nyaman,
lalu saat dijalankan di AWS, layanan-layanan berikut bisa digunakan untuk eksekusi skala besar.
Metadata - RDS atau Metaflow Metadata Service https://github.com/Netflix/metaflow-service
Datastore - AWS S3
Compute - AWS Batch https://aws.amazon.com/batch/
Notebook - Sagemaker Notebook https://aws.amazon.com/sagemaker/
Scheduling - Step Functions https://aws.amazon.com/step-functions/
Large-Scale ML - Sagemaker Models https://aws.amazon.com/sagemaker/
Terlepas dari pustaka machine learning/data science yang sebenarnya digunakan—PyTorch, Tensorflow, atau Scikit-Learn—semuanya bisa diintegrasikan.