- Orkestrator workflow serbaguna yang dapat diskalakan secara horizontal dan menyediakan Workflow-as-a-Service (WAAS) yang dikelola penuh
- Mengelola workflow skala besar seperti pipeline data dan pipeline pelatihan model machine learning
- Mengawasi seluruh siklus hidup workflow, termasuk retry, antrean, dan distribusi tugas
- Mendukung paket logika bisnis dalam berbagai format (image Docker, notebook, skrip bash, SQL, Python, dll.)
- Mendukung bukan hanya DAG (Directed Acyclic Graph), tetapi juga workflow non-siklik dan siklik
- Mencakup berbagai pola yang dapat digunakan ulang seperti loop
foreach, sub-workflow, dan percabangan bersyarat
- Definisi orkestrasi yang fleksibel dan kuat dalam format JSON
- Menjaga konsistensi atribut utama (penulis, informasi pemilik, pengaturan eksekusi)
- Membuat versi baru setiap kali workflow diubah, dapat dilacak, dan mudah di-rollback
- Ribuan pengguna di Netflix, termasuk data scientist, data engineer, machine learning engineer, software engineer, kreator konten, dan business analyst, menggunakan layanan ini untuk berbagai use case
- Keberadaan layanannya sudah diumumkan 2 tahun lalu, dan kali ini dirilis sebagai open source
- Mendukung berbagai use case workflow seperti pipeline ETL, workflow ML, dan pipeline A/B testing
- Skalabilitas horizontal memungkinkan pengelolaan sejumlah besar workflow dan banyak tugas di dalam tiap workflow
- Menjadwalkan ratusan ribu workflow dan jutaan tugas setiap hari, serta dioperasikan dengan SLO yang ketat bahkan saat trafik melonjak
- Berhasil memigrasikan jutaan workflow yang sudah ada di internal Netflix ke Maestro tanpa gangguan
- Dalam 1 tahun terakhir, jumlah tugas yang dieksekusi meningkat 87,5%
- Menjalankan rata-rata ratusan ribu tugas per hari dan menyelesaikan sekitar 2 juta tugas pada hari-hari tersibuk
1 komentar
Ternyata AI yang merangkum tulisan pengantar singkat yang ditulis saat ini dirilis sebagai open source: Maestro: workflow orchestrator milik Netflix
Tapi, terlalu banyak yang memakai nama Maestro ya haha
Maestro - kernel berbasis Rust yang kompatibel dengan Linux
Maestro - framework pengujian UI otomatis untuk aplikasi mobile