- Framework terpadu untuk membangun alur end-to-end dengan mengumpulkan data dari berbagai sumber, mentransformasikan data menggunakan SQL dan Python, serta menambahkan pemeriksaan kualitas data
- Mirip dengan menggabungkan dbt + Airbyte + Great Expectations menjadi satu
- Terdiri dari CLI yang ditulis dengan Go dan ekstensi untuk VS Code yang terintegrasi dengannya. Pembuatan, pengelolaan, dan deployment pipeline dapat dilakukan di dalam VS Code
- Pengumpulan data dengan ingestr
- ingestr adalah CLI open source terpisah yang ditulis dengan Python untuk menangani penyalinan data antar sumber data dengan mudah
- Dukungan: AWS Athena, Databricks, DuckDB, Google BigQuery, Microsoft SQL Server, Postgres, Redshift, Snowflake, Synapse, Pager
- Transformasi data menggunakan SQL dan Python (mirip dbt)
- Manajemen environment Python menggunakan
uv. Dijalankan secara terisolasi
- Pemeriksaan kualitas data bawaan
- Mendukung template Jinja
- Mendukung dry-run sehingga pipeline dapat diverifikasi dari awal hingga akhir
- Dapat dijalankan di mesin lokal, instance EC2, dan GitHub Actions
- Injeksi secret menggunakan environment variable
- Mendukung berbagai strategi materialization untuk tabel/view. Tabel incremental
Belum ada komentar.