Rocky - Mesin transformasi SQL yang memeriksa tipe seluruh pipeline untuk menangkap perubahan yang merusak sebelum dijalankan
(github.com/rocky-data)- Deteksi otomatis schema drift: Jika tipe/nama kolom tabel sumber berubah di hulu, Rocky melakukan diff lalu secara otomatis membuat ulang target
- Menangkap kueri yang lolos di pengembangan tetapi gagal di produksi sebelum dijalankan, dan langsung memblokir situasi seperti “sampai kemarin berjalan baik, tapi datanya aneh” pada saat eksekusi
- Kontrak data saat compile time: Menangkap kolom wajib yang hilang, penghapusan kolom terlindungi, dan perubahan tipe yang berisiko dengan kode error (E010, E013) sebelum satu baris pun ditulis ke tabel produksi
- Menyediakan column lineage tingkat kolom: Jika memilih satu kolom tertentu, bisa ditelusuri balik dari seed hingga tabel fakta akhir - tidak perlu membuka file model satu per satu saat bertanya “angka ini berasal dari mana?”
- Branch = lingkungan eksperimen terisolasi: Buat branch eksperimen di skema terpisah dengan
rocky branch create, lalu setelah memeriksa hasilnya lakukan promotion atau drop untuk mencegah risiko menyentuh tabel produksi - Pembuatan model AI: Secara otomatis membuat model Rocky DSL dari input bahasa alami seperti “buatkan model agregasi penjualan bulanan”, bahkan otomatis mencoba ulang jika compile gagal - tidak perlu menulis boilerplate SQL sendiri
- Menyediakan VS Code language server: Menampilkan ketidakcocokan tipe dan referensi yang rusak saat penulisan, bukan baru di CI; mendukung tampilan tipe kolom saat mouse hover dan go-to-definition di semua model
- Data masking — Beri tag pada kolom PII dan atur masking per lingkungan; jika data bocor tanpa dimasking, pemeriksaan akan dianggap gagal
- Manajemen otomatis incremental load: Cukup atur
strategy = "incremental"+timestamp_column, maka watermark akan diingat otomatis.- Setelah initial load 500 baris lalu ada tambahan 25 baris, hanya delta yang diproses cepat sehingga tidak perlu mengelola kondisi WHERE sendiri
- Tanpa vendor lock-in:
rocky emit-sqlmerender semua model transformasi secara offline tanpa koneksi warehouse menjadi SQL murni yang sudah diurutkan berdasarkan dependensi, danrocky import-dbtmengonversi proyek dbt Core murni dengan satu perintah - Biarkan Databricks/Snowflake/BigQuery yang sudah ada tetap seperti sekarang, sementara kompilasi/eksekusi/lineage/branch model SQL ditangani oleh satu binary Rust
- Status adaptor: Databricks, Snowflake, BigQuery, Trino, DuckDB
- Sumber: Fivetran, Airbyte, Iceberg, Manual
- Lisensi Apache 2.0
Belum ada komentar.