Peerdb Streams - CDC Postgres yang Simpel (Change Data Capture)

 (blog.peerdb.io)
13 poin oleh xguru 2024-05-09 | 1 komentar | Bagikan ke WhatsApp
  • Mereplikasi perubahan yang terjadi di Postgres dengan mudah ke antrean/message broker seperti Kafka, Redpanda, Google PubSub, dan Azure Event Hub
    • Secara internal menggunakan logical decoding Postgres untuk mengaktifkan CDC Postgres
  • Debezium banyak digunakan untuk CDC yang sudah ada, tetapi kurva belajarnya panjang dan membutuhkan banyak pengetahuan dasar untuk diterapkan di production
    • Konfigurasinya sulit (UI masih dalam pengembangan), dukungan format dan transformasi data juga tidak sederhana, dan untuk message broker selain Kafka tidak menyediakan tingkat fitur yang sama
  • PeerDB bertujuan membangun CDC Postgres yang lebih sederhana namun tetap komprehensif
    • Agar engineer dapat mengimplementasikan CDC Postgres tingkat production dalam hitungan hari dengan kurva belajar minimal
  • Dapat dikonfigurasi dengan mudah melalui UI PeerDB
    • Pengaturan sumber dan target data source (seperti Postgres dan Kafka)
    • Memantau progres CDC seperti throughput (per tabel) dan latensi
    • Pencarian log
    • Notifikasi Slack/email saat replication slot bertambah
    • Juga menyediakan fitur lanjutan seperti tuning mirror, pause, dan menambahkan tabel ke mirror
  • Juga menyediakan CLI. Menyediakan lapisan SQL yang kompatibel dengan Postgres sehingga ramah pengguna
  • Menerapkan transformasi per baris sebelum CDC di-streaming ke Kafka
    • Menggunakan skrip Lua
    • Enkripsi/masking informasi identitas pribadi (PII), mendukung berbagai format data (JSON, MsgPack, Flatbuffers, Protobuf, dll.)
    • Menyediakan editor skrip dan template yang berguna
  • Menyediakan konektor native untuk target selain Kafka
    • Google Pub/Sub, Azure Event Hubs

Bacaan terkait