Anonimisasi Data Open Source dan Data Sintetis untuk Postgres dan Mysql

Halo, pembaca Hada News, kami senang dapat meluncurkan Neosync!

Neosync adalah platform open source yang membantu para pengembang membuat versi data produksi yang telah dianonimkan dan versi sintetis agar mereka dapat meningkatkan pengujian lokal, debugging, dan pengalaman pengembang tanpa risiko privasi atau keamanan.

Sebagian besar pengembang dan tim memiliki skrip seed database untuk membuat sejumlah data tiruan bagi database lokal dan staging. Masalah yang kami dengar dari para pengembang adalah bahwa fitur tampak berjalan baik di lokal, tetapi bug dan kasus pengecualian muncul di produksi karena data seed tidak mewakili data produksi. Masalah kedua adalah saat melakukan debugging error di produksi, tidak ada cara yang baik untuk mendapatkan data yang mendekati data produksi.

Menggunakan data produksi secara langsung dapat menyelesaikan masalah ini, tetapi sebagian besar tim tidak dapat melakukannya karena 1. masalah privasi/keamanan dan 2. skala.

Karena itu, kami membangun Neosync untuk menyelesaikan dua masalah tersebut.

Kami menyelesaikan masalah privasi dan keamanan dengan menggunakan anonimisasi dan data sintetis. Dengan lebih dari 40 transformer bawaan (atau menulisnya sendiri dalam kode), Anda dapat menganonimkan PII atau data sensitif agar aman digunakan secara lokal. Selain itu, alih-alih menganonimkan data, Anda juga dapat menghasilkan data sintetis dari nol yang terlihat seperti data produksi dan disesuaikan dengan skema database yang sudah ada.

Masalah kedua adalah skala. Beberapa database produksi terlalu besar untuk dimuat secara lokal atau memiliki data lebih banyak daripada yang dibutuhkan. Terkadang Anda juga ingin melakukan debugging pada data pelanggan tertentu dan memerlukan cara untuk memfilter hanya data mereka. Kami menyelesaikannya dengan subsetting. Anda memberikan kueri SQL untuk memfilter tabel, dan Neosync akan menangani semua kerumitannya.

Inti dari Neosync adalah kemampuannya menangani integritas referensial. Saat berurusan dengan database relasional, ada primary key, foreign key, unique constraint, dependensi siklik di dalam dan antar tabel, sequence, dan sebagainya.

Jadi, baik saat menganonimkan data maupun menghasilkan data sintetis, Anda memerlukan cara untuk mempertahankan constraint dan relasi tersebut; jika tidak, skema akan rusak.

Neosync menangani hal ini secara transparan. Jika ada masalah pada constraint, seperti foreign key yang rusak, kolom baru yang memerlukan pemetaan, foreign key non-null, dan lainnya, Neosync akan memberi tahu Anda agar Anda dapat mengambil tindakan dan memperbaikinya.

Cara kerjanya adalah sebagai berikut.

1. Hubungkan database sumber dan target.

2. Tentukan jenis job dan putuskan apakah akan menjalankannya sesuai jadwal. Job sinkronisasi menyinkronkan data dari sumber ke target, dan job pembuatan data menghasilkan data sintetis dari nol lalu melakukan streaming ke target.

3. Tentukan skema dan tabel yang akan disinkronkan serta ditransformasikan. Pilih transformer yang mendefinisikan cara menganonimkan data atau menghasilkan data sintetis di tingkat kolom, atau gunakan data sintetis yang dihasilkan AI untuk membuat data di database target.

4. Terakhir, Anda dapat menentukan subset. Ini adalah cara memfilter data yang dikirim ke target. Untuk itu, Anda dapat memberikan kueri SQL kustom atau filter.

Itu saja! Job akan berjalan sesuai jadwal yang telah Anda tetapkan. Kami menangani retry, backoff, dan integritas referensial di seluruh database. Kami juga menyediakan API, CLI, dan Github Actions sehingga Anda dapat menggunakan Neosync untuk mengisi database CI di pipeline CI.

Neosync adalah proyek open source yang ditulis dengan Go dan Typescript, dan dapat dijalankan dengan Helm atau Docker compose. Kami juga menyediakan platform hosting, dan Anda dapat memanfaatkan free tier yang cukup besar.

Kami menantikan masukan Anda, dan kontribusi selalu kami sambut.