- Mesin sinkronisasi berkinerja tinggi yang bekerja seperti message bus untuk AI dan komputasi edge
- Database real-time log-native: dirancang untuk menyelesaikan masalah konsistensi data dan responsivitas real-time di lingkungan AI edge dan komputasi edge
- Menggabungkan mesin penyimpanan B+Tree dan replikasi streaming berbasis WAL (Write-Ahead Logging) untuk menjamin replikasi sub-detik dan konsistensi kuat di antara ratusan node
- Struktur multimodel yang mendukung penyimpanan Key-Value, Wide-Column, dan Large Object (LOB)
- Notifikasi real-time berbasis ZeroMQ untuk deteksi perubahan dalam hitungan milidetik
- Desain Edge-First yang dioptimalkan untuk arsitektur local-first
- Dukungan multitenancy melalui isolasi namespace
- Perbedaan dengan sistem yang ada:
- LMDB/BoltDB adalah penyimpanan lokal yang cepat, tetapi tidak dapat direplikasi
- etcd/Consul memiliki konsistensi tinggi, tetapi skalabilitasnya terbatas
- Kafka/NATS kuat untuk streaming, tetapi tidak dapat di-query
- UnisonDB menutup celah ini dengan menyediakan struktur tunggal berpusat pada log yang mengintegrasikan penyimpanan dan streaming
- Arsitektur inti 3 lapis
- 1. WALFS (Write-Ahead Log File System) – sistem file log berbasis mmap, dioptimalkan untuk baca/tulis skala besar
- Struktur log berbasis segmen yang mengoptimalkan penulisan sekuensial dan pembacaan acak sekaligus
- Mendukung pembacaan zero-copy, pencarian berbasis offset, dan tailing real-time
- Struktur pembaca paralel yang memungkinkan beberapa node replikasi membaca secara bersamaan
- 2. Engine – penyimpanan hibrida yang menggabungkan WAL, MemTable, dan B-Tree
- Mengombinasikan MemTable (skiplist) dan indeks B-Tree di atas WALFS
- Menggunakan FlatBuffers agar dapat ditransmisikan saat replikasi tanpa deserialisasi
- Mendukung transaksi multi-key atomik, dengan konsistensi dijamin pada unit commit
- LOB (large object) dapat diproses per chunk dan di-streaming dalam unit transaksi
- Model Wide-Column mendukung pembaruan kolom parsial dan ekspansi skema dinamis
- 3. Replication – replikasi streaming berbasis WAL, termasuk pelacakan offset
- Dengan replikasi streaming berbasis WAL, follower melacak offset untuk sinkronisasi real-time
- Menggunakan record log FlatBuffer untuk mempertahankan struktur data yang self-described
- Pengiriman batch untuk mewujudkan streaming yang efisien
- Kinerja baca sekitar 2x lebih cepat dibanding BoltDB, dengan desain berfokus pada konsistensi
- Cara UnisonDB menyelesaikannya
- Kombinasi append-only log + B-Tree menghadirkan penulisan cepat dan pembacaan rentang yang efisien
- Mendukung replikasi multi-key berbasis transaksi dan sinkronisasi yang sadar kolom
- Menjalankan replikasi bawaan dengan gRPC WAL streaming + snapshot B-Tree
- Struktur tanpa compaction untuk latensi yang dapat diprediksi dan throughput tinggi
- Lisensi: Apache License 2.0
- Bahasa pengembangan: Go
- Bidang penggunaan yang cocok: AI edge, IoT terdistribusi, pemrosesan data local-first, sistem analitik real-time
Belum ada komentar.