- Bekerja cepat dan efisien dengan FastCDC (Content Defined Chunking)
- Alat yang digunakan di Google Stadia
- Biasanya developer game mengembangkan di Windows dan harus menjalankannya di mesin Linux
- Untuk penyalinan cepat dalam situasi ini, dibuat alat open source
cdc_rsync dan cdc_stream
- CDC RSync
- Mirip dengan
rsync yang sudah ada, tetapi menyinkronkan sekitar 3 kali lebih cepat
- Algoritme diff jarak jauh berbasis CDC bisa hingga sekitar 30 kali lebih cepat
- Jika stempel waktu/ukuran file sama, akan dilewati
- Menggunakan kompresi cepat untuk semua transfer data
- Jika file berubah, alat ini memeriksa bagian mana yang berubah dan hanya mengirim bagian yang berubah
- CDC Stream
- Secara konsep mirip dengan
sshfs, tetapi dioptimalkan untuk kecepatan baca. Peningkatan kecepatan sekitar 2 hingga 5 kali
- Menyimpan cache data yang di-stream di perangkat Linux
- Setelah file di Windows berubah lalu dibaca ulang di Linux, hanya bagian yang berubah yang di-stream, sisanya dibaca dari cache
- Metadata direktori bekerja dengan cara yang ramah streaming sehingga operasi stat sangat cepat
1 komentar
Saya sering memakai
rsyncuntuk mengelola file log, jadi ini menarik karena katanya lebih cepat.