CDC File Transfer - alat sinkronisasi dan streaming file dari Windows ke Linux

• Bekerja cepat dan efisien dengan FastCDC (Content Defined Chunking)
• Alat yang digunakan di Google Stadia
  • Biasanya developer game mengembangkan di Windows dan harus menjalankannya di mesin Linux
  • Untuk penyalinan cepat dalam situasi ini, dibuat alat open source cdc_rsync dan cdc_stream
• CDC RSync
  • Mirip dengan rsync yang sudah ada, tetapi menyinkronkan sekitar 3 kali lebih cepat
  • Algoritme diff jarak jauh berbasis CDC bisa hingga sekitar 30 kali lebih cepat
  • Jika stempel waktu/ukuran file sama, akan dilewati
  • Menggunakan kompresi cepat untuk semua transfer data
  • Jika file berubah, alat ini memeriksa bagian mana yang berubah dan hanya mengirim bagian yang berubah
• CDC Stream
  • Secara konsep mirip dengan sshfs, tetapi dioptimalkan untuk kecepatan baca. Peningkatan kecepatan sekitar 2 hingga 5 kali
  • Menyimpan cache data yang di-stream di perangkat Linux
  • Setelah file di Windows berubah lalu dibaca ulang di Linux, hanya bagian yang berubah yang di-stream, sisanya dibaca dari cache
  • Metadata direktori bekerja dengan cara yang ramah streaming sehingga operasi stat sangat cepat

[popopo]

Saya sering memakai rsync untuk mengelola file log, jadi ini menarik karena katanya lebih cepat.