Teknologi Erasure Coding untuk Sistem Terdistribusi

[GN⁺]

Opini Hacker News

• Terkejut karena rateless fountain codes tidak disebutkan

  • Luby Transform Code menarik
  • LT codes digunakan dalam pengodean RaptorQ pada RFC6330

• Ada algoritme network coding yang pernah diusulkan di masa lalu

  • File bisa diterima lebih cepat melalui beberapa jalur

• Erasure coding adalah teknologi lama

  • Orang harus ingat file PAR2 di Usenet

• Jika tertarik pada erasure coding, perlu mempertimbangkan kasus multidimensi

  • Perlu memikirkan pengodean di berbagai domain kegagalan seperti bukan hanya spindle, tetapi juga rack, ruangan, pusat data, dan wilayah

• Penasaran apakah ada yang pernah menggunakan Wirehair dalam proyek

  • Wirehair memiliki performa algoritme dan API yang ideal
  • Namun Wirehair adalah implementasi dari sebuah ide, bukan spesifikasi
  • Stabil, tetapi ada kekhawatiran apakah ini bisa diubah menjadi spesifikasi yang andal

• Ini adalah teknologi inti dari Erasure Code pool di Ceph

  • Parameter pengodean (k, m) tidak bisa diperbarui nanti
  • Karena ketidakfleksibelan ini, replika masih menjadi pilihan utama untuk penyimpanan data dengan toleransi kegagalan dan ketersediaan tinggi

• Penasaran apakah produk yang dihasilkan selama peristiwa M of N dikodekan berbeda dibanding saat semua N tersedia

  • Mungkin diperlukan bit flag yang menandakan perlu re-encode saat N dipulihkan

• Mengingatkan pada Information Dispersal Algorithm milik Rabin

  • Menyediakan tautan ke makalah terkait

• Penasaran apakah ini hanya praktis untuk pekerjaan baca-saja atau yang intensif baca

• Ini adalah salah satu strategi replikasi yang digunakan Ceph untuk penyimpanan blob terdistribusi