AWS mengganti kompresi S3 dari gzip ke zstd dan mengurangi ukuran sekitar 30%

• Menjawab pertanyaan tentang seberapa banyak hal yang tidak perlu berhasil dikurangi oleh zstd buatan Yann Collet, Adrian Cockcroft memberikan jawabannya
• Pada skala exabyte di S3, pengurangan 30% berarti penghematan biaya dalam skala yang sangat besar
• Twitter juga menghemat ratusan miliar won per tahun (~ mid 8 figs/yr) saat beralih ke zstd di HDFS

[alstjr7375]

Uber juga beralih dari GZIP/SNAPPY ke ZSTD.
https://www.uber.com/en-TW/blog/cost-efficiency-big-data/

[jaehong747]

zstd luar biasa ya!

Ada materi perbandingan performa kompresi di tautan tersebut, jadi saya bagikan.
https://github.com/facebook/zstd

[jaehong747]

Hari ini saya pertama kali mencoba memakai zstd.
Ternyata sudah terpasang bawaan di mac.

Kompresi: "zstd file" => file.zst
Ekstrak: "unzstd file.zst" => file

[xguru]

• Renaisans algoritma kompresi
• Pengalaman menghemat jutaan dolar biaya SSD lewat upgrade filesystem
• Arch Linux mengganti alat kompresi paket dari xz ke Zstandard