Meta (dulu Facebook) telah merilis sebagai open source framework kompresi data berperforma tinggi 'OpenZL' yang selama ini digunakan secara internal. OpenZL, yang dioptimalkan khusus untuk memproses dataset khusus dalam jumlah sangat besar seperti pada workload AI dan machine learning, menghadirkan rasio kompresi tinggi dan kecepatan tinggi secara bersamaan, melampaui keterbatasan solusi kompresi serbaguna yang ada.
Fitur dan fungsi
Karakteristik terbesar OpenZL adalah pendekatan kompresi 'Format-Aware' yang menghasilkan kompresor kustom yang dioptimalkan untuk format data. Dengan menganalisis struktur data dan membangun algoritme kompresi yang paling efisien, OpenZL mampu mencapai rasio kompresi tinggi pada level yang tidak mungkin dicapai kompresor umum, sambil tetap mempertahankan kecepatan pemrosesan cepat yang dibutuhkan workload data center.
Selain itu, semua kompresor khusus yang dihasilkan kompatibel dengan satu dekompresor serbaguna, sehingga memudahkan pemeliharaan sistem. OpenZL juga menyediakan fitur untuk menganalisis proses kompresi secara visual melalui alat 'Trace Visualizer'.
Data performa (berdasarkan data SAO dari Silesia Compression Corpus)
| Kategori | OpenZL | zstd -3 | xz -9 |
|---|---|---|---|
| Rasio kompresi | x2.06 | x1.31 | x1.64 |
| Kecepatan kompresi | 203 MB/s | 115 MB/s | 3.1 MB/s |
| Kecepatan dekompresi | 822 MB/s | 890 MB/s | 30 MB/s |
Perilisan OpenZL sebagai open source oleh Meta kali ini diharapkan dapat membantu mengurangi biaya penyimpanan dan transmisi data, serta secara signifikan meningkatkan efisiensi kerja di bidang AI dan berbagai industri lain yang mewajibkan pemrosesan data skala besar.
3 komentar
OpenZL: framework kompresi open-source yang mampu mengenali format file
Silakan lihat juga terjemahan AI atas tulisan perkenalan dari Facebook
Kompresi memang dipimpin oleh Meta ya, wow.
zstdjuga merupakan kemajuan besar.Sudah dipakai dengan baik secara internal.. kalau sekarang dibuka ke publik..
itu berarti ada sesuatu yang lebih besar lagi akan datang.