- Format file berorientasi kolom open-source yang dirancang dengan asumsi penggunaan hardware terbaru (SIMD·GPU)
- Menargetkan akses data ber-throughput tinggi dan berlatensi rendah untuk workload analitik dan AI
- Mencapai rasio kompresi sekitar 40% lebih tinggi dibanding Parquet, serta kecepatan decoding hingga 40x lebih cepat
- Mengadopsi layout berbasis Lane yang meminimalkan ketergantungan data sehingga tiap unit dapat didecode secara independen
- Memungkinkan paralelisme data yang ekstrem di SIMD·CPU multicore·GPU
- Dirancang agar auto-vectorization bekerja optimal tanpa kode SIMD eksplisit
- Menggunakan pendekatan akses berbasis batch kecil dengan mempertimbangkan karakteristik cache CPU·GPU
- Mendukung partial decompression yang memproses data tanpa membuka kompresi sepenuhnya, sehingga data engine dapat menjalankan kueri langsung dalam keadaan terkompresi
- Memanfaatkan Multi-Column Compression (MCC) untuk menggunakan korelasi antarkolom
- Menyediakan mekanisme encoding berbasis ekspresi untuk melengkapi keterbatasan satu kolom pada format penyimpanan kolom konvensional
- Arsitektur zero-dependency yang tidak bergantung pada library eksternal, sehingga build lebih sederhana
- Menyediakan binding untuk bahasa utama seperti C++, Python, dan Rust
- API konversi CSV ↔ FastLanes sudah terintegrasi
- Konversi mudah dengan
read_csv() / to_fls()
- Mendukung konversi balik dengan
read_fls() / to_csv()
- Sedang dikembangkan dengan tujuan integrasi ke data stack generasi berikutnya seperti decoding GPU serta integrasi Apache Arrow·DuckDB
Belum ada komentar.