- Makalah tentang masa depan SQLite yang diterbitkan di PVLDB Vol 15
- SQLite dirancang untuk OLTP, tetapi belakangan kebutuhan terhadap OLAP meningkat karena edge computing dan data science
- DuckDB, yang menunjukkan performa kuat untuk OLAP, disebut sebagai "SQLite for Analytics"
- Merangkum perbandingan performa SQLite dan DuckDB, serta bagaimana pemrosesan data analitis ditingkatkan melalui hal ini hingga menjadi 4.2x lebih cepat di SSB
- Isi benchmark
- Dalam transaksi tulis, SQLite 10x-500x lebih cepat daripada DuckDB
- Dalam benchmark analitis (Star Schema Benchmark, SSB), DuckDB 30-50x lebih cepat daripada SQLite
- Perbaikan akan terus dilakukan, tetapi karena tujuan dasarnya memang berbeda, sulit untuk mencapai performa yang sama
- Dengan metode terpisah, SQLite3/HE mencapai performa 100x di SSB tanpa menurunkan performa OLTP
- Melalui upaya-upaya ini, performa engine akan ditingkatkan dan optimisasi tambahan akan ditambahkan
2 komentar
Makalah ini memuat berbagai hal, tetapi saya penasaran secara spesifik bagaimana bagian tentang perbaikan pemrosesan OLAP dilakukan hingga meningkatkan benchmark terkait, jadi saya sempat membaca naskah aslinya.
Kesimpulannya, inti perbaikan tersebut adalah diperkenalkannya Bloom filter untuk meningkatkan pemrosesan
joinpada kueri yang digunakan untuk analisis data.Hasil profiling terhadap kueri yang digunakan dalam benchmark OLAP di SQLite menunjukkan bahwa mereka menelusuri struktur data B-tree bahkan untuk bagian yang sama sekali tidak masuk ke hasil akhir. Karena itu, agar bagian yang tidak akan masuk ke hasil akhir bisa disaring dan diproses lebih dulu, perbaikan utamanya adalah menambahkan Bloom filter, yaitu struktur data probabilistik yang dapat memastikan bahwa elemen tertentu tidak ada.
Beberapa artikel pengantar tentang Bloom filter yang bisa dibaca pada titik ini.
Dan belakangan ini, katanya sudah muncul juga yang disebut Xor Filter.
Catatan tentang makalah SQLite DuckDB
DuckDB - DB OLAP tertanam open source