warc-parquet - CLI untuk mengonversi WARC ke Parquet (github.com/maxcountryman) 8 poin oleh xguru 2022-06-30 | 1 komentar | Bagikan ke WhatsApp Mengonversi file Web ARChive (.warc) ke format Apache Parquet berbasis kolom Parquet dapat dimuat ke DuckDB untuk di-query dengan mudah Open source Rust Bacaan terkait WarcDB - Data web crawl sebagai DB SQLite 14 poin · 0 komentar · 2022-06-22 Carquet - Library C murni berperforma tinggi untuk membaca dan menulis file Parquet 9 poin · 0 komentar · 2026-01-17 dir2md v1.0.4 — CLI untuk Mengubah Codebase Open Source menjadi Markdown Ramah LLM, pembaruan besar 8 poin · 0 komentar · 2025-10-10 Broot - alat CLI baru untuk menavigasi pohon direktori yang kompleks 7 poin · 3 komentar · 2020-01-10 DuckLake - Format Danau Data dan Katalog Terpadu 13 poin · 1 komentar · 2025-05-29 1 komentar xguru 2022-06-30 DuckDB - Embedded OLAP DB open source Mirip dengan WarcDB - data web crawl sebagai SQLite DB yang sempat naik beberapa waktu lalu. Namun, di tempat yang sudah punya infrastruktur yang menggunakan Parquet, sepertinya ini akan lebih mudah dipakai
1 komentar
DuckDB - Embedded OLAP DB open source
Mirip dengan WarcDB - data web crawl sebagai SQLite DB yang sempat naik beberapa waktu lalu.
Namun, di tempat yang sudah punya infrastruktur yang menggunakan Parquet, sepertinya ini akan lebih mudah dipakai