Data Science dengan DuckDB: Menjinakkan Lingkungan File yang Kompleks

Ini adalah materi presentasi PyCon US 2025.

Data Science dengan DuckDB: Menjinakkan Lingkungan File yang Kompleks - Alex Monahan

Dalam video presentasinya, Alex Monahan menjelaskan bagaimana DuckDB, pustaka basis data analitik open source, dapat membantu ilmuwan data mengelola dan menganalisis beragam file data yang tidak rapi.

Poin utama:

• Masalah kebun binatang file: Ilmuwan data harus menangani banyak file dalam berbagai format seperti CSV, Parquet, dan spreadsheet, yang bisa tersebar di berbagai lokasi dan platform cloud. File-file ini bisa berukuran besar, jumlahnya banyak, tidak tertata, atau mudah rusak.
• Ikhtisar DuckDB: DuckDB diperkenalkan sebagai "SQLite untuk analitik". Bersifat open source (lisensi MIT) dan merupakan basis data in-process (embedded) yang dirancang untuk workload analitik. Dapat dipasang dengan mudah tanpa dependensi melalui pip install duckdb, dan bisa langsung digunakan di dalam skrip Python atau notebook.
• Membaca berbagai jenis file: DuckDB dapat membaca berbagai macam format file, termasuk file di penyimpanan cloud seperti S3. Secara khusus, pembaca CSV-nya yang kuat sangat unggul dalam menangani file CSV dunia nyata yang berantakan, dan melampaui banyak alat lain dalam kemampuan mem-parsing file yang bermasalah.
• SQL yang familier dan API relasional: DuckDB menyediakan antarmuka SQL yang ramah pengguna (misalnya SELECT * bersifat opsional) serta API relasional bergaya Python. File dapat langsung di-query seolah-olah merupakan tabel, dan bekerja secara lazy dengan hanya membaca data saat diperlukan.
• Interoperabilitas: Terintegrasi mulus dengan pustaka data science populer seperti Pandas dan Polars, dan karena berjalan dalam proses yang sama, pertukaran data zero-copy dimungkinkan.
• Format file DuckDB: Format file bawaan DuckDB adalah satu file terkompresi berbasis kolom yang dapat menyimpan banyak tabel, view, fungsi SQL, dan relasi. Format ini dapat diedit, mendukung properti ACID, dan dirancang untuk kecepatan serta efisiensi.
• Properti ACID: DuckDB menghadirkan ketangguhan basis data ke workflow data science melalui atomisitas (perubahan terjadi sepenuhnya atau tidak sama sekali), konsistensi (mencegah masalah kualitas data dengan menggunakan key), isolasi (query yang berjalan bersamaan tidak saling mengganggu), dan durabilitas (data yang telah di-commit aman dari kerusakan).
• Kasus penggunaan: Berguna untuk menjinakkan "kebun binatang file" dengan mengonsolidasikan data ke dalam format tunggal yang efisien dan dapat di-query. Juga membantu mencegah terciptanya kebun binatang file baru selama pekerjaan data science yang berulang.
• Komunitas dan ekstensibilitas: DuckDB dapat diperluas, dan dukungan untuk format seperti file paket statistik dan Google Sheets terus ditambahkan melalui kontribusi komunitas.

Alex Monahan, yang bekerja di DuckDB Labs dan MotherDuck (gudang data cloud berbasis DuckDB), menekankan bahwa DuckDB bertujuan menyederhanakan pemrosesan data bagi ilmuwan data dengan menggabungkan kekuatan basis data dan fleksibilitas yang dibutuhkan untuk data science.