Memahami Parquet, Iceberg, dan Data Lakehouse

Memahami: Parquet, Iceberg, dan data lakehouse BroadIn

• Cara penyimpanan data (file dan di memori)

  • Ada berbagai format file untuk mengakses dan menyimpan data
  • Beberapa sistem terutama menggunakan format data tertutup, tetapi sebagian besar sistem mendukung format data terbuka
  • Format file open source utama mencakup Apache Avro, Parquet, ORC, Arrow, Feather, Protobuf, dan lainnya
  • Format-format ini menyediakan spesifikasi tentang bagaimana data harus disusun dalam layout biner yang sebenarnya
  • Parquet mendukung kompresi dengan baik, dan Avro cocok untuk membaca blok baris tertentu
  • Mendukung evolusi skema dan pemecahan file, yang penting untuk pemrosesan paralel
  • Berbagai bahasa pemrograman dan alat dapat bekerja dengan format-format ini

• Pengelolaan data skala besar - Iceberg dan Delta Lake

  • Diperlukan cara untuk menyimpan berbagai tabel, mengembangkan skema masing-masing, mempartisi data secara efisien, dan memungkinkan alat eksternal membaca skema dengan mudah
  • Hive, Iceberg, dan Delta Lake semuanya mendukung schema registry atau metastore
  • Iceberg dan Delta Lake menggunakan Parquet sebagai format file individual
  • Iceberg dan Delta Lake bukan query engine atau storage engine, melainkan spesifikasi terbuka yang memungkinkan query engine melakukan pekerjaannya
  • Memungkinkan fitur seperti evolusi partisi, evolusi skema, kompresi data, transaksi ACID, optimasi kueri yang efisien, time travel, dan lainnya

• Apa itu data lake dan data lakehouse?

  • Data lake adalah tempat perusahaan menyimpan data dalam jumlah besar dalam format mentah seperti OCR, file Parquet, atau CSV
  • Data lakehouse adalah kombinasi kapabilitas di atas data lake yang memungkinkan eksekusi kueri SQL, penyiapan pekerjaan batch, konfigurasi tata kelola data, dan sebagainya
  • Data lakehouse dapat dilihat sebagai versi dari data warehouse terbuka
  • Seiring data warehouse seperti Snowflake dan BigQuery mendukung format data terbuka seperti Iceberg, batas antara data warehouse dan data lakehouse menjadi semakin kabur

Opini GN⁺

• Iceberg dan Delta Lake berperan penting sebagai lapisan metadata untuk mengelola set data skala besar. Keduanya memungkinkan pengelolaan data yang efisien dan optimasi kueri, sehingga berguna bagi data scientist dan engineer.
• Data lakehouse menggabungkan keunggulan data lake dan data warehouse, serta menghadirkan paradigma baru untuk pengelolaan dan analisis data. Ini membuka peluang untuk semakin memperkuat pengambilan keputusan berbasis data.
• Dengan meningkatnya dukungan terhadap Iceberg, sistem pengelolaan dan analisis data diperkirakan akan makin terstandarisasi dan interoperabel. Hal ini akan menghadirkan lebih banyak fleksibilitas dan efisiensi dalam pemilihan serta penggunaan platform data.

[happing94]

Saya sedang membandingkan Iceberg dan Delta Lake, dan ternyata bisa dirangkum dengan rapi seperti ini.
Pendapatnya hampir sama dengan pandangan yang saya lihat.
Benchmark yang dijalankan secara online menggunakan Spark, dan meski benchmark itu layak dijadikan referensi, Head of DevRel Tabular menulis bahwa itu tidak terlalu bermakna.
Jika harus memilih sebagai open source, iceberg tampaknya menjadi satu-satunya pilihan.
Ringkasannya bagus, tetapi akan lebih baik jika ada juga tautan referensinya.

[GN⁺]

Komentar Hacker News

• Apache Iceberg dan Delta Lake sering disebut sebagai format tabel terbuka, tetapi sebenarnya ada perbedaan.

  • Spesifikasi format tabel Apache Iceberg cukup jelas sehingga siapa pun yang terbiasa dengan sistem basis data seharusnya tidak akan kesulitan besar untuk membangun dan melakukan kueri pada tabel Iceberg.
  • Sebaliknya, spesifikasi Delta Lake membuat sulit untuk menilai upaya yang diperlukan untuk mengimplementasikan spesifikasi saat ini sepenuhnya atau terus memperbaruinya.
  • Spesifikasi Delta Lake tampak seperti hasil rekayasa balik dari cara implementasi yang diputuskan Databricks secara internal untuk membangun lakehouse bagi perusahaan Fortune 1000 yang kecewa dengan Hadoop.
  • Saya belum yakin apakah Delta Lake benar-benar bernilai sebagai ekosistem yang terbuka.

• Di dunia basis data, fakta bahwa Delta, Iceberg, dan Hudi menyimpan data sebagai format open source di storage seperti S3 merupakan perubahan besar.

  • Ini berarti banyak bagian dari storage dan pemrosesan menjadi terstandarisasi, sehingga perpindahan antar basis data menjadi lebih mudah, dan sebagian besar alat dapat bekerja pada kumpulan file yang sama dengan cara yang stabil secara transaksional.
  • Misalnya, saat Snowflake menulis ke file, seorang data scientist dapat melakukan kueri data secara real-time dari notebook Jupyter, dan ClickHouse dapat menyediakan analitik yang berfokus pada pengguna atas data yang sama.
  • Bahkan jika bisnis memutuskan berpindah dari Snowflake ke Databricks, itu tidak akan menjadi masalah besar.
  • Saat ini, kecepatan kueri terhadap format-format ini di S3 memang belum secepat ingestion native, tetapi tekanan pasar akan mendorong semua vendor basis data untuk mengoptimalkan performanya.
  • Ini adalah kemenangan besar bagi open source dan keterbukaan, serta memungkinkan bisnis memiliki data dalam format yang terbuka dan mudah dipindahkan.
  • Lakehouse juga memberi dampak serupa. Banyak perusahaan memiliki data lake dan data warehouse, dan harus menyalin data di antara dua sistem itu. Bisa melakukan kueri pada set data yang sama dan hanya mengelola satu sistem juga sama pentingnya.

• Saya sudah bertahun-tahun bekerja dengan file Parquet di S3, tetapi belum benar-benar memahami apa itu Iceberg. Namun artikel itu menjelaskan Iceberg dengan baik.

  • Iceberg adalah format metadata basis data untuk set data dasarnya, yang menjelaskan skema, partisi, dan sebagainya.
  • Dalam DBMS tradisional, skema, mesin kueri, dan format storage disediakan sebagai satu paket.
  • Tetapi di big data, komponen basis data bisa dibangun dari nol lalu dicampur dan dipasangkan. Anda bisa memakai Iceberg sebagai format metadata, DuckDB sebagai mesin kueri, Parquet sebagai format storage, dan S3 sebagai media storage.

• Cara terbaik untuk menyimpan dataframe Apache Arrow ke disk sebagai file adalah menggunakan Feather, tetapi juga bisa dikonversi ke format Apache Parquet.

  • Jika ingin membangun lakehouse non-JVM sendiri, Anda bisa menggunakan Iceberg sebagai metadata, Parquet sebagai data, memakai tabel Arrow untuk melakukan kueri dengan DuckDB, lalu memproses data melalui Arrow->Pandas atau Polars.
  • Jika Feather dicampurkan, stack lakehouse Python saat ini tidak akan bekerja.

• Saya pernah mendengar tentang data lake, tetapi "data lakehouse" terdengar seperti tempat data kalangan atas pergi memancing data dengan perahu data saat musim panas.

• Saya menangani sekitar 100TB data di GCP, memakai BigQuery sebagai mesin kueri dan partisi Hive yang sederhana. Saya puas karena bisa menjalankan semua kueri dan biayanya sangat murah, tetapi latensinya cukup tinggi (meski bukan masalah besar bagi perusahaan).

  • Saya penasaran apakah menerapkan Iceberg bisa memperbaiki hal ini. Apakah ada yang punya pengalaman menggunakan Iceberg?

• Saya sangat antusias dengan Iceberg, tetapi saat terakhir kali saya menelitinya, satu-satunya implementasi adalah pustaka Spark, dan konektor Iceberg di Trino sangat bergantung pada Hive.

  • Seluruh industri tampaknya kesulitan berpisah dari teknologi lama seperti MapReduce, Hive, dan Spark.
  • Saya berencana meneliti Iceberg lagi dan berharap bidang ini terus berkembang. Saat ini kita punya alat dan daya komputasi untuk memproses data tanpa teknologi lama, dan tidak semua data adalah big data.
  • Akibatnya, "data engineering" semakin mirip dengan pengembangan backend pada umumnya, dan praktik pengembangan umum mulai diterapkan.
  • Saya berharap pustaka Iceberg Python murni segera hadir.

• Saya mempertanyakan mengapa tidak ada yang bisa menjelaskan semua ini dengan gagasan yang lebih konkret. Harus dijelaskan bagaimana data disimpan, bagaimana cara terhubung dan melakukan kueri, dan seberapa cepat kuerinya berjalan (kecepatan transaksi dibanding kecepatan "analitik").

• Dalam semua benchmark yang saya lihat secara online, format Delta Lake menunjukkan performa yang jauh lebih baik daripada Iceberg.

  • Pertanyaannya apakah ini sesuatu yang mendasar pada spesifikasinya, atau apakah ada kemungkinan Iceberg bisa mengejar ketertinggalan.

• Saya mengakui bahwa posting blog itu mungkin tidak 100% komprehensif atau menjadi titik awal terbaik bagi kebanyakan orang.

  • Saya menyukai sikap bahwa cara terbaik untuk mempelajari sesuatu yang baru adalah dengan menjelaskannya kembali kepada orang lain, dan saya juga mulai menerapkannya pada catatan di situs web saya.