Arsitektur Baru untuk Infrastruktur Data Modern

 (future.a16z.com)
14 poin oleh xguru 2020-10-19 | 4 komentar | Bagikan ke WhatsApp

  • Penjelasan istilah dan informasi terkait infrastruktur data modern yang dirangkum dari wawancara dengan para profesional data

  • PDF 6 bab yang sangat bagus untuk memahami bidang data secara menyeluruh

Gambaran konsep infrastruktur data terpadu dalam 1 halaman

  1. Sources : menghasilkan data bisnis dan operasional

→ OLTP DB via *CDC

→ Applications/ERP(Oracle,Salesforce,Netsuite) : semua data yang dihasilkan dalam bisnis

→ Pengumpul event (Segment,Snowplow) : mengumpulkan semua event pengguna layanan

→ Logs : log web server dan berbagai server lainnya

→ API pihak ketiga (Stripe, dll.) : data yang dihasilkan dari pembayaran dan API lain yang digunakan

→ File dan object storage

  1. Ingestion and Transformation : sekarang tren bergeser dari ETL ke ELT, Extract / Load / Transform

Mengekstrak data dari sistem operasional (E) / memindahkannya ke storage (L) / mentransformasikan data untuk analitik (T)

→ Connector (Fivetran, Stitch, Matillion) : alat untuk memindahkan data dari berbagai source ke DW

→ Data Modeling (dbt, LookML) : pemodelan dan transformasi data

→ Workflow Manager (Airflow, Dagster, Prefect) : orkestrator / scheduler untuk otomatisasi aliran data

→ Spark Platform (Databricks, Amazon EMR) : platform clustering berperforma tinggi untuk pemrosesan terdistribusi

→ Python Libs : library analisis data - Pandas, antarmuka AWS - Boto, Dask untuk pemrosesan paralel skala besar, Ray untuk pemrosesan terdistribusi..

→ Batch Query Engine (Hive) : query big data

→ Event Streaming (Confluent/Kafka, Pulsar, AWS Kinesis) : platform messaging/streaming real-time

→ Stream Processing (Databricks/Spark, Confluent/Kafka, Flink) : mengumpulkan/memproses dan menganalisis data streaming

  1. Storage : menyimpan data dalam bentuk yang dapat di-query dan diproses. Dioptimalkan untuk biaya rendah, skalabilitas, dan pekerjaan analitik.

→ Data Warehouse ( Snowflake, BigQuery, Redshift ) : storage terpadu untuk data yang siap dianalisis

→ Data Lake : berbeda dengan DW, menyimpan raw data terstruktur/tidak terstruktur yang belum dibersihkan

Databricks/Delta Lake (data lake yang memungkinkan transaksi ACID pada Spark dan S3/HDFS, dll.),

Apache Iceberg (format tabel sangat besar untuk menyimpan data skala petabyte, dikembangkan oleh Netflix),

Apache Hudi (data lake yang efisien, dikembangkan oleh Uber), Hive Acid

→ Apache Parquet - format penyimpanan berbasis kolom

Apache ORC - Optimized Row Columnar, menulis per kolom sekaligus menyimpan indeks

Apache Avro - menulis per baris, cocok untuk penulisan, cocok untuk evolusi skema

→ AWS S3(Simple Storage Service), GCS(Google Cloud Storage), ABS(Azure Blob Storage), HDFS(Hadoop Distributed File System)

4&5. Historical & Predictive : menyediakan antarmuka (query) bagi analis dan data scientist untuk memperoleh insight

Historical : menjelaskan apa yang terjadi di masa lalu. Termasuk yang sangat baru (nyaris real-time)

Predictive : prediksi masa depan, aplikasi berbasis data/ML

→ Data Science Platform (Databricks, Domino, Sagemaker, Dataiku, DataRobot, Anaconda, ...)

→ Data Science and ML Libraries ((Pandas, Numpy, R, Dask, Ray, Spark, Scikit-learn, Pytorch, TensorFlow, Spark ML, XGBoost, )

→ Ad Hoc Query Engine (Presto, Dremio/Drill, Impala)

→ Real-time Analytics : Imply/Druid - analitik real-time, Altinity/Clickhouse - OLAP, Rockset - engine analitik real-time komersial (berbasis RocksDB, embedded DB KV berperforma tinggi)

  1. Output : alat untuk menampilkan hasil analisis data secara internal/eksternal. Menanamkan model data yang telah dibuat ke sistem operasional dan aplikasi

→ Dashboards : Looker, Apache Superset, Mode, Tableau - alat Business Intelligence

→ Embedded Analytics : Sisense, Looker, cube.js - menanamkan alat BI ke sistem internal. Berbasis API. Dapat membuat aplikasi analitik internal

→ Augmented Analytics : Thoughtspot, Outlier, Anodot, Sisu - alat yang menganalisis secara otomatis dengan AI

→ App Frameworks : Plotly Dash, Streamlit - framework yang memungkinkan pembuatan ML App

  1. Lainnya

→ Metadata Management (Collibra, Alation, Hive Metastore, DataHub, ...)

→ Quality and Testing (Great Expectations)

→ Entitlements and Security (Privacera, Immuta)

→ Observability (Unravel, Accel Data, Fiddler)

  1. Blueprint untuk tiga bidang utama

→ BI modern

→ Pemrosesan data multimodal

→ Bidang AI dan ML

  • Change Data Capture : menyalin data perubahan dari OLTP secara real-time ke berbagai storage lain (DB,DW)

Bacaan terkait

4 komentar

 
xguru 2020-12-08

Saya sempat membuat video YouTube yang menjelaskan satu per satu setiap layanan dan open source yang disebutkan di sini.

Karena dibagi menjadi sekitar 10 menit per episode, silakan jadikan referensi saat Anda ingin mengetahui isi di atas dengan lebih detail.

Memahami infrastruktur data modern by GeekNews
 
inthelife 2020-10-21

Tautan terjemahannya salah, hehe; silakan merujuk ke tautan di bawah ini ^^;

https://drive.google.com/file/d/…
 
xguru 2020-10-21

Wah, terima kasih. Saya juga sangat menyukai materi ini, jadi saya sedang mencoba membuat materi penjelasan terpisah (video) untuk diagram utama.
 
inthelife 2020-10-21

https://drive.google.com/file/d/…

Isinya terlihat bagus, jadi saya mencoba menerjemahkan ringkas naskah aslinya ^^