Lanskap Data & AI 2020

Peta industri data & kecerdasan buatan tahun 2020 beserta penjelasannya, yang dirangkum oleh Matt Turck, VC dari FirstMark, dalam satu gambar

• Tren utama Data Infra

  → Modern data stack menjadi arus utama: Snowflake, BigQuery, RedShift, DBT, Fivetran, Stitch, Looker..

  → ETL vs ELT

  → Otomatisasi data engineering

  → Kebangkitan data analyst

  → Integrasi data lake dan data warehouse? = Data Lakehouse atau Unified Analytics Warehouse

  → Kompleksitas tetap ada:

  ⇨ Meningkatnya kebutuhan terhadap teknologi streaming real-time

  ⇨ Mesin orkestrasi: dimulai dari Airflow dan Luigi, lalu engine generasi berikutnya seperti Prefect, Dagster, Kedro, Metaflow, dll.

  ⇨ Data Lineage & DataOps: LinkedIn (Datahub), WeWork (Marquez), Lyft (Admunsen), Uber (Databook)

• Tren utama Analytics & Enterprise AI

  → Masa booming platform data science dan machine learning (DSML)

  → ML benar-benar di-deploy dan di-embed ke dalam produk

  ⇨ MLOps

  ⇨ AI Governance, AI fairness

  ⇨ Decision Science (optimization, simulation)

  → Tahun NLP: GPT-3, BERT, ELECTRA

• Investasi utama, exit, dan IPO

  → IPO: Snowflake, Palantir, Datadog, Sumo Logic, Dynatrace, Cloudflare

  → M&A: ARM (NVIDIA), SignalFX (Splunk), Habana Labs (Intel), Fitbit (Google), Moovit (Intel)

  → Akuisisi yang lebih kecil tetapi menarik: MapR (HPE), HortonWorks (Cloudera), Arcadia Data (Cloudera), Redash (Databricks)..