Mengapa upaya menggantikan pengembang analitik data terus berulang setiap 10 tahun sejak 1974

• Mimpi menggantikan pengembang analitik data telah berulang selama 50 tahun, dari SQL hingga AI; alatnya berubah, tetapi kebutuhan akan ahli tidak pernah hilang
• Alat di tiap era benar-benar meningkatkan produktivitas, tetapi pekerjaan inti berupa pemahaman bisnis dan penilaian pemodelan tidak dapat diotomatisasi
• Self-service, semantic layer, dan analytics engineering memperluas aksesibilitas, tetapi juga melahirkan bentuk baru dari peran spesialis
• Alat berbasis AI sangat meningkatkan kecepatan pembuatan kode, tetapi proses berpikir untuk menentukan apa yang harus dibuat tetap menjadi ranah manusia
• Bottleneck dalam pekerjaan data bukanlah pengetikan atau alat, melainkan pemikiran dan penilaian, dan ini adalah fakta yang tidak berubah selama 50 tahun
• Tulisan ini disusun dari sudut pandang data, terinspirasi dari "Mimpi menggantikan developer yang berulang setiap 10 tahun"

---

Pola yang terus berulang: mengapa mimpi yang sama selalu muncul

• Setiap 10 tahun, alat baru muncul dan berjanji akan menyederhanakan pembangunan platform data sehingga ketergantungan pada ahli berkurang
• Bisnis tidak puas dengan lambatnya penyediaan data, sementara tim data terus kewalahan oleh permintaan yang tak ada habisnya
• Alasan siklus ini berulang selama 50 tahun terletak pada sifat mendasar dari pekerjaan analitik data

1974: kelahiran SQL dan ‘database yang berbicara dalam bahasa Inggris’

• SQL dirancang agar non-developer pun bisa melakukan query data, tetapi dalam praktiknya tetap dibutuhkan pemahaman tentang join dan agregasi yang kompleks
• Ideal bahwa pengguna bisnis bisa melakukan query sendiri tidak terwujud, dan peran spesialis baru justru muncul
• Akses ke data menjadi lebih mudah, tetapi keahlian tetap dibutuhkan

1980-an: janji OLAP dan bahasa generasi keempat

• Muncul pendekatan bahwa jika struktur data disesuaikan dengan cara berpikir bisnis, pengguna akan bisa menganalisis sendiri
• Server MOLAP benar-benar memberikan produktivitas bagi divisi keuangan dan perencanaan
• Desain dimensi, optimasi performa, dan pekerjaan integrasi tetap membutuhkan pengetahuan khusus
• Alatnya berubah, tetapi peran ahli hanya berubah bentuk

1990-an: data warehouse dan pemodelan dimensional

• Pemodelan dimensional adalah upaya untuk menyembunyikan kompleksitas di lapisan ETL dan menyederhanakan analisis bagi pengguna
• Meski ada investasi besar, banyak proyek tertunda atau gagal
• Pekerjaan memodelkan aturan bisnis dan pengecualian secara akurat tetap menjadi wilayah yang tidak bisa diotomatisasi

2000-an: semantic layer dan self-service BI

• Semantic layer mengabstraksikan istilah teknis menjadi bahasa bisnis
• Self-service BI sangat meningkatkan akses terhadap visualisasi
• Ketidaksesuaian definisi dan kekacauan data muncul sebagai masalah baru
• Manajemen terpusat dan governance kembali menjadi penting

2010-an: analytics engineering dan ELT

• Penyebaran cloud data warehouse memungkinkan transformasi berbasis SQL
• Analis kini dapat membangun sendiri sebagian pipeline data
• dbt membawa praktik pengembangan seperti testing, dokumentasi, dan version control ke ranah data
• Semakin besar skala proyek, semakin penting pula arsitektur dan penilaian

Era AI: apa yang berubah dan apa yang tetap sama

• AI sangat cepat dalam menjalankan pekerjaan mekanis untuk menerjemahkan niat menjadi kode
• Pemilihan jenis desain dimensi, definisi metrik, dan kesepakatan bisnis tetap membutuhkan penilaian manusia
• Kecepatan pengembangan meningkat, tetapi durasi keseluruhan proyek tetap banyak dihabiskan untuk berpikir dan menyelaraskan
• Perubahan terbesar adalah feedback loop yang lebih pendek sehingga perbaikan iteratif menjadi mungkin

Batasan yang tidak berubah: kompleksitas pemikiran

• Data warehouse adalah model dari bisnis, sehingga pemahaman yang akurat adalah keharusan
• Di balik requirement yang tampak sederhana, ada banyak definisi dan pengecualian
• Kompleksitas ini adalah wilayah yang tidak bisa dihilangkan dengan alat

Maknanya bagi para pemimpin data

• Hal terpenting bukan apakah alat akan menggantikan ahli, tetapi seberapa besar alat itu meningkatkan produktivitas mereka
• Perlu dievaluasi apakah alat tersebut mengurangi pekerjaan berulang dan memungkinkan fokus pada penilaian bernilai tinggi
• Alat baru menuntut kemampuan teknis baru

Mengapa mimpi ini terus berlanjut

• Mimpi menghapus peran ahli telah menjadi pendorong inovasi alat
• Mimpi itu tidak pernah sepenuhnya terwujud, tetapi dalam prosesnya tetap menciptakan nilai nyata
• AI juga tidak menggantikan ahli, tetapi membuat ahli bekerja lebih efisien

Arah ke depan

• Tidak ada alasan untuk menolak alat baru, tetapi ekspektasi harus ditetapkan secara realistis
• Objek investasi utama bukan alat, melainkan orang yang memahami kompleksitas bisnis
• Analitik data pada akhirnya adalah pekerjaan mengubah pemahaman bisnis menjadi bentuk yang bisa di-query
• Fakta yang tidak berubah selama 50 tahun adalah bahwa penilaian dan pemikiran merupakan bottleneck terbesar