- "self-serve dashboards" pada praktiknya tidak benar-benar berjalan dengan baik. Alasannya, engineer atau data scientist akhirnya menghabiskan banyak waktu untuk menulis kueri dan menyiapkan dashboard bagi pengguna bisnis.
Mengapa "self-serve BI" tidak berhasil
- SQL adalah satu-satunya alat "self-serve BI". Namun, sebagian besar vendor "self-serve BI" mencoba menyamarkan SQL sebagai sesuatu yang lain.
- Menulis kueri SQL bukan satu-satunya hambatan bagi pemangku kepentingan bisnis untuk mengueri data. Mereka tidak memahami makna data, asalnya, atau bagaimana data dihitung, serta tidak tahu cara menafsirkan dan memverifikasi hasilnya.
Percobaan 1: pendekatan "dropdown dan checkbox" yang sudah ada
- Antarmuka ini pada dasarnya hanya mencoba "SQL-by-mouse". Tidak lebih baik daripada SQL, malah lebih lambat, kurang andal, lebih terbatas, dan tidak bisa digeneralisasi ke alat lain.
- Orang seperti CFO tidak akan menggunakan antarmuka ini untuk mengueri data. Mereka tidak punya konteks untuk memahami data dan tidak bisa yakin terhadap hasilnya.
Percobaan 2: pendekatan text-to-SQL
- LLM hampir terlalu efektif dalam menerjemahkan bahasa alami ke SQL. Bahkan saat pertanyaannya tidak tepat, model tetap akan mencoba menghasilkan kueri.
- Orang teknis akan menyadari bahwa pertanyaannya tidak tepat dan akan meminta konteks tambahan. Mereka akan menjelaskan jenis data yang tersedia dan bekerja sama dengan pihak bisnis untuk menyusun pertanyaan yang akurat dan berguna.
- LLM bisa menjadi solusi nyata untuk "self-serve BI", tetapi belum dalam bentuknya saat ini. Model membutuhkan lebih banyak konteks dan harus lebih mampu mengekspresikan ketidakpastian serta meminta informasi tambahan.
Apa yang benar-benar berhasil
- Masalah dalam "self-serve BI" bukanlah SQL, melainkan konteks dan makna data. Solusinya adalah mengajari orang tentang data yang mereka kueri, apa pun antarmukanya.
- Mendokumentasikan seluruh pengetahuan bagi tim teknis menimbulkan overhead yang besar dan cepat menjadi usang.
- Solusi sejati untuk "self-serve BI" bukanlah menjadikan BI benar-benar "self-serve" bagi orang nonteknis, melainkan membantu orang teknis mendukung pemangku kepentingan bisnis dengan lebih efisien menggunakan alat yang lebih baik.
Usulan untuk alat yang lebih baik:
- Berikan LLM kepada orang teknis, bukan kepada pemangku kepentingan bisnis.
- Biarkan mereka bebas mengolah data menggunakan alat yang nyaman seperti Python, R, dan lainnya.
- Permudah orang teknis untuk membagikan hasil kerja mereka. Notebook dan aplikasi data internal sulit dibagikan karena harus menangani container, dependensi, dan infrastruktur.
1 komentar
Komentar Hacker News
Masalah pada alat BI: Saat menggunakan alat BI, ada pengalaman di mana cara join pada kueri dikonfigurasi dengan salah sehingga data ditampilkan keliru. Hal ini membuat kepercayaan terhadap lapisan abstraksi untuk orang yang tidak terlalu memahami SQL menjadi hilang.
Kegunaan Text-to-SQL: Ini tetap berguna bagi pengembang, tetapi untuk non-pengembang ada kemungkinan menghasilkan kueri yang salah karena tidak benar-benar memahami struktur basis data.
Ketidakmampuan organisasi: Laporan yang berisi kesalahan dan informasi keliru dari alat BI dan alat AI benar-benar digunakan di dunia nyata, dan hal semacam ini juga pernah dikritik secara serupa dalam komik Dilbert.
Kemampuan pengguna bisnis untuk belajar: Anggapan bahwa pengguna bisnis tidak bisa memahami hubungan antara model data dan dropdown adalah keliru. Masalah justru muncul karena pemodel data tidak cukup memahami domainnya.
Pengalaman menyediakan data: Dari 24 tahun pengalaman menyediakan data, hanya sebagian kecil pengguna yang benar-benar memakai alat tersebut, sementara para eksekutif lebih menyukai dashboard KPI.
Kelebihan Metabase: Di antara alat BI, Metabase menawarkan antarmuka yang baik, dan SQL yang dibuat lewat GUI dapat diubah menjadi SQL murni sehingga orang dengan tingkat teknis rendah pun dapat menggunakannya dengan mudah.
Batasan self-service BI: Solusinya adalah mengakui keterbatasan self-service BI dan membuat dashboard kustom yang tidak mengekspos SQL kepada pengguna bisnis.
Pengalaman menggunakan Metabase: Saat menggunakan Metabase, hasil dari mengajari pengguna nonteknis lewat 'office hours' adalah banyak permintaan tidak lagi diteruskan ke tim engineering.
Ironi penggunaan SQL: Ironis bahwa manajemen tingkat atas tidak bisa menjalankan kueri SQL. SQL pada awalnya dibuat agar manajer dapat dengan mudah mengueri data.
Sulitnya ETL: Dibanding BI, jauh lebih sulit bagi pengguna nonteknis untuk menangani data di ETL. Saat mengembangkan AWS Glue, disadari bahwa pengguna teknis memerlukan alat untuk men-debug masalah.