Tentang Kualitas Data - Prinsip Dasar

Data tidak memiliki kualitas bawaan; kualitasnya dapat dinilai semakin tinggi ketika nilai yang dihasilkan data dalam kasus penggunaan tertentu semakin besar

Kualitas data terdiri dari empat tingkat: data individual, keseluruhan korpus, kesesuaian dengan tujuan, dan hasil bisnis. Tingkat yang lebih rendah memungkinkan tingkat yang lebih tinggi, sementara tingkat yang lebih tinggi memberi alasan untuk berinvestasi pada tingkat yang lebih rendah

Data pendapatan yang akurat pun bisa cocok untuk akuntansi, tetapi tidak cocok untuk manajemen real-time atau prediksi pendapatan masa depan; karena itu penilaian kualitas atas data yang sama dapat berbeda tergantung pengguna dan tujuannya

Jika hanya berfokus pada pemeriksaan atribut, Anda bisa saja membuat data yang sempurna tetapi gagal menghasilkan nilai bisnis. Sebaliknya, jika hanya mengejar kinerja sambil mengabaikan kualitas dasar, sistem yang tidak berkelanjutan bisa terbentuk

Manajemen kualitas data tidak berhenti pada pekerjaan membersihkan data; ia juga harus mencakup proses mengukur jalur dari penggunaan data → perubahan keputusan → hasil bisnis, lalu menyesuaikan investasi berdasarkan hasilnya

Mengapa definisi standar tidak cukup

ISO 8000 mendefinisikan data berkualitas baik sebagai data yang memenuhi persyaratan yang ditentukan, tetapi ini adalah definisi melingkar yang sama akuratnya sekaligus tidak banyak membantu dalam penilaian nyata

ISO 25012 mendefinisikan kualitas data melalui 15 atribut, termasuk akurasi/kelengkapan/konsistensi

Ini berguna untuk memeriksa kondisi data individual, tetapi tidak membahas apakah data tersebut benar-benar berkontribusi pada penggunaan nyata dan hasil bisnis

Alasan data yang sama dinilai berbeda oleh berbagai praktisi adalah karena mereka menilai berdasarkan tingkat kualitas dan tujuan penggunaan yang berbeda

Kualitas data muncul dari nilai data

Data tidak memiliki nilai intrinsik; apa yang bisa dilakukan dengan data itulah yang menentukan nilainya

Logika yang digunakan dalam cara menentukan harga aset data juga dapat diterapkan pada kualitas

Kualitas data adalah karakteristik yang meningkatkan nilai data

Karena nilai data adalah fungsi dari cara penggunaannya, kualitas data juga ditentukan oleh cara penggunaannya

Tujuan meningkatkan kualitas adalah agar data dapat melakukan lebih banyak hal, melakukan hal yang sama dengan lebih baik, lebih cepat, dan lebih murah, atau memungkinkan hal yang berbeda dari sebelumnya

Tahap 1: Kualitas data individual

Kualitas granular (granular quality) menilai unit data individual seperti record basis data/kalimat/pasangan tanya-jawab/contoh berlabel

Atribut evaluasi utama mencakup akurasi/presisi/keterkinian/kesesuaian format/konsistensi internal/plausibilitas/sumber/kemungkinan interpretasi/tingkat kepercayaan

Setiap atribut dapat dinilai hanya dari unit individual tanpa melihat record lain

Namun, semua evaluasi mengasumsikan konteks penggunaan

Harus ditentukan apa yang menjadi acuan kebenaran

Titik waktu mana yang menjadi acuan keterkinian

Dengan cara apa data dapat digunakan

Dalam konteks apa data dianggap konsisten

Kualitas individual data pendapatan

Jika syarat kontrak/pembaruan/diskon/pendapatan sekali pakai dan pendapatan berulang disalahartikan, item pendapatan individual pun bisa salah sejak awal

Sekalipun dicatat dengan akurat, apakah pendapatan marketplace diakui sebagai gross atau net bergantung pada struktur bisnis

Apakah perusahaan memberikan nilai secara langsung, menetapkan harga, dan turut menanggung tanggung jawab layanan

Atau lebih dekat sebagai perantara yang menghubungkan pembeli dan penjual; penilaiannya akan berbeda

Auditor pun dapat mencapai kesimpulan yang berbeda, sehingga akurasi itu sendiri tidak dapat dipisahkan dari tujuan penggunaan dan konteks akuntansi

Tahap 2: Kualitas keseluruhan kumpulan data

Meskipun semua record individual akurat, tidak ada jaminan bahwa kualitas keseluruhan korpus (aggregate quality) tinggi

Pada tingkat keseluruhan, atribut berikut perlu dievaluasi

Cakupan dan apakah ada yang hilang

Penghapusan duplikasi

Granularitas data

Representativitas dan keseimbangan

Konsistensi antara record dan label

Distribusi dan statistik agregat

Jumlah data dan kecukupan

Kontinuitas temporal

Kemungkinan penggabungan dengan data lain

Drift menurut waktu dan ruang

Atribut-atribut ini tidak terlihat pada data individual, melainkan muncul dari relasi dan distribusi keseluruhan data

Perlu dipastikan apakah semua data ada/apakah sudah cukup dibersihkan/apakah mencerminkan realitas/apakah stabil menurut waktu dan ruang

Kualitas keseluruhan data pendapatan

Meskipun peristiwa pendapatan individual dicatat secara akurat, masalah berikut masih bisa tersisa

Definisi pendapatan berubah di tengah data historis

Sebagian pendapatan hilang

Pendapatan yang sama dihitung dua kali

Hasil agregasi yang berbeda tidak cocok satu sama lain

Data yang mencerminkan pelanggan saat ini secara sempurna bisa berkualitas tinggi untuk akuntansi dan pelaporan, tetapi bisa berkualitas rendah untuk memprediksi pendapatan ekspansi jika komposisi pelanggan masa depan berbeda

Representativitas kumpulan data harus dinilai bukan berdasarkan data itu sendiri, melainkan berdasarkan target penerapannya

Tahap 3: Kesesuaian dengan tujuan

Kesesuaian dengan tujuan (fitness for purpose) menilai interaksi antara data dan aplikasi nyata, bukan atribut data

Laporan keuangan tidak cocok untuk kampanye iklan, dan profil pelanggan tidak cocok untuk analisis saham, tetapi jika penggunaannya diubah, masing-masing dapat menjadi data yang esensial

Kesesuaian informasional

Menilai apakah data dapat menjawab pertanyaan yang hendak diselesaikan

Mencakup relevansi/ketepatan/kecukupan/kebutuhan

Fakta bahwa data akurat dan fakta bahwa data menyediakan informasi yang dibutuhkan adalah dua persoalan berbeda

Kesesuaian operasional

Menilai apakah data dapat digunakan secara efektif di lingkungan nyata

Mencakup ketersediaan/kepatuhan lisensi dan regulasi/interoperabilitas/imbalan dibanding risiko

Sekalipun informasinya cukup, jika tidak dapat diakses pada saat dibutuhkan atau tidak dapat digunakan secara legal, data tersebut tidak sesuai dengan tujuan

Perbedaan data pendapatan menurut tujuan

Untuk memfinalisasi pendapatan akhir bulan secara sempurna, tim keuangan yang sangat baik pun membutuhkan beberapa hari, tetapi CEO mungkin harus memutuskan investasi/penghematan biaya/perekrutan/PHK pada bulan yang sama ketika pendapatan menyimpang dari perkiraan

Pendapatan final yang berkualitas tinggi bagi auditor bisa jadi data yang terlalu terlambat untuk operasi real-time

Materi keuangan yang rinci pun bisa tidak cocok dengan kebutuhan tiap pengguna

Dewan direksi menginginkan ringkasan inti

CMO menginginkan kontribusi pemasaran

Tim penjualan menginginkan besaran insentif kinerja

Detail/nuansa/perhatian/berbagai sumbu analisis yang meningkatkan kualitas bagi tim keuangan justru dapat menurunkan kegunaan bagi pengguna lain

Tahap 4: Kualitas hasil bisnis

Sekalipun kualitas individual/kualitas keseluruhan/kesesuaian tujuan semuanya unggul, tidak ada jaminan bahwa data benar-benar menciptakan nilai bisnis

Kualitas hasil bisnis (business-outcome quality) menilai sejauh mana data meningkatkan hasil perusahaan

Peningkatan skor evaluasi

Peningkatan retensi pendapatan perusahaan

Perbaikan imbal hasil yang disesuaikan risiko

Kenaikan tingkat konversi pelanggan, dan sebagainya dapat menjadi sasaran

Ini dapat dibagi menjadi tiga pertanyaan berikut

Apakah data benar-benar digunakan

Apa yang berubah setelah digunakan

Apakah perubahan itu layak untuk diinvestasikan

Mengukur penggunaan dan hasil

Apakah data digunakan diukur melalui tingkat adopsi/pengaruh terhadap pengambilan keputusan/besarnya perubahan perilaku

Perubahan hasil dinilai melalui perbedaan sebelum dan sesudah/kontribusi yang akurat/pentingnya perubahan

Nilai perubahan harus mempertimbangkan laba atas investasi/waktu munculnya hasil/keberlanjutan/risiko

Ketika data pendapatan berkualitas tinggi gagal

Meskipun struktur insentif kinerja penjualan diubah berdasarkan data pendapatan yang akurat, tidak bias, dan sesuai kebutuhan pengguna, hasil bisnis yang diharapkan bisa saja tidak muncul

Jika tim penjualan mengakali formula baru, perilaku berikut dapat terjadi

Memajukan pendapatan masa depan untuk mendapatkan kompensasi akselerasi

Memberikan diskon yang merusak margin

Mengejar kontrak berkualitas rendah yang mudah ditutup alih-alih kontrak sulit dengan nilai jangka panjang tinggi

Data itu sendiri bisa berkualitas tinggi di semua tingkat bawah, tetapi sistem dan perubahan perilaku yang menggunakan data tersebut dapat menghancurkan nilai bisnis

Pada tingkat tertinggi, yang diperlukan bukan semakin membersihkan data itu sendiri, melainkan proses berikut

Mendefinisikan nilai yang akan diciptakan data dengan hipotesis yang lebih baik

Menginstrumentasi jalur dari penggunaan data menuju perilaku dan hasil

Mengurangi atau memperbesar investasi berdasarkan hasil nyata

Tangga kualitas

Empat tingkat ini bukan daftar periksa yang terpisah, melainkan tangga yang berurutan dan saling bergantung

Untuk mencapai kesesuaian tujuan dan hasil bisnis, kualitas data individual dan keseluruhan data harus ada terlebih dahulu

Sebaliknya, kualitas pada tingkat bawah tidak menciptakan nilai dengan sendirinya; dibutuhkan hasil pada tingkat atas agar ada alasan untuk berinvestasi

Pada tingkat bawah, perlu dipastikan apakah kita tidak terlalu tenggelam dalam pemeriksaan atribut hingga melupakan kasus penggunaan bisnis

Pada tingkat atas, perlu dipastikan apakah kita tidak terlalu tenggelam dalam hasil hingga mengabaikan kebersihan data dasar

Cara standar yang ada gagal

Pendekatan ala ISO 25012 dapat terjebak dalam perangkap daftar periksa: mengukur banyak sekali atribut kualitas tetapi bisnis tidak membaik

Pendekatan ala ISO 8000 berhenti pada definisi bahwa data yang menghasilkan hasil baik adalah data yang baik, sehingga tidak memberi tahu secara konkret apa yang harus diperbaiki

Tangga kualitas menghubungkan pemeriksaan yang dapat ditindaklanjuti pada tingkat bawah dan penilaian nilai pada tingkat atas ke dalam satu struktur

Konflik yang muncul di berbagai tingkat

Perdebatan tentang kualitas data sering terjadi ketika orang berbicara dari tingkat tangga yang berbeda

Data operations engineer memprioritaskan label yang akurat dan kondisi record, tetapi data tersebut mungkin tidak digunakan dalam bisnis

CEO menekankan model operasional ideal dan hasil bisnis, tetapi model itu bisa dibangun di atas data input yang sulit dipercaya

Saat menghadapi masalah, satu pihak mencari perbaikan data detail dan pihak lain mencari strategi baru, tetapi tidak satu pun dari keduanya dapat menyelesaikan semua masalah

Tiga cara melewati tingkat
Kegagalan peluncuran

Ini terjadi ketika organisasi terlalu berfokus pada tingkat bawah hingga menyempurnakan kualitas individual/kualitas keseluruhan/kesesuaian tujuan, tetapi sama sekali tidak menghasilkan nilai bisnis

Tingkat bawah bersifat konkret, terukur, dan mudah diperbaiki secara langsung, sehingga paling mudah menjadi fokus organisasi

Karena ada banyak item yang dapat diukur, pekerjaan merapikan data dapat menjadi tujuan alih-alih kinerja nyata

Kegagalan fondasi

Ini terjadi ketika tingkat bawah diabaikan dan nilai bisnis dioptimalkan secara langsung terlebih dahulu

Jika tujuan jelas dan siklus umpan balik cukup cepat, ini dapat bekerja untuk sementara

Pendekatan bahwa meskipun ada masalah akurasi/sumber/keterkinian yang penting hasilnya baik umumnya tidak berkelanjutan, dan pada akhirnya masalah data dasar akan terlihat

Menggunakan sumber sebagai bukti kualitas

Sumber eksternal yang tepercaya dapat menjamin kualitas data individual dan keseluruhan data sebagai pengganti, sehingga investasi verifikasi internal dapat dikurangi

Memilih penyedia yang terspesialisasi pada industri tertentu juga dapat mengurangi beban verifikasi kesesuaian tujuan

Namun, nilai bisnis harus diciptakan sendiri oleh organisasi yang membeli data

Kepercayaan terhadap sumber data tidak muncul secara otomatis

Terbentuk melalui waktu/sumber daya/hasil yang berulang

Dipertahankan selama data terus bekerja

Cepat melemah jika tidak menghasilkan hasil yang diharapkan

Langkah berikutnya

Kualitas data bukanlah atribut absolut yang ada pada data itu sendiri, melainkan muncul dalam tujuan penggunaan dan proses penciptaan nilai

Manajemen kualitas yang efektif menuntut pemeriksaan keempat tingkat sekaligus, tanpa berhenti hanya pada salah satunya

Tulisan lanjutan akan membahas bagaimana AI mengubah intuisi yang ada tentang kualitas data