- Ketika AI generatif tidak berjalan dengan data yang dapat dipercaya, hasil analisisnya pun sulit dipercaya, sehingga manajemen data naik kelas dari pekerjaan dukungan teknis menjadi fungsi inti strategis
- Dari tahap awal ketika pengembang aplikasi juga menangani struktur data, peran kemudian terpecah menjadi perancang/pengelola database, CIO, dan CDO, dengan integritas data serta pemahaman yang konsisten di seluruh perusahaan menjadi tantangan utama
- Pada data terstruktur, model data dan database dimodifikasi secara langsung, tetapi di lingkungan AI generatif, kontrol tidak langsung dilakukan dengan menyeleksi dan membersihkan teks yang masuk ke LLM
- Untuk teks tidak terstruktur, dibutuhkan ontologi/taksonomi alih-alih model data tradisional, dan ini harus digabungkan dengan ELDM perusahaan serta terus diperbarui
- Ketika data tersebar di berbagai sistem/PC/internet, sentralisasi fisik menjadi tidak mungkin, sehingga sentralisasi semantik yang menyatukan makna di tingkat perusahaan lewat ELDM menjadi penting
Manajemen data yang berawal dari pekerjaan pengembangan aplikasi
- Dalam sistem komputer awal, pengembang aplikasi mengumpulkan kebutuhan, mengikuti metodologi, melakukan pemrograman dan pengujian, sekaligus mendefinisikan data yang akan digunakan sistem dan strukturnya
- Desain data bukan fungsi perusahaan yang berdiri sendiri, melainkan salah satu dari banyak tugas dalam proses pengembangan
Pemrosesan transaksi dan munculnya peran spesialis database
- Seiring meluasnya sistem pemrosesan transaksi, waktu respons, ketersediaan sistem, dan integritas eksekusi transaksi harus tercermin dalam desain database
- Munculnya perancang database yang menangani kebutuhan ini secara khusus membuat manajemen data mulai dipandang sebagai pekerjaan tersendiri
- Ketika database untuk pemrosesan transaksi meningkat pesat, dibutuhkan administrator database untuk mengendalikan dan mengoordinasikan banyak database
Masalah integritas data dan data warehouse
- Ketika elemen data yang sama disimpan berulang di banyak aplikasi yang saling terhubung, muncul masalah nilai yang berbeda di tiap lokasi
- Masalah perusahaan bergeser dari sekadar memiliki data menjadi menentukan data mana yang bisa dipercaya
- Menambah aplikasi dan teknologi saja tidak menyelesaikan masalah integritas, bahkan justru memperbesar dan mempercepatnya
- Yang dibutuhkan bukan perbaikan teknis, melainkan solusi arsitektural yang memisahkan data operasional dan data analitik, dan dari situlah data warehouse muncul
Model data dan lingkungan data terstruktur
- Untuk mengubah data operasional menjadi data analitik dan data warehouse, dibutuhkan model data yang mengabstraksikan jenis data yang ada saat ini maupun yang akan dibutuhkan nanti
- Sistem operasional dan data warehouse terdiri dari lingkungan data terstruktur, di mana format tiap record sama dan hanya isinya yang berbeda
- Data terstruktur dalam aplikasi, database, dan database pemrosesan transaksi dikelola dengan database management system (DBMS)
- Ketika gangguan pada sistem transaksi langsung memengaruhi operasi nyata dan pelanggan, seperti ATM dan sistem reservasi penerbangan, nilai dari sistem dan pengelolaan data yang akurat dan andal pun meningkat
Pekerjaan pengelola data terstruktur
- Setelah membangun model data, model tersebut dipelihara dan dimodifikasi terus-menerus sesuai kondisi ekonomi, persaingan, teknologi, hukum, dan perubahan pasar
- Dalam desain database, prinsip normalisasi diikuti, tetapi tingkat denormalisasi yang diperlukan diterapkan demi kinerja pemrosesan transaksi
- Pengelola data menyeimbangkan tujuan sistem dan kebutuhan kinerja di antara normalisasi dan denormalisasi
- Menulis DDL yang mendefinisikan database berdasarkan model data
- Melakukan perencanaan kapasitas untuk memprediksi kapan perangkat pemrosesan transaksi akan mencapai batas kapasitas
- Terus memantau aktivitas database dan pertumbuhan data
- Jika ditemukan masalah, digunakan pendekatan kontrol langsung dengan mengakses dan memperbaiki model data atau database terkait secara langsung
Perluasan data tidak terstruktur/teks
- Di perusahaan, tidak hanya ada data terstruktur tetapi juga data tidak terstruktur/teks yang sangat luas, bahkan ada perkiraan bahwa hingga 90% data perusahaan berupa teks
- Karena banyak informasi penting perusahaan hadir dalam bentuk teks, organisasi manajemen data juga harus mengelolanya bersama
- Data terstruktur dan data teks pada dasarnya berbeda dalam struktur maupun cara pengelolaannya
Ontologi dan taksonomi dalam lingkungan teks
- Dalam lingkungan teks, model data terstruktur tradisional sulit diterapkan apa adanya
- Peran yang dijalankan model data pada data terstruktur dijalankan oleh ontologi/taksonomi (ontology/taxonomy) dalam lingkungan teks
- Kedua model ini memiliki peran yang saling bersesuaian, tetapi struktur dan teknik pengelolaannya sangat berbeda
- Menerapkan teknik pemodelan dan pengelolaan data terstruktur langsung ke teks tidaklah tepat, dan hampir tidak menghasilkan capaian yang berarti
Seleksi dan pembersihan teks input untuk LLM
- Dalam lingkungan AI generatif, pekerjaan manajemen data yang paling penting adalah meninjau teks sumber sebelum masuk ke LLM
- Teks yang tidak perlu dan tidak terkait dengan pekerjaan perusahaan harus dihapus agar tidak masuk ke LLM
- Dengan menghapus teks yang tidak perlu, jumlah data yang harus diproses setiap kali menjalankan kueri berkurang sehingga menghemat biaya
- Jika hanya teks yang terkait pekerjaan yang dipertahankan, cakupan hal yang diekspresikan dan ditangani LLM menjadi lebih jelas
ELDM dan keterhubungan data terstruktur/tidak terstruktur
- Pengelola data di lingkungan AI generatif harus menggabungkan ontologi/taksonomi dengan ELDM (Enterprise Logical Data Model) di seluruh perusahaan
- ELDM digunakan untuk mengintegrasikan model data terstruktur tradisional dan ontologi/taksonomi dalam lingkungan teks
- Jika kebutuhan bisnis perusahaan berubah, ontologi/taksonomi juga harus diperbarui bersamaan
Pengumpulan teks eksternal dan pemeliharaan berkelanjutan
- Pertama, perlu dipilih teks sumber mentah dari cakupan yang luas, termasuk dari sumber seperti internet
- Setelah itu, dilanjutkan proses seleksi dua tahap untuk menyaring kembali data yang relevan dengan pekerjaan perusahaan dari teks yang telah dipilih
- Karena lingkungan kerja dan kondisi dunia terus berubah, ontologi/taksonomi harus terus dipantau dan dikelola
- Diperlukan pemeliharaan berulang agar kondisi yang berubah dan sistem klasifikasi tetap saling selaras
Kontrol tidak langsung terhadap LLM
- Pengelola data terstruktur dapat mengubah model data dan database secara langsung, tetapi dalam lingkungan AI generatif, LLM itu sendiri tidak bisa dikendalikan langsung dengan cara yang sama
- Sarana untuk mengendalikan hasil AI generatif adalah mengelola teks apa yang akan dimasukkan ke dalam LLM
- Karena itu, manajemen data untuk AI generatif lebih dekat pada kontrol tidak langsung melalui pemilihan dan pembersihan data input, bukan perbaikan langsung
Perubahan peran manajemen data dalam organisasi perusahaan
- Pada awalnya, manajemen data hanyalah salah satu dari banyak tugas yang dilakukan pengembang sistem, tanpa organisasi atau jabatan perusahaan yang terpisah
- Ketika pemrosesan transaksi menjadi penting, desain database dipisahkan sebagai pekerjaan independen dan muncullah peran perancang database
- Seiring database bertambah pesat dan elemen data yang harus dikelola makin banyak, peran administrator database pun meluas
- Ketika masalah ketidaksesuaian data antarberbagai sistem membesar, muncullah CIO (Chief Information Officer) yang bertanggung jawab atas integrasi informasi di tingkat perusahaan
- Ketika muncul kebutuhan untuk memahami data perusahaan secara menyeluruh dengan mengintegrasikan data terstruktur dan data teks, peran ini berkembang menjadi CDO (Chief Data Officer)
- Semakin beragam bentuk data, semakin meningkat pula kompleksitas dan pentingnya pengelolaan, beserta peluang pemanfaatan dan tantangannya
Dari sentralisasi fisik ke sentralisasi semantik
- Untuk memahami data dan maknanya secara konsisten di seluruh perusahaan, dibutuhkan kerangka pemahaman data yang tersentralisasi
- Pada masa awal komputasi, sentralisasi berarti sentralisasi fisik dengan mengumpulkan database ke mainframe besar
- Setelah data tersebar ke berbagai lokasi seperti komputer pribadi, internet, dan sistem perusahaan, sentralisasi fisik menjadi tidak mungkin
- Semakin tersebar data, semakin besar kebutuhan untuk menyelaraskan agar objek yang sama dipahami dengan makna yang sama di internet maupun di dalam perusahaan
- Fokus sentralisasi pun bergeser dari lokasi penyimpanan data ke makna dan definisi data
- ELDM digunakan sebagai sarana untuk memelihara makna data bersama di tingkat perusahaan secara terpusat, meskipun data berada di berbagai lokasi fisik
Belum ada komentar.