Mengapa Modern Data Stack penting di era AI

• Dari 2021 hingga awal 2023, bidang teknologi data, khususnya Modern Data Stack, merupakan salah satu area paling aktif dan paling mendapat perhatian di industri teknologi
• Pada akhir 2023, saat ChatGPT muncul, perhatian bergeser ke AI, dan pembahasan tentang infrastruktur data agak tenggelam
• Namun, ketika AI mulai terintegrasi ke dalam alur kerja nyata, dua hal berikut menjadi jelas:
  • Alur kerja AI yang kompleks harus secara aktif memanfaatkan pelajaran dari data engineering
  • Agar LLM dapat bekerja dengan baik, ia harus bisa mengakses data yang dihasilkan dalam alur kerja analitik

Kaitan nyata antara AI dan infrastruktur data

• Seberapa pun pintarnya LLM, jika tidak dapat mengakses informasi yang akurat, ia tidak bisa memberikan jawaban yang akurat
• Jika informasi tersebar di postingan Reddit, dokumen internal, data warehouse, dan lain-lain, LLM tidak akan bisa mengaksesnya
• Kabar baiknya, kini mulai muncul protokol dan standar yang memungkinkan LLM mengakses berbagai sumber informasi
• Namun, pertanyaan seperti informasi apa yang harus diberikan, apakah informasi itu akurat, dan bagaimana hak akses harus diatur masih menjadi tantangan yang harus diselesaikan

Keunggulan dan tantangan integrasi LLM menurut sumber informasi

• LLMs + pencarian internet

  • Keunggulan: dapat mengintegrasikan data web publik untuk memanfaatkan informasi dunia nyata yang terbaru dengan mudah (misalnya: mencari restoran enak)
  • Masalah:
    • Konten yang dioptimalkan untuk SEO juga bekerja baik di LLM, sehingga informasi yang kurang tepercaya bisa muncul di bagian atas
    • Contoh: jika mencari “bantal terbaik 2025”, sulit menemukan jawaban yang benar-benar tepercaya → hal yang sama berlaku untuk LLM

• LLMs + dokumen internal (Notion, Slack, dll.)

  • Keunggulan:
    • Di organisasi yang kompleks, informasi kolaborasi antar tim, kebijakan, dan rencana dapat dipahami secara sekilas
    • Alat seperti NotionAI adalah contoh yang menunjukkan potensi LLM dengan baik
  • Masalah:
    • Sulit mengetahui apakah dokumen masih terbaru
    • Hasil yang saling bertentangan dapat muncul untuk pertanyaan yang sama
    • Karena itu, bukan hanya dokumen itu sendiri, tetapi juga metadata tentang tingkat kepercayaan dokumen dibutuhkan

• LLMs + data terstruktur dan metrik

  • Keunggulan:
    • Melalui antarmuka percakapan, analisis data yang kompleks dapat dilakukan tanpa SQL
    • Saat menangani data yang sudah akrab, rasanya seperti mendapatkan kekuatan super
  • Masalah:
    • Apakah definisi yang konsisten digunakan di seluruh organisasi?
    • Apakah eksekutif dapat mempercayai hasilnya dan menggunakannya untuk pengambilan keputusan nyata?
    • Apakah kontrol akses dan tata kelola data sudah diatur dengan benar?
    • Text-to-SQL terus berkembang, tetapi kelayakan penerapan di dunia nyata dan jaminan keandalannya masih menjadi tantangan

Tiga contoh integrasi data untuk LLM

• Misalnya, jika CEO sebuah jaringan restoran sedang meninjau ekspansi ke wilayah baru, semua informasi berikut dapat dimanfaatkan:
  • Dokumen internal: memahami strategi dan rencana organisasi
  • Data terstruktur: menganalisis kondisi keuangan dan data pelanggan
  • Pencarian internet: meneliti informasi pasar dan benchmark di wilayah tersebut
• Secara teori ini adalah pendekatan yang sangat berguna, tetapi dalam praktiknya berbagai sistem harus dihubungkan secara ad hoc, dan satu kesalahan kecil saja dapat memengaruhi keseluruhan penilaian

Nilai sebenarnya dari Modern Data Stack

• Bukan kebetulan semata bahwa tepat sebelum kemunculan AI, Modern Data Stack menjadi tren untuk sentralisasi, standarisasi, dan tata kelola data
• Infrastruktur inilah yang menjadi fondasi untuk era LLM
• Modern Data Stack bukan sekadar untuk membangun dashboard, melainkan platform untuk alur kerja data dan antarmuka yang konsisten serta dapat dipercaya
• Kini ketika AI mulai berinteraksi dengan ekosistem ini, pentingnya infrastruktur data kembali menonjol

Peran praktisi data ke depan

• Praktisi data kini melampaui sekadar analisis data, yaitu:
  • Membangun lingkungan data yang dapat dipercaya untuk digunakan LLM
  • Merancang sistem yang menerapkan tata kelola dan kontrol akses
  • Menjamin stabilitas dan keandalan saat menerapkan sistem AI
• Bidang ini membawa peluang besar sekaligus tanggung jawab yang signifikan
• Saat ini banyak organisasi sedang menerapkan sistem LLM ke pekerjaan nyata, dan inilah momen ketika dampak nyata bisa diwujudkan

Penutup

• Modern Data Stack tetap merupakan infrastruktur yang relevan di era AI, dan kini mulai terhubung secara serius dengan sistem AI
• Alur kerja AI yang mengintegrasikan data terstruktur, dokumen tidak terstruktur, dan informasi dunia nyata sudah memungkinkan saat ini, dan diperkirakan akan semakin maju
• Merancang dan menghubungkan sistem-sistem ini ke arah yang tepat adalah misi komunitas data