Membangun Perusahaan AI-Native

xguru · 2024-07-01T11:22:02+09:00

Pada awal 2020-an, banyak perhatian terpusat pada AI generatif Pembahasan terutama berfokus pada bagaimana alat AI generatif akan membentuk kita, serta dampaknya pada cara kita menulis, membuat kode, animasi, dan mengonsumsi informasi Namun, tidak banyak pembahasan tentang bentuk alat yang kita gunakan Pada akhir 1960-an, sistem informasi menghadapi masalah bahwa proses mencari informasi yang relevan menjadi semakin mahal karena volume data yang sangat besar Pada 1980-an dan 90-an, basis data relasional menjadi solusi yang dominan Basis data ini menyediakan pengindeksan yang intuitif dan menjamin efisiensi kueri Basis data relasional memungkinkan data direpresentasikan sebagai kumpulan tabel dengan relasi yang terstruktur Melalui bahasa kueri seperti SQL, pencarian data menjadi lebih cepat Seiring evolusi arsitektur basis data, perusahaan-perusahaan tertentu seperti IBM, Oracle, Sun Microsystems, dan MongoDB memperkuat posisinya di masing-masing pasar yang sedang tumbuh Meski Oracle memimpin dunia basis data relasional, cara orang menyimpan dan mengakses informasi terus berubah Setiap kali muncul jenis pekerjaan baru, orang merancang arsitektur baru untuk mengelolanya Evolusi terbaru basis data berasal dari kebutuhan untuk menangani data tak terstruktur Selama lebih dari 50 tahun terakhir, skema terutama disusun di sekitar relasi data terstruktur Namun, semakin banyak orang membutuhkan alat yang jauh lebih mampu menangani ambiguitas data Dari kebutuhan itulah basis data vektor muncul Model bahasa besar (LLM) berbasis transformer seperti GPT dapat menangkap dependensi jangka panjang dalam teks Namun, mempertahankan kemampuan memahami teks panjang dapat sangat mahal secara komputasi Basis data vektor dapat memperluas jendela konteks model-model ini Meski basis data vektor bisa sangat kuat untuk use case AI, pada dasarnya ia tetap infrastruktur bodoh yang digerakkan oleh input dan output Ia tidak memiliki kemampuan untuk memahami atau menafsirkan data Ia hanya berperan sebagai repositori yang menyimpan dan mengambil data sesuai instruksi, tanpa kecerdasan inheren atau kesadaran konteks Dengan peluncuran GPT-3 pada 2020, AI semakin dapat digunakan sebagai inti produk perusahaan, bukan sekadar tambahan Arsitektur transformer, peningkatan jumlah data, dan peningkatan performa menyiapkan fondasi untuk pengembangan produk berbasis AI Seiring bertambah banyaknya perusahaan AI-Native (berbasis AI) dan membesarnya skala mereka, kebutuhan akan alat yang mendukung use case berbasis AI juga meningkat Gelombang pertama perusahaan yang berpusat pada AI terutama berfokus pada inferensi menggunakan model yang sudah ada Namun, dengan model yang performanya meningkat—terutama model open source yang mudah diakses—perusahaan dapat membangun kemampuan yang lebih dalam sebagai bisnis berbasis AI Skalabilitas ini membuka dunia peluang tentang seperti apa tech stack berbasis AI dapat terlihat Alat yang Membentuk Kita (The Tools that Shape Us) Pada 1967, John M. Culkin, teman Marshall McLuhan, berkata, "Kita membentuk alat, lalu alat membentuk kita" Hal yang sama berlaku dalam membangun teknologi Infrastruktur yang kita gunakan untuk membangun perangkat lunak terus berevolusi agar sesuai dengan kebutuhan pembangunan kita, dan setelah itu cara kita membangun dibentuk oleh infrastruktur yang telah kita siapkan Pada awal 2020-an, banyak perhatian terpusat pada AI generatif Fokusnya terutama pada hasil yang dihasilkan, seperti teks atau kode yang dibuat, gambar yang dirender, deepfake yang diproduksi, dan musik yang disintesis Pembahasan terutama berfokus pada bagaimana alat-alat ini akan membentuk kita, serta dampaknya pada cara kita menulis, membuat kode, animasi, dan mengonsumsi informasi Orang-orang mendiskusikan performa komparatif model bahasa besar terbuka dan proprietary, risiko halusinasi, perdebatan platform versus fitur, serta perdebatan perusahaan mapan versus startup Namun, tidak banyak pembahasan tentang bentuk alat yang kita gunakan Pada dasarnya, cara kita membangun teknologi telah dibentuk oleh infrastruktur yang disiapkan untuk pembangunan tersebut Penyebaran SaaS dipercepat oleh internet, pengembangan mobile dimungkinkan oleh meluasnya smartphone, dan skalabilitas generasi aplikasi didorong oleh cloud computing Universalitas AI dalam aplikasi bergantung pada komputasi, kemampuan model, dan orkestrasi model tersebut dalam use case bisnis Tulisan ini akan berfokus pada elemen orkestrasi Salah satu elemen kunci dalam mengorkestrasi semua use case AI adalah basis data perusahaan Tempat data disimpan, dimanipulasi, dan dipanggil merupakan bagian penting dari teka-teki ini Namun, seperti yang akan ditunjukkan, sejarah basis data pada umumnya adalah sejarah infrastruktur bodoh Untuk memaksimalkan kegunaan AI, basis data harus dibangun agar menjadi bagian dari persamaan generatif Fondasi untuk Data (A Base For Data) Pada Mei 1959, CODASYL (Conference on Data Systems Languages) pertama kali diselenggarakan dan bertujuan membangun “bahasa serbaguna untuk membangun aplikasi bisnis” Pada akhir 1960-an, sistem informasi menghadapi masalah bahwa proses mencari informasi yang relevan menjadi makin mahal karena volume data yang sangat besar Penggunaan komputer mainframe secara umum menyebabkan kenaikan biaya MIPS (million instructions per second) seiring meningkatnya pemanfaatan mainframe, akibat biaya upgrade yang dibutuhkan untuk pemeliharaan aplikasi, patch, dan menjaga performa Karena kompleksitas pengelolaan basis data, hierarki yang kaku, dan pemetaan struktur navigasi yang rumit, perusahaan sering memerlukan keahlian teknis untuk mengakses informasi yang dipilih, dan bahkan beberapa pengembang harus menulis seluruh program untuk mengakses informasi yang relevan Pada 1970, E.F. Codd menerbitkan “A Relational Model of Data for Large Shared Data Banks”, yang mengusulkan model di mana tabel dapat dihubungkan melalui karakteristik bersama (yaitu primary key yang mengidentifikasi record unik dan foreign key yang membangun relasi antar tabel) Hal ini memungkinkan pengambilan data dari tabel yang heterogen dengan satu query Basis data relasional Codd didasarkan pada hubungan antar item data, sehingga memungkinkan fleksibilitas dalam manipulasi dan penggunaan data Pada 1973, sekelompok programmer di IBM San Jose Research Laboratory memulai proyek System R, membuktikan bahwa sistem basis data relasional dapat mengintegrasikan fitur lengkap yang dibutuhkan untuk penggunaan produksi sambil tetap memberikan performa tinggi Tim ini mengembangkan cost-based optimizer untuk efisiensi basis data, dan pengembangan yang berasal dari System R kemudian mengarah pada peluncuran SQL/DS, produk basis data relasional pertama IBM Pada 1980-an dan 1990-an, basis data relasional menjadi solusi basis data yang dominan Menyediakan indexing yang intuitif dan menjamin efisiensi query Basis data relasional memungkinkan data direpresentasikan sebagai kumpulan tabel dengan relasi yang terstruktur Memungkinkan pengambilan data yang lebih cepat melalui bahasa query seperti SQL Basis data relasional dibangun dengan asumsi berjalan di satu mesin Namun, adopsi internet secara massal pada 1990-an dan 2000-an menyebabkan lonjakan data yang sangat besar, menghasilkan workload yang terlalu berat untuk ditangani satu komputer Basis data SQL tradisional dirancang untuk berjalan di satu server, dan pengguna harus menambah perangkat keras fisik sesuai kebutuhan kapasitas penyimpanan, yang terbukti sangat mahal bagi perusahaan yang menjalankan workload lebih besar Pada 2010-an, data dan pengguna untuk OLTP (online transaction processing) tumbuh secara eksponensial, yang mendorong peningkatan besar dalam basis data terdistribusi, data warehouse, dan OLAP (online analytical processing) Basis data relasional dan SQL tidak lagi cocok untuk skala dan kompleksitas aplikasi yang dibutuhkan, dan basis data NoSQL muncul sebagai cara untuk meningkatkan performa (dengan mengorbankan kemampuan ACID) Basis data relasional dapat menyimpan dan memanipulasi data terstruktur, tetapi sulit mempertahankan relasi antar data ketika harus menangani overhead join dan mempertimbangkan biaya operasi CRUD Basis data relasional cocok untuk menangani data relasional dengan kebutuhan logis atau diskret, tetapi umumnya disesuaikan dengan sistem legacy yang secara khusus dibangun untuk struktur relasional NoSQL muncul sebagai cara menangani big data tidak terstruktur dan memberikan persistensi data kepada pengembang melalui pendekatan non-relasional Alih-alih menggunakan SQL sebagai bahasa query utama, NoSQL menyediakan akses melalui API untuk menjamin skalabilitas lebih tinggi, komputasi terdistribusi, biaya lebih rendah, dan fleksibilitas skema Basis data NoSQL beroperasi dengan arsitektur efisien yang dapat diskalakan secara horizontal, sehingga untuk menambah kapasitas penyimpanan atau komputasi cukup menambah lebih banyak server atau instance cloud Bagi perusahaan dengan workload data yang memerlukan pemrosesan atau analisis lebih cepat terhadap data tidak terstruktur, basis data NoSQL menjadi pilihan utama Perang Basis Data OG Seiring evolusi arsitektur basis data, perusahaan-perusahaan tertentu berhasil memantapkan posisinya di masing-masing pasar yang sedang tumbuh Tak lama setelah IBM meluncurkan System R, Larry Ellison yang saat itu berusia 33 tahun membaca makalah Codd yang sama tentang basis data relasional Ellison dan dua co-founder-nya berusaha mendirikan perusahaan yang kompatibel dengan System R, tetapi IBM membuat hal itu sangat sulit Akibatnya, trio ini membangun bisnis mereka di sekitar produk basis data unggulan baru, Oracle Databases Sejak itu, basis data Oracle menjadi produk terdepan, dan per Mei 2024 pangsa pasarnya sekitar 28,7% Dalam beberapa tahun sebelum IPO Oracle pada 1986, perusahaan lain juga masuk ke bidang basis data Sun Microsystems memulai pada 1982 dengan menjual berbagai komponen komputer, tetapi kemudian dikenal berkat kontribusinya seperti bahasa pemrograman Java, Network File System, dan lainnya Yang penting, pada 2008 Sun Microsystems mengakuisisi MySQL, sistem manajemen basis data open source Hanya dua tahun kemudian, Oracle mengakuisisi Sun Microsystems (termasuk MySQL) Hampir 15 tahun kemudian, per Mei 2024, basis data terdepan adalah Oracle (pangsa pasar 28,7%) dan MySQL (sekitar 17,3%) Meski Oracle memimpin dunia basis data relasional, cara orang menyimpan dan mengakses informasi terus berubah Setiap kali muncul pekerjaan baru, orang menciptakan arsitektur baru untuk mengelolanya Dari document store seperti MongoDB (2007) dan Databricks (2013), hingga basis data time-series seperti InfluxDB (2013) dan Prometheus (2012), serta basis data graf seperti Neo4j (2007) dan Cosmos (2017), daftar basis data terspesialisasi terus bertambah Seiring popularitas basis data relasional yang terus menurun, berbagai solusi muncul untuk kebutuhan niche baru ini Evolusi terbaru basis data berasal dari kebutuhan untuk menangani data tidak terstruktur Selama lebih dari 50 tahun terakhir, skema terutama disusun di sekitar relasi data terstruktur Namun, semakin banyak orang membutuhkan alat yang jauh lebih mampu menangani ambiguitas data Sebagai respons, muncullah basis data vektor Kebangkitan Basis Data Vektor Dengan meluasnya adopsi model bahasa besar (LLM) dan AI generatif, basis data vektor muncul sebagai alat yang dapat menangani data multimodal tak terstruktur Sementara basis data relasional tradisional (Postgres, MySQL) paling cocok untuk skema terstruktur, basis data vektor cocok untuk menyimpan dan melakukan kueri terhadap embedding vektor (representasi numerik data yang memuat makna relatif terhadap bobot model bahasa) Alih-alih baris dan kolom yang umum digunakan dalam basis data relasional, basis data vektor merepresentasikan data sebagai titik dalam ruang multidimensi dan mencocokkan data berdasarkan kemiripan, bukan nilai yang persis sama Bergantung pada model embedding, data dapat direpresentasikan dalam ruang vektor yang berbeda dan dalam berbagai dimensi Embedding vektor menangkap makna titik data sehingga memungkinkan pencarian objek serupa dengan mengambil objek terdekat dalam basis data vektor Sebagai contoh, Word2Vec memetakan kata ke vektor untuk membantu menangkap makna, kemiripan semantik, dan hubungan kontekstual dengan teks lain Algoritme ini menggunakan jaringan saraf dangkal untuk menurunkan makna kata tertentu dari korpus teks yang lebih luas dan mengidentifikasi sinonim melalui regresi logistik Ada juga metode yang membantu mengekstrak embedding tanpa bergantung pada jaringan saraf dalam, seperti singular value decomposition (SVD) dan principal component analysis (PCA) Metrik jarak membantu menentukan "jarak" relatif antar titik dalam ruang vektor, dan metode umum mencakup jarak Euclidean, jarak Manhattan, jarak cosine, serta kemiripan Jaccard K-nearest neighbors (KNN) dan approximate nearest neighbors (ANN) membantu menyederhanakan pencarian kemiripan untuk gambar, video, atau input multimodal lainnya sekaligus meningkatkan waktu eksekusi Basis data khusus vektor seperti Weaviate, Chroma, Qdrant, dan Pinecone membantu developer menangani data dalam skala besar, terutama untuk mempermudah pencarian pada input tak terstruktur Tidak seperti basis data relasional atau basis data NoSQL tradisional, basis data vektor dirancang khusus untuk menangani embedding vektor Basis data tradisional menyimpan data sebagai skalar, sedangkan basis data vektor hanya menyimpan vektor dan memanfaatkan teknik pengindeksan seperti kuantisasi dan clustering untuk mengoptimalkan operasi pencarian LLM berbasis transformer seperti GPT dapat menangkap dependensi jangka panjang dalam teks Namun, mempertahankan kemampuan memahami teks panjang bisa sangat mahal secara komputasional LLM terbaru dapat menangkap dependensi global antarpasangan token di seluruh input, tetapi karena kompleksitas waktu dan ruang, muncul masalah sumber daya komputasi yang membatasi panjang teks input saat pelatihan dan jendela konteks efektif saat inferensi Untuk kasus multidimensi, pengodean posisi relatif sulit diimplementasikan, dan sebagian besar pendekatan untuk mengodekan posisi relatif memerlukan mekanisme embedding posisi yang kuat yang berkontribusi pada penurunan performa saat inferensi Bahkan ketika panjang teks meningkat, basis data vektor dapat berperan penting sebagai memori jangka panjang model Dengan menggunakan basis data vektor, tugas seperti pelengkapan teks atau peringkasan dapat disederhanakan ketika seluruh konteks kalimat mungkin diperlukan untuk menghasilkan hasil yang akurat Basis data vektor dapat mendukung retrieval-augmented generation (RAG), di mana basis data vektor dapat digunakan untuk meningkatkan prompt yang dikirim ke LLM dengan menyertakan konteks tambahan bersama kueri asli LLM sering bergantung pada model self-supervised learning, sehingga kerap mengalami kesulitan pada tugas spesifik domain yang memerlukan pengetahuan tertentu atau ambang akurasi yang lebih tinggi RAG dapat membantu memverifikasi, melacak, atau menjelaskan bagaimana respons dihasilkan, sekaligus mengurangi halusinasi yang dapat muncul akibat kurangnya konteks untuk kueri yang dimaksud Developer dapat menggabungkan knowledge graph dan pencarian vektor untuk memperluas kemampuan LLM melampaui data yang digunakan saat pelatihan Alat seperti GraphRAG dari Microsoft Research mempermudah augmentasi prompt saat melakukan pencarian pada data set privat RAG dasar sering kesulitan memahami konsep makna yang diringkas secara menyeluruh pada koleksi data besar, sehingga alat seperti LlamaIndex dan GraphRAG membangun knowledge graph berdasarkan data set privat Bergantung pada kebutuhan atau use case tertentu, developer mungkin lebih baik menggunakan knowledge graph daripada RAG Basis data vektor cocok untuk pencarian kemiripan dan paling sesuai untuk pencarian dokumen atau gambar serta pembuatan rekomendasi, sedangkan knowledge graph cocok untuk penalaran (terutama berguna saat mengumpulkan data, mengekstrak entitas beserta relasi yang saling terhubung, dan menelusuri relasi tersebut) Untuk aplikasi yang memerlukan pemrosesan data real-time atau near-real-time, basis data vektor mungkin lebih disukai karena kueri dengan latensi lebih rendah Dengan mengumpulkan dan menyimpan embedding, basis data vektor mempermudah pencarian kemiripan yang lebih cepat dengan mencocokkan prompt masukan dengan embedding yang serupa Pemeringkatan kemiripan membantu mendukung berbagai tugas machine learning, mulai dari sistem rekomendasi, pencarian semantik, pengenalan gambar, hingga aplikasi natural language processing lainnya Basis data vektor memainkan peran penting dalam meningkatkan performa LLM dengan memungkinkan penyimpanan dan pencarian embedding vektor secara efisien Ini memungkinkan pemahaman bahasa alami secara otomatis dalam skala besar Namun, embedding vektor merepresentasikan inovasi N+1 Ini merupakan format data sebelumnya seperti data relasional atau deret waktu Vendor basis data legacy mulai meluncurkan fitur vektor seperti Atlas Vector Search dari MongoDB, basis data vektor dari SingleStore, dan indeks pencarian vektor dari Neo4J Walaupun basis data vektor bisa sangat kuat untuk use case AI, ini tetap merupakan infrastruktur bodoh yang beroperasi berdasarkan input dan output Basis data ini tidak memiliki kemampuan untuk memahami atau menafsirkan data Ia sekadar berperan sebagai penyimpanan yang menyimpan dan mengambil data sesuai instruksi, tanpa kecerdasan inheren atau kesadaran konteks Untuk aplikasi modern berbasis AI, hal ini saja tidak akan cukup Perusahaan semakin membangun dengan model AI sebagai inti Karena itu, jika aplikasi ingin semakin menunjukkan kemampuan yang cerdas, infrastrukturnya juga akan membutuhkan kemampuan cerdas yang sama Perusahaan AI-Native Generasi Pertama Sejak kalangan akademik pertama kali mulai meneliti kecerdasan buatan di Dartmouth College pada 1956, use case praktis telah mendorong kemajuan bidang ini Misalnya, pada akhir 1960-an Joseph Weizenbaum membuat program komputer bernama ELIZA, yang menggunakan pendekatan sederhana berupa pencocokan pola untuk mensimulasikan percakapan dan digunakan untuk percakapan yang menyerupai terapi dasar (chatbot pertama) Dalam sebagian besar sejarah penggunaan AI untuk use case bisnis, peningkatan AI berlangsung secara bertahap Sebelum istilah AI menjadi populer, istilah machine learning lebih sering digunakan untuk merujuk pada teknologi yang sama Dengan kata lain, “algoritme statistik yang dapat belajar dari data dan melakukan generalisasi ke data yang belum terlihat, sehingga dapat menjalankan tugas tanpa instruksi eksplisit” Dari sisi persepsi publik, AI mencapai titik belok saat OpenAI meluncurkan ChatGPT pada 30 November 2022, tetapi dari sudut pandang teknis, titik balik itu terjadi jauh lebih awal Pada November 2017, Financial Stability Board (FSB), badan regulasi internasional, menulis ikhtisar tentang dampak machine learning pada layanan keuangan Perusahaan jasa keuangan semakin banyak menggunakan machine learning untuk melakukan tugas seperti “menilai kualitas kredit” dan dapat “berkontribusi pada sistem keuangan yang lebih efisien” Artinya, teknologi ini dapat meningkatkan efisiensi, tetapi belum menjadi kebutuhan yang bersifat eksistensial Sementara itu, machine learning terus membaik, dan pada Mei 2018 OpenAI menerbitkan penelitian tentang sejarah komputasi yang dibutuhkan untuk melatih model skala besar, yang menunjukkan bahwa sejak 2012 jumlahnya berlipat ganda setiap 3,4 bulan, menghasilkan peningkatan komputasi sebesar 300.000 kali Bulan berikutnya, pada Juni 2018, OpenAI menerbitkan pengenalan pertama model GPT Perdebatan mulai terbentuk di antara dua kubu Di satu sisi, banyak orang percaya bahwa pertumbuhan berkelanjutan model yang semakin besar pada akhirnya akan menghadapi hukum hasil yang menurun Kubu lain, termasuk OpenAI, percaya bahwa kinerja akan terus meningkat seiring bertambahnya skala Pada Januari 2020, peneliti OpenAI sekaligus profesor Johns Hopkins University Jared Kaplan bersama rekan-rekannya menerbitkan “Scaling Laws for Neural Language Models,” yang menyatakan: “Kinerja language modeling meningkat secara mulus dan dapat diprediksi ketika ukuran model, data, dan komputasi ditingkatkan secara tepat. Kami memperkirakan bahwa language model yang lebih besar akan berkinerja lebih baik dan lebih efisien dalam penggunaan sampel dibanding model saat ini.” Pada Mei 2020, OpenAI menerbitkan makalah tentang GPT-3 berjudul “Language Models are Few-Shot Learners,” yang menunjukkan penskalaan kinerja yang mulus seiring peningkatan komputasi OpenAI juga menemukan bahwa meningkatkan skala turut meningkatkan kemampuan generalisasi, dan menyatakan bahwa “penskalaan language model berskala besar secara drastis meningkatkan kinerja few-shot yang tidak terikat pada tugas tertentu, hingga kadang mampu bersaing dengan pendekatan fine-tuning state-of-the-art sebelumnya” Peneliti independen Gwern Branwen mencetuskan hipotesis penskalaan dalam sebuah posting blog dan berkata: “GPT-3 yang diumumkan oleh OpenAI pada Mei 2020 adalah jaringan saraf terbesar yang pernah dilatih hingga saat itu, lebih besar lebih dari satu digit orde... Bertentangan dengan ekspektasi banyak orang (termasuk saya sendiri), peningkatan skala yang sangat besar ini, seperti yang diprediksi OpenAI, terus menunjukkan manfaat skala dan tidak menabrak hasil yang menurun atau bahkan hasil negatif seperti yang diperkirakan banyak orang.” Keterkejutan yang dirasakan Branwen itu mencerminkan perubahan lanskap AI tidak lagi sekadar pelengkap produk perusahaan, tetapi semakin dapat digunakan sebagai inti Arsitektur transformer, peningkatan jumlah data, dan level performa yang lebih baik semuanya meletakkan fondasi bagi pengembangan produk berbasis AI Segera setelah GPT-3 dirilis pada Mei 2020, perusahaan seperti Writer dan Jasper membuat produk copywriting yang menempatkan model AI di pusat bisnis mereka Perusahaan seperti Harvey dan EvenUp membangun legal tech dengan AI sebagai pusatnya Perusahaan seperti DeepScribe dan Freed membangun transkripsi medis dengan AI sebagai pusatnya Namun, seperti halnya use case baru di masa lalu memicu evolusi database, lahirnya produk berbasis AI berarti infrastruktur di balik tech stack tiap perusahaan juga harus berubah dan beradaptasi Database AI-Native Seiring bertambahnya jumlah dan skala perusahaan berbasis AI, kebutuhan akan alat yang mendukung use case berbasis AI juga meningkat Gelombang pertama perusahaan AI-core terutama berfokus pada inferensi menggunakan model yang sudah ada Mereka memiliki alat workflow khusus tujuan untuk aplikasi, copywriting, transkripsi medis, dan sebagainya Inti produknya adalah output seperti teks atau gambar yang dihasilkan model Setelah OpenAI DevDay pada November 2023, meme “OpenAI ruined my startup” mulai menyebar GPT khusus atau AI agent tertentu tampak mengambil peran startup AI awal ini karena mereka berfokus pada inferensi dari model yang sudah ada OpenAI tanpa sengaja menjadi pemasok model sekaligus aplikasi Inovasi yang berpusat pada kemampuan model bergerak begitu cepat hingga mulai terasa seperti ancaman bagi startup Namun sebaliknya, model dengan performa yang lebih baik—terutama model open source yang mudah diakses—memungkinkan perusahaan membangun kapabilitas yang lebih dalam sebagai bisnis berbasis AI Membangun tech stack berbasis AI lebih dari sekadar menambahkan komponen di sekitar model Misalnya, seperti apa database yang dibuat khusus untuk AI? Jika inferensi adalah output yang penting, maka database berbasis AI tidak cukup hanya menyimpan dan mengambil data, tetapi juga harus dapat menerima instruksi kontekstual tentang tindakan yang harus dilakukan terhadap data yang disimpannya Salah satu contohnya adalah personalisasi deskripsi produk untuk e-commerce Vector database bukan hanya dapat menyimpan vector embedding untuk SKU produk dan deskripsinya, tetapi juga embedding untuk persona pengguna Dengan menggunakan semua data kontekstual dalam database ini, infrastruktur dapat memanfaatkan loop umpan balik generatif di mana query untuk deskripsi produk juga memicu query untuk persona pengguna yang relevan, lalu menulis deskripsi produk berdasarkan persona pengguna yang relevan tersebut Demikian pula, bahasa dapat digunakan sebagai loop umpan balik generatif Misalnya, pengguna mungkin ingin menghasilkan deskripsi produk dalam berbagai bahasa Sistem dapat menghasilkan deskripsi produk yang tidak hanya dipersonalisasi untuk pengguna, tetapi juga diterjemahkan ke bahasa yang dipilih pengguna Jenis instruksi seperti ini dapat dibangun langsung ke dalam database karena use case seperti generative AI semakin menjadi fungsi inti aplikasi Mengembangkan infrastruktur agar sesuai dengan use case bukanlah hal baru Awalnya, developer membangun aplikasi di browser menggunakan JavaScript untuk membuat situs web interaktif dan dinamis Namun, ketika developer menyadari bahwa mereka dapat membawanya ke backend, lahirlah node.js Lalu ketika developer mulai membuat lebih banyak aplikasi mobile, muncullah JSON (JavaScript Object Notation), yang memungkinkan aplikasi yang lebih dinamis, responsif, dan berbasis data MongoDB adalah perusahaan yang muncul untuk menjawab kebutuhan infrastruktur yang terus berkembang, dan sangat cocok dengan gelombang ini Dengan AI, sejarah sedang berulang Seiring berubahnya kebutuhan, infrastruktur harus berkembang untuk memenuhinya Pertanyaan terbesar akan menjadi jenis perusahaan seperti apa yang ingin dibangun orang, dan jenis infrastruktur seperti apa yang paling cocok untuk perusahaan tersebut Seperti yang dikatakan Bob dalam wawancaranya dengan Matthew Lynley: “Saya sangat percaya bahwa semua aplikasi masa depan akan menyertakan AI. Pada beberapa aplikasi, AI akan sekadar ditaburkan; pada yang lain, AI akan berada di pusat aplikasi. Jika AI dihilangkan, aplikasinya tidak lagi ada. Jika Anda ingin membangun web app dan menaburkan AI di atasnya, gunakan MongoDB. Terutama jika Anda sudah menggunakannya... Jika Anda ingin membangun aplikasi berbasis AI, di mana AI adalah inti aplikasinya, inilah saatnya mempertimbangkan Weaviate.” Ke depan, perusahaan akan memutuskan apakah mereka akan membangun produk dengan AI sebagai pelengkap, atau seperti kata Bob, sebagai “sprinkle”, atau menjadikannya inti produk Tech stack AI-Native Untuk perusahaan yang ingin membangun AI sebagai komponen inti produk, infrastruktur yang ada kemungkinan besar tidak memadai Jika menggunakan alat legacy, penyimpanan, penataan, dan eksekusi data dibangun dalam satu silo, sementara otomasi dibangun dalam silo lain Kekurangan pendekatan ini adalah konteks hilang dari hal-hal seperti loop umpan balik generatif yang dapat membantu produk lebih terinformasi dan lebih baik Untuk perusahaan yang datang dari stack "adjacent to AI", inferensi dari model tertentu sering kali dibatasi oleh context window Sebagian percaya bahwa jika kapasitas context window tertentu meningkat, itu dapat menggantikan vector database Namun, kemungkinan yang lebih benar justru situasi sebaliknya, yaitu vector database dapat berevolusi untuk menggantikan context window Vector embedding sangat penting bagi model generatif, dan infrastruktur untuk hasil generatif harus memperlakukan vector embedding sebagai warga kelas satu Alih-alih sekadar memperbesar ukuran context window, vector database dapat diintegrasikan ke dalam model untuk memberikan pemahaman kontekstual dari context window sekaligus keandalan dan skalabilitas database Terutama, semakin umum sebuah model, semakin kecil kemungkinan model itu dibuat untuk tugas tertentu Vector database berbasis AI akan memungkinkan kemampuan yang lebih spesifik Model umum seperti GPT-4 dibangun untuk secara sengaja menggeneralisasi pengetahuan Jika produk bergantung pada sedikit fine-tuning sederhana, model dasar tidak akan menjadi bagian yang secara unik bernilai bagi bisnis tersebut Membangun produk berbasis AI, selain memanfaatkan model, juga akan mencakup pembangunan produk di sekitar stack yang lebih terhubung erat Stack ini akan menghadirkan skala database dan kemampuan model untuk menghasilkan produk yang lebih mumpuni

(research.contrary.com)

23 poin oleh xguru 2024-07-01 | 1 komentar | Bagikan ke WhatsApp

Pada awal 2020-an, banyak perhatian terpusat pada AI generatif
- Pembahasan terutama berfokus pada bagaimana alat AI generatif akan membentuk kita, serta dampaknya pada cara kita menulis, membuat kode, animasi, dan mengonsumsi informasi
- Namun, tidak banyak pembahasan tentang bentuk alat yang kita gunakan
Pada akhir 1960-an, sistem informasi menghadapi masalah bahwa proses mencari informasi yang relevan menjadi semakin mahal karena volume data yang sangat besar
Pada 1980-an dan 90-an, basis data relasional menjadi solusi yang dominan
- Basis data ini menyediakan pengindeksan yang intuitif dan menjamin efisiensi kueri
- Basis data relasional memungkinkan data direpresentasikan sebagai kumpulan tabel dengan relasi yang terstruktur
- Melalui bahasa kueri seperti SQL, pencarian data menjadi lebih cepat
Seiring evolusi arsitektur basis data, perusahaan-perusahaan tertentu seperti IBM, Oracle, Sun Microsystems, dan MongoDB memperkuat posisinya di masing-masing pasar yang sedang tumbuh
Meski Oracle memimpin dunia basis data relasional, cara orang menyimpan dan mengakses informasi terus berubah
- Setiap kali muncul jenis pekerjaan baru, orang merancang arsitektur baru untuk mengelolanya
Evolusi terbaru basis data berasal dari kebutuhan untuk menangani data tak terstruktur
- Selama lebih dari 50 tahun terakhir, skema terutama disusun di sekitar relasi data terstruktur
- Namun, semakin banyak orang membutuhkan alat yang jauh lebih mampu menangani ambiguitas data
- Dari kebutuhan itulah basis data vektor muncul
Model bahasa besar (LLM) berbasis transformer seperti GPT dapat menangkap dependensi jangka panjang dalam teks
- Namun, mempertahankan kemampuan memahami teks panjang dapat sangat mahal secara komputasi
- Basis data vektor dapat memperluas jendela konteks model-model ini
Meski basis data vektor bisa sangat kuat untuk use case AI, pada dasarnya ia tetap infrastruktur bodoh yang digerakkan oleh input dan output
- Ia tidak memiliki kemampuan untuk memahami atau menafsirkan data
- Ia hanya berperan sebagai repositori yang menyimpan dan mengambil data sesuai instruksi, tanpa kecerdasan inheren atau kesadaran konteks
Dengan peluncuran GPT-3 pada 2020, AI semakin dapat digunakan sebagai inti produk perusahaan, bukan sekadar tambahan
- Arsitektur transformer, peningkatan jumlah data, dan peningkatan performa menyiapkan fondasi untuk pengembangan produk berbasis AI
Seiring bertambah banyaknya perusahaan AI-Native (berbasis AI) dan membesarnya skala mereka, kebutuhan akan alat yang mendukung use case berbasis AI juga meningkat
- Gelombang pertama perusahaan yang berpusat pada AI terutama berfokus pada inferensi menggunakan model yang sudah ada
Namun, dengan model yang performanya meningkat—terutama model open source yang mudah diakses—perusahaan dapat membangun kemampuan yang lebih dalam sebagai bisnis berbasis AI
- Skalabilitas ini membuka dunia peluang tentang seperti apa tech stack berbasis AI dapat terlihat

Alat yang Membentuk Kita (The Tools that Shape Us)

Pada 1967, John M. Culkin, teman Marshall McLuhan, berkata, "Kita membentuk alat, lalu alat membentuk kita"
- Hal yang sama berlaku dalam membangun teknologi
- Infrastruktur yang kita gunakan untuk membangun perangkat lunak terus berevolusi agar sesuai dengan kebutuhan pembangunan kita, dan setelah itu cara kita membangun dibentuk oleh infrastruktur yang telah kita siapkan
Pada awal 2020-an, banyak perhatian terpusat pada AI generatif
- Fokusnya terutama pada hasil yang dihasilkan, seperti teks atau kode yang dibuat, gambar yang dirender, deepfake yang diproduksi, dan musik yang disintesis
- Pembahasan terutama berfokus pada bagaimana alat-alat ini akan membentuk kita, serta dampaknya pada cara kita menulis, membuat kode, animasi, dan mengonsumsi informasi
- Orang-orang mendiskusikan performa komparatif model bahasa besar terbuka dan proprietary, risiko halusinasi, perdebatan platform versus fitur, serta perdebatan perusahaan mapan versus startup
Namun, tidak banyak pembahasan tentang bentuk alat yang kita gunakan
- Pada dasarnya, cara kita membangun teknologi telah dibentuk oleh infrastruktur yang disiapkan untuk pembangunan tersebut
- Penyebaran SaaS dipercepat oleh internet, pengembangan mobile dimungkinkan oleh meluasnya smartphone, dan skalabilitas generasi aplikasi didorong oleh cloud computing
Universalitas AI dalam aplikasi bergantung pada komputasi, kemampuan model, dan orkestrasi model tersebut dalam use case bisnis
- Tulisan ini akan berfokus pada elemen orkestrasi
- Salah satu elemen kunci dalam mengorkestrasi semua use case AI adalah basis data perusahaan
- Tempat data disimpan, dimanipulasi, dan dipanggil merupakan bagian penting dari teka-teki ini
- Namun, seperti yang akan ditunjukkan, sejarah basis data pada umumnya adalah sejarah infrastruktur bodoh
- Untuk memaksimalkan kegunaan AI, basis data harus dibangun agar menjadi bagian dari persamaan generatif

Fondasi untuk Data (A Base For Data)

Pada Mei 1959, CODASYL (Conference on Data Systems Languages) pertama kali diselenggarakan dan bertujuan membangun “bahasa serbaguna untuk membangun aplikasi bisnis”
- Pada akhir 1960-an, sistem informasi menghadapi masalah bahwa proses mencari informasi yang relevan menjadi makin mahal karena volume data yang sangat besar
Penggunaan komputer mainframe secara umum menyebabkan kenaikan biaya MIPS (million instructions per second) seiring meningkatnya pemanfaatan mainframe, akibat biaya upgrade yang dibutuhkan untuk pemeliharaan aplikasi, patch, dan menjaga performa
- Karena kompleksitas pengelolaan basis data, hierarki yang kaku, dan pemetaan struktur navigasi yang rumit, perusahaan sering memerlukan keahlian teknis untuk mengakses informasi yang dipilih, dan bahkan beberapa pengembang harus menulis seluruh program untuk mengakses informasi yang relevan
Pada 1970, E.F. Codd menerbitkan “A Relational Model of Data for Large Shared Data Banks”, yang mengusulkan model di mana tabel dapat dihubungkan melalui karakteristik bersama (yaitu primary key yang mengidentifikasi record unik dan foreign key yang membangun relasi antar tabel)
- Hal ini memungkinkan pengambilan data dari tabel yang heterogen dengan satu query
- Basis data relasional Codd didasarkan pada hubungan antar item data, sehingga memungkinkan fleksibilitas dalam manipulasi dan penggunaan data
Pada 1973, sekelompok programmer di IBM San Jose Research Laboratory memulai proyek System R, membuktikan bahwa sistem basis data relasional dapat mengintegrasikan fitur lengkap yang dibutuhkan untuk penggunaan produksi sambil tetap memberikan performa tinggi
- Tim ini mengembangkan cost-based optimizer untuk efisiensi basis data, dan pengembangan yang berasal dari System R kemudian mengarah pada peluncuran SQL/DS, produk basis data relasional pertama IBM
Pada 1980-an dan 1990-an, basis data relasional menjadi solusi basis data yang dominan
- Menyediakan indexing yang intuitif dan menjamin efisiensi query
- Basis data relasional memungkinkan data direpresentasikan sebagai kumpulan tabel dengan relasi yang terstruktur
- Memungkinkan pengambilan data yang lebih cepat melalui bahasa query seperti SQL
Basis data relasional dibangun dengan asumsi berjalan di satu mesin
- Namun, adopsi internet secara massal pada 1990-an dan 2000-an menyebabkan lonjakan data yang sangat besar, menghasilkan workload yang terlalu berat untuk ditangani satu komputer
- Basis data SQL tradisional dirancang untuk berjalan di satu server, dan pengguna harus menambah perangkat keras fisik sesuai kebutuhan kapasitas penyimpanan, yang terbukti sangat mahal bagi perusahaan yang menjalankan workload lebih besar
Pada 2010-an, data dan pengguna untuk OLTP (online transaction processing) tumbuh secara eksponensial, yang mendorong peningkatan besar dalam basis data terdistribusi, data warehouse, dan OLAP (online analytical processing)
Basis data relasional dan SQL tidak lagi cocok untuk skala dan kompleksitas aplikasi yang dibutuhkan, dan basis data NoSQL muncul sebagai cara untuk meningkatkan performa (dengan mengorbankan kemampuan ACID)
- Basis data relasional dapat menyimpan dan memanipulasi data terstruktur, tetapi sulit mempertahankan relasi antar data ketika harus menangani overhead join dan mempertimbangkan biaya operasi CRUD
- Basis data relasional cocok untuk menangani data relasional dengan kebutuhan logis atau diskret, tetapi umumnya disesuaikan dengan sistem legacy yang secara khusus dibangun untuk struktur relasional
- NoSQL muncul sebagai cara menangani big data tidak terstruktur dan memberikan persistensi data kepada pengembang melalui pendekatan non-relasional
- Alih-alih menggunakan SQL sebagai bahasa query utama, NoSQL menyediakan akses melalui API untuk menjamin skalabilitas lebih tinggi, komputasi terdistribusi, biaya lebih rendah, dan fleksibilitas skema
- Basis data NoSQL beroperasi dengan arsitektur efisien yang dapat diskalakan secara horizontal, sehingga untuk menambah kapasitas penyimpanan atau komputasi cukup menambah lebih banyak server atau instance cloud
- Bagi perusahaan dengan workload data yang memerlukan pemrosesan atau analisis lebih cepat terhadap data tidak terstruktur, basis data NoSQL menjadi pilihan utama

Perang Basis Data OG

Seiring evolusi arsitektur basis data, perusahaan-perusahaan tertentu berhasil memantapkan posisinya di masing-masing pasar yang sedang tumbuh
- Tak lama setelah IBM meluncurkan System R, Larry Ellison yang saat itu berusia 33 tahun membaca makalah Codd yang sama tentang basis data relasional
- Ellison dan dua co-founder-nya berusaha mendirikan perusahaan yang kompatibel dengan System R, tetapi IBM membuat hal itu sangat sulit
- Akibatnya, trio ini membangun bisnis mereka di sekitar produk basis data unggulan baru, Oracle Databases
- Sejak itu, basis data Oracle menjadi produk terdepan, dan per Mei 2024 pangsa pasarnya sekitar 28,7%
Dalam beberapa tahun sebelum IPO Oracle pada 1986, perusahaan lain juga masuk ke bidang basis data
- Sun Microsystems memulai pada 1982 dengan menjual berbagai komponen komputer, tetapi kemudian dikenal berkat kontribusinya seperti bahasa pemrograman Java, Network File System, dan lainnya
- Yang penting, pada 2008 Sun Microsystems mengakuisisi MySQL, sistem manajemen basis data open source
- Hanya dua tahun kemudian, Oracle mengakuisisi Sun Microsystems (termasuk MySQL)
- Hampir 15 tahun kemudian, per Mei 2024, basis data terdepan adalah Oracle (pangsa pasar 28,7%) dan MySQL (sekitar 17,3%)
Meski Oracle memimpin dunia basis data relasional, cara orang menyimpan dan mengakses informasi terus berubah
- Setiap kali muncul pekerjaan baru, orang menciptakan arsitektur baru untuk mengelolanya
- Dari document store seperti MongoDB (2007) dan Databricks (2013), hingga basis data time-series seperti InfluxDB (2013) dan Prometheus (2012), serta basis data graf seperti Neo4j (2007) dan Cosmos (2017), daftar basis data terspesialisasi terus bertambah
- Seiring popularitas basis data relasional yang terus menurun, berbagai solusi muncul untuk kebutuhan niche baru ini
Evolusi terbaru basis data berasal dari kebutuhan untuk menangani data tidak terstruktur
- Selama lebih dari 50 tahun terakhir, skema terutama disusun di sekitar relasi data terstruktur
- Namun, semakin banyak orang membutuhkan alat yang jauh lebih mampu menangani ambiguitas data
- Sebagai respons, muncullah basis data vektor

Kebangkitan Basis Data Vektor

Dengan meluasnya adopsi model bahasa besar (LLM) dan AI generatif, basis data vektor muncul sebagai alat yang dapat menangani data multimodal tak terstruktur
- Sementara basis data relasional tradisional (Postgres, MySQL) paling cocok untuk skema terstruktur, basis data vektor cocok untuk menyimpan dan melakukan kueri terhadap embedding vektor (representasi numerik data yang memuat makna relatif terhadap bobot model bahasa)
- Alih-alih baris dan kolom yang umum digunakan dalam basis data relasional, basis data vektor merepresentasikan data sebagai titik dalam ruang multidimensi dan mencocokkan data berdasarkan kemiripan, bukan nilai yang persis sama
Bergantung pada model embedding, data dapat direpresentasikan dalam ruang vektor yang berbeda dan dalam berbagai dimensi
- Embedding vektor menangkap makna titik data sehingga memungkinkan pencarian objek serupa dengan mengambil objek terdekat dalam basis data vektor
Sebagai contoh, Word2Vec memetakan kata ke vektor untuk membantu menangkap makna, kemiripan semantik, dan hubungan kontekstual dengan teks lain
- Algoritme ini menggunakan jaringan saraf dangkal untuk menurunkan makna kata tertentu dari korpus teks yang lebih luas dan mengidentifikasi sinonim melalui regresi logistik
- Ada juga metode yang membantu mengekstrak embedding tanpa bergantung pada jaringan saraf dalam, seperti singular value decomposition (SVD) dan principal component analysis (PCA)
Metrik jarak membantu menentukan "jarak" relatif antar titik dalam ruang vektor, dan metode umum mencakup jarak Euclidean, jarak Manhattan, jarak cosine, serta kemiripan Jaccard
- K-nearest neighbors (KNN) dan approximate nearest neighbors (ANN) membantu menyederhanakan pencarian kemiripan untuk gambar, video, atau input multimodal lainnya sekaligus meningkatkan waktu eksekusi
Basis data khusus vektor seperti Weaviate, Chroma, Qdrant, dan Pinecone membantu developer menangani data dalam skala besar, terutama untuk mempermudah pencarian pada input tak terstruktur
- Tidak seperti basis data relasional atau basis data NoSQL tradisional, basis data vektor dirancang khusus untuk menangani embedding vektor
- Basis data tradisional menyimpan data sebagai skalar, sedangkan basis data vektor hanya menyimpan vektor dan memanfaatkan teknik pengindeksan seperti kuantisasi dan clustering untuk mengoptimalkan operasi pencarian
LLM berbasis transformer seperti GPT dapat menangkap dependensi jangka panjang dalam teks
- Namun, mempertahankan kemampuan memahami teks panjang bisa sangat mahal secara komputasional
- LLM terbaru dapat menangkap dependensi global antarpasangan token di seluruh input, tetapi karena kompleksitas waktu dan ruang, muncul masalah sumber daya komputasi yang membatasi panjang teks input saat pelatihan dan jendela konteks efektif saat inferensi
Untuk kasus multidimensi, pengodean posisi relatif sulit diimplementasikan, dan sebagian besar pendekatan untuk mengodekan posisi relatif memerlukan mekanisme embedding posisi yang kuat yang berkontribusi pada penurunan performa saat inferensi
- Bahkan ketika panjang teks meningkat, basis data vektor dapat berperan penting sebagai memori jangka panjang model
- Dengan menggunakan basis data vektor, tugas seperti pelengkapan teks atau peringkasan dapat disederhanakan ketika seluruh konteks kalimat mungkin diperlukan untuk menghasilkan hasil yang akurat
Basis data vektor dapat mendukung retrieval-augmented generation (RAG), di mana basis data vektor dapat digunakan untuk meningkatkan prompt yang dikirim ke LLM dengan menyertakan konteks tambahan bersama kueri asli
- LLM sering bergantung pada model self-supervised learning, sehingga kerap mengalami kesulitan pada tugas spesifik domain yang memerlukan pengetahuan tertentu atau ambang akurasi yang lebih tinggi
- RAG dapat membantu memverifikasi, melacak, atau menjelaskan bagaimana respons dihasilkan, sekaligus mengurangi halusinasi yang dapat muncul akibat kurangnya konteks untuk kueri yang dimaksud
Developer dapat menggabungkan knowledge graph dan pencarian vektor untuk memperluas kemampuan LLM melampaui data yang digunakan saat pelatihan
- Alat seperti GraphRAG dari Microsoft Research mempermudah augmentasi prompt saat melakukan pencarian pada data set privat
- RAG dasar sering kesulitan memahami konsep makna yang diringkas secara menyeluruh pada koleksi data besar, sehingga alat seperti LlamaIndex dan GraphRAG membangun knowledge graph berdasarkan data set privat
Bergantung pada kebutuhan atau use case tertentu, developer mungkin lebih baik menggunakan knowledge graph daripada RAG
- Basis data vektor cocok untuk pencarian kemiripan dan paling sesuai untuk pencarian dokumen atau gambar serta pembuatan rekomendasi, sedangkan knowledge graph cocok untuk penalaran (terutama berguna saat mengumpulkan data, mengekstrak entitas beserta relasi yang saling terhubung, dan menelusuri relasi tersebut)
Untuk aplikasi yang memerlukan pemrosesan data real-time atau near-real-time, basis data vektor mungkin lebih disukai karena kueri dengan latensi lebih rendah
Dengan mengumpulkan dan menyimpan embedding, basis data vektor mempermudah pencarian kemiripan yang lebih cepat dengan mencocokkan prompt masukan dengan embedding yang serupa
Pemeringkatan kemiripan membantu mendukung berbagai tugas machine learning, mulai dari sistem rekomendasi, pencarian semantik, pengenalan gambar, hingga aplikasi natural language processing lainnya
Basis data vektor memainkan peran penting dalam meningkatkan performa LLM dengan memungkinkan penyimpanan dan pencarian embedding vektor secara efisien
- Ini memungkinkan pemahaman bahasa alami secara otomatis dalam skala besar
Namun, embedding vektor merepresentasikan inovasi N+1
- Ini merupakan format data sebelumnya seperti data relasional atau deret waktu
Vendor basis data legacy mulai meluncurkan fitur vektor seperti Atlas Vector Search dari MongoDB, basis data vektor dari SingleStore, dan indeks pencarian vektor dari Neo4J
Walaupun basis data vektor bisa sangat kuat untuk use case AI, ini tetap merupakan infrastruktur bodoh yang beroperasi berdasarkan input dan output
- Basis data ini tidak memiliki kemampuan untuk memahami atau menafsirkan data
- Ia sekadar berperan sebagai penyimpanan yang menyimpan dan mengambil data sesuai instruksi, tanpa kecerdasan inheren atau kesadaran konteks
Untuk aplikasi modern berbasis AI, hal ini saja tidak akan cukup
- Perusahaan semakin membangun dengan model AI sebagai inti
- Karena itu, jika aplikasi ingin semakin menunjukkan kemampuan yang cerdas, infrastrukturnya juga akan membutuhkan kemampuan cerdas yang sama

Perusahaan AI-Native Generasi Pertama

Sejak kalangan akademik pertama kali mulai meneliti kecerdasan buatan di Dartmouth College pada 1956, use case praktis telah mendorong kemajuan bidang ini
- Misalnya, pada akhir 1960-an Joseph Weizenbaum membuat program komputer bernama ELIZA, yang menggunakan pendekatan sederhana berupa pencocokan pola untuk mensimulasikan percakapan dan digunakan untuk percakapan yang menyerupai terapi dasar (chatbot pertama)
Dalam sebagian besar sejarah penggunaan AI untuk use case bisnis, peningkatan AI berlangsung secara bertahap
Sebelum istilah AI menjadi populer, istilah machine learning lebih sering digunakan untuk merujuk pada teknologi yang sama
- Dengan kata lain, “algoritme statistik yang dapat belajar dari data dan melakukan generalisasi ke data yang belum terlihat, sehingga dapat menjalankan tugas tanpa instruksi eksplisit”
Dari sisi persepsi publik, AI mencapai titik belok saat OpenAI meluncurkan ChatGPT pada 30 November 2022, tetapi dari sudut pandang teknis, titik balik itu terjadi jauh lebih awal
Pada November 2017, Financial Stability Board (FSB), badan regulasi internasional, menulis ikhtisar tentang dampak machine learning pada layanan keuangan
- Perusahaan jasa keuangan semakin banyak menggunakan machine learning untuk melakukan tugas seperti “menilai kualitas kredit” dan dapat “berkontribusi pada sistem keuangan yang lebih efisien”
- Artinya, teknologi ini dapat meningkatkan efisiensi, tetapi belum menjadi kebutuhan yang bersifat eksistensial
Sementara itu, machine learning terus membaik, dan pada Mei 2018 OpenAI menerbitkan penelitian tentang sejarah komputasi yang dibutuhkan untuk melatih model skala besar, yang menunjukkan bahwa sejak 2012 jumlahnya berlipat ganda setiap 3,4 bulan, menghasilkan peningkatan komputasi sebesar 300.000 kali
Bulan berikutnya, pada Juni 2018, OpenAI menerbitkan pengenalan pertama model GPT
Perdebatan mulai terbentuk di antara dua kubu
- Di satu sisi, banyak orang percaya bahwa pertumbuhan berkelanjutan model yang semakin besar pada akhirnya akan menghadapi hukum hasil yang menurun
- Kubu lain, termasuk OpenAI, percaya bahwa kinerja akan terus meningkat seiring bertambahnya skala
Pada Januari 2020, peneliti OpenAI sekaligus profesor Johns Hopkins University Jared Kaplan bersama rekan-rekannya menerbitkan “Scaling Laws for Neural Language Models,” yang menyatakan:
- “Kinerja language modeling meningkat secara mulus dan dapat diprediksi ketika ukuran model, data, dan komputasi ditingkatkan secara tepat. Kami memperkirakan bahwa language model yang lebih besar akan berkinerja lebih baik dan lebih efisien dalam penggunaan sampel dibanding model saat ini.”
Pada Mei 2020, OpenAI menerbitkan makalah tentang GPT-3 berjudul “Language Models are Few-Shot Learners,” yang menunjukkan penskalaan kinerja yang mulus seiring peningkatan komputasi
OpenAI juga menemukan bahwa meningkatkan skala turut meningkatkan kemampuan generalisasi, dan menyatakan bahwa “penskalaan language model berskala besar secara drastis meningkatkan kinerja few-shot yang tidak terikat pada tugas tertentu, hingga kadang mampu bersaing dengan pendekatan fine-tuning state-of-the-art sebelumnya”
Peneliti independen Gwern Branwen mencetuskan hipotesis penskalaan dalam sebuah posting blog dan berkata:
- “GPT-3 yang diumumkan oleh OpenAI pada Mei 2020 adalah jaringan saraf terbesar yang pernah dilatih hingga saat itu, lebih besar lebih dari satu digit orde... Bertentangan dengan ekspektasi banyak orang (termasuk saya sendiri), peningkatan skala yang sangat besar ini, seperti yang diprediksi OpenAI, terus menunjukkan manfaat skala dan tidak menabrak hasil yang menurun atau bahkan hasil negatif seperti yang diperkirakan banyak orang.”
Keterkejutan yang dirasakan Branwen itu mencerminkan perubahan lanskap
AI tidak lagi sekadar pelengkap produk perusahaan, tetapi semakin dapat digunakan sebagai inti
Arsitektur transformer, peningkatan jumlah data, dan level performa yang lebih baik semuanya meletakkan fondasi bagi pengembangan produk berbasis AI
Segera setelah GPT-3 dirilis pada Mei 2020, perusahaan seperti Writer dan Jasper membuat produk copywriting yang menempatkan model AI di pusat bisnis mereka
Perusahaan seperti Harvey dan EvenUp membangun legal tech dengan AI sebagai pusatnya
Perusahaan seperti DeepScribe dan Freed membangun transkripsi medis dengan AI sebagai pusatnya
Namun, seperti halnya use case baru di masa lalu memicu evolusi database, lahirnya produk berbasis AI berarti infrastruktur di balik tech stack tiap perusahaan juga harus berubah dan beradaptasi

Database AI-Native

Seiring bertambahnya jumlah dan skala perusahaan berbasis AI, kebutuhan akan alat yang mendukung use case berbasis AI juga meningkat
Gelombang pertama perusahaan AI-core terutama berfokus pada inferensi menggunakan model yang sudah ada
- Mereka memiliki alat workflow khusus tujuan untuk aplikasi, copywriting, transkripsi medis, dan sebagainya
- Inti produknya adalah output seperti teks atau gambar yang dihasilkan model
Setelah OpenAI DevDay pada November 2023, meme “OpenAI ruined my startup” mulai menyebar
- GPT khusus atau AI agent tertentu tampak mengambil peran startup AI awal ini karena mereka berfokus pada inferensi dari model yang sudah ada
- OpenAI tanpa sengaja menjadi pemasok model sekaligus aplikasi
Inovasi yang berpusat pada kemampuan model bergerak begitu cepat hingga mulai terasa seperti ancaman bagi startup
Namun sebaliknya, model dengan performa yang lebih baik—terutama model open source yang mudah diakses—memungkinkan perusahaan membangun kapabilitas yang lebih dalam sebagai bisnis berbasis AI
Membangun tech stack berbasis AI lebih dari sekadar menambahkan komponen di sekitar model
- Misalnya, seperti apa database yang dibuat khusus untuk AI?
- Jika inferensi adalah output yang penting, maka database berbasis AI tidak cukup hanya menyimpan dan mengambil data, tetapi juga harus dapat menerima instruksi kontekstual tentang tindakan yang harus dilakukan terhadap data yang disimpannya
Salah satu contohnya adalah personalisasi deskripsi produk untuk e-commerce
- Vector database bukan hanya dapat menyimpan vector embedding untuk SKU produk dan deskripsinya, tetapi juga embedding untuk persona pengguna
- Dengan menggunakan semua data kontekstual dalam database ini, infrastruktur dapat memanfaatkan loop umpan balik generatif di mana query untuk deskripsi produk juga memicu query untuk persona pengguna yang relevan, lalu menulis deskripsi produk berdasarkan persona pengguna yang relevan tersebut
Demikian pula, bahasa dapat digunakan sebagai loop umpan balik generatif
- Misalnya, pengguna mungkin ingin menghasilkan deskripsi produk dalam berbagai bahasa
- Sistem dapat menghasilkan deskripsi produk yang tidak hanya dipersonalisasi untuk pengguna, tetapi juga diterjemahkan ke bahasa yang dipilih pengguna
- Jenis instruksi seperti ini dapat dibangun langsung ke dalam database karena use case seperti generative AI semakin menjadi fungsi inti aplikasi
Mengembangkan infrastruktur agar sesuai dengan use case bukanlah hal baru
- Awalnya, developer membangun aplikasi di browser menggunakan JavaScript untuk membuat situs web interaktif dan dinamis
- Namun, ketika developer menyadari bahwa mereka dapat membawanya ke backend, lahirlah node.js
- Lalu ketika developer mulai membuat lebih banyak aplikasi mobile, muncullah JSON (JavaScript Object Notation), yang memungkinkan aplikasi yang lebih dinamis, responsif, dan berbasis data
- MongoDB adalah perusahaan yang muncul untuk menjawab kebutuhan infrastruktur yang terus berkembang, dan sangat cocok dengan gelombang ini
Dengan AI, sejarah sedang berulang
- Seiring berubahnya kebutuhan, infrastruktur harus berkembang untuk memenuhinya
- Pertanyaan terbesar akan menjadi jenis perusahaan seperti apa yang ingin dibangun orang, dan jenis infrastruktur seperti apa yang paling cocok untuk perusahaan tersebut
- Seperti yang dikatakan Bob dalam wawancaranya dengan Matthew Lynley:
  - “Saya sangat percaya bahwa semua aplikasi masa depan akan menyertakan AI. Pada beberapa aplikasi, AI akan sekadar ditaburkan; pada yang lain, AI akan berada di pusat aplikasi. Jika AI dihilangkan, aplikasinya tidak lagi ada. Jika Anda ingin membangun web app dan menaburkan AI di atasnya, gunakan MongoDB. Terutama jika Anda sudah menggunakannya... Jika Anda ingin membangun aplikasi berbasis AI, di mana AI adalah inti aplikasinya, inilah saatnya mempertimbangkan Weaviate.”
Ke depan, perusahaan akan memutuskan apakah mereka akan membangun produk dengan AI sebagai pelengkap, atau seperti kata Bob, sebagai “sprinkle”, atau menjadikannya inti produk

Tech stack AI-Native

Untuk perusahaan yang ingin membangun AI sebagai komponen inti produk, infrastruktur yang ada kemungkinan besar tidak memadai
- Jika menggunakan alat legacy, penyimpanan, penataan, dan eksekusi data dibangun dalam satu silo, sementara otomasi dibangun dalam silo lain
- Kekurangan pendekatan ini adalah konteks hilang dari hal-hal seperti loop umpan balik generatif yang dapat membantu produk lebih terinformasi dan lebih baik
Untuk perusahaan yang datang dari stack "adjacent to AI", inferensi dari model tertentu sering kali dibatasi oleh context window
- Sebagian percaya bahwa jika kapasitas context window tertentu meningkat, itu dapat menggantikan vector database
- Namun, kemungkinan yang lebih benar justru situasi sebaliknya, yaitu vector database dapat berevolusi untuk menggantikan context window
- Vector embedding sangat penting bagi model generatif, dan infrastruktur untuk hasil generatif harus memperlakukan vector embedding sebagai warga kelas satu
Alih-alih sekadar memperbesar ukuran context window, vector database dapat diintegrasikan ke dalam model untuk memberikan pemahaman kontekstual dari context window sekaligus keandalan dan skalabilitas database
- Terutama, semakin umum sebuah model, semakin kecil kemungkinan model itu dibuat untuk tugas tertentu
- Vector database berbasis AI akan memungkinkan kemampuan yang lebih spesifik
Model umum seperti GPT-4 dibangun untuk secara sengaja menggeneralisasi pengetahuan
- Jika produk bergantung pada sedikit fine-tuning sederhana, model dasar tidak akan menjadi bagian yang secara unik bernilai bagi bisnis tersebut
- Membangun produk berbasis AI, selain memanfaatkan model, juga akan mencakup pembangunan produk di sekitar stack yang lebih terhubung erat
- Stack ini akan menghadirkan skala database dan kemampuan model untuk menghasilkan produk yang lebih mumpuni

1 komentar

savvykang 2024-07-01

Saya berharap akan ada lebih banyak contoh penggunaan pembuatan vector embedding dan pemakaian vector DB sehingga muncul workflow standar. Mungkin perlu menunggu sekitar 1 tahun?