Language Model Stack Baru untuk Aplikasi AI

• Hampir semua perusahaan yang didanai Sequoia sedang mengadopsi LLM seperti ChatGPT ke dalam produk mereka
• Melalui survei terhadap perusahaan-perusahaan di dalam jaringannya, mereka merangkum 2 AI stack

LLM API Stack

• LLM APIs : OpenAI, Anthropic, Cohere
• Vector DB: AWS, pgvector, Pinecone, Qdrant, Weaviate, Chroma
• Frameworks: LangChain, LlamaIndex, Anarchy
• Text-To-Speech: Resemble.AI, ElevenLabs, Wellsaid
• Monitoring: DISTYL, Guardrails, Helicone, HoveHive, Autoblocks

Custom Model Training / Tuning Stack

• Compute: AWS, Azure, Google Cloud, Foundary, Lamba, MosaicML, Modal, Fireworks.ai
• Model Hub: Hugging Face, Replicate
• Frameworks: PyTorch, TensorFlow
• Experimentation: Weights & Biases
• Monitoring/Observability: Robust Intelligence, Gantry, Arthur, arise, Whylabs
• Hosting: Replicate, HuggingFace

Poin-poin utama

• Sebagian besar perusahaan sedang membangun LLM ke dalam produk mereka
• Fokus pada language model API, pencarian, dan orkestrasi. Penggunaan open source meningkat
• Perusahaan ingin menyesuaikan language model agar sesuai dengan konteks mereka sendiri
• Saat ini LLM API stack dan model training stack terlihat terpisah, tetapi akan makin menyatu
• Stack semakin ramah developer
• Agar language model dapat diadopsi sepenuhnya, keandalannya harus ditingkatkan (kualitas, privasi data, keamanan)
• Aplikasi language model akan menjadi semakin multimodal
• Ini masih tahap yang sangat awal

[gcback]

Situasi saat ini terkait lingkungan pengembangan jadi cukup mudah dipahami.
Namun, bagaimana tingkatannya dalam kasus domestik?

[bigbreadguy]

Sepertinya Seaviate di daftar Vector DB adalah salah ketik dari database vektor Weaviate!

[xguru]

Sudah saya perbaiki cepat-cepat, hehe