- DataDog + PostHog untuk aplikasi LLM, dirancang agar cepat, andal, dan mudah diskalakan
- Menelusuri, mengevaluasi, memberi label, dan menganalisis data LLM
- Tumpukan berbasis Rust yang terdiri dari RabbitMQ (message queue) + Postgres (storage) + Clickhouse (analitik) + Qdrant (pencarian semantik)
Keunggulan Laminar
- Berfokus tidak hanya pada pemanggilan LLM, tetapi juga pada pemrosesan seluruh execution trace
- Instrumentasi berbasis OpenTelemetry: hanya dengan 2 baris kode + decorator, pemanggilan LLM/vector DB dapat dilakukan otomatis dan fungsi dapat dilacak
- Membangun collector Rust untuk span OpenTelemetry (Otel) dengan menggunakan aturan semantik GenAI
- Analitik berbasis event semantik
- Laminar meng-host antrean pekerjaan latar belakang untuk pipeline LLM, dan output pipeline diubah menjadi metrik
- Dapat melacak "metrik semantik" (seperti apa yang benar-benar dikatakan agen AI) dan mengaitkannya dengan lokasi kemunculannya dalam trace
- Memisahkan logika inti aplikasi dari pemrosesan event LLM
Pipeline Builder
- Menggunakan UI graf yang merepresentasikan LLM dan fungsi utilitas sebagai node, serta aliran data sebagai edge
- Membangun mesin eksekusi tugas kustom yang mendukung eksekusi cabang paralel, siklus, dan branch
- Pipeline dapat dipanggil langsung sebagai endpoint API
- Laminar melacak pipeline secara langsung untuk menghilangkan overhead pengiriman output dalam jumlah besar melalui jaringan
Fitur pencarian trace
- Mengindeks setiap span ke vector DB dan melakukan pencarian hybrid saat query dijalankan
- Fitur ini masih dalam versi beta, tetapi akan menjadi bagian penting dari platform ke depannya
Fitur evaluasi
- Mengadopsi pendekatan Braintrust dan Weights & Biases: "jalankan semuanya secara lokal lalu kirim hasilnya ke server"
- Semuanya dapat dilacak dengan SDK yang sederhana dan dashboard yang baik
- Fitur evaluasi masih berada pada tahap awal, tetapi sedang didorong secara aktif
Tujuan Laminar
- Menjadi "Supabase untuk LLMOps", yaitu platform terpadu open source standar untuk segala hal terkait LLM/GenAI
Belum ada komentar.