Rilis Llama Stack 0.21 - Dukungan Llama 4

(github.com/meta-llama)

5 poin oleh xguru 2025-04-10 | Belum ada komentar. | Bagikan ke WhatsApp

Llama Stack dari Meta adalah framework yang menstandarkan komponen inti untuk aplikasi AI generatif
Menyediakan lapisan API terpadu berdasarkan implementasi dari berbagai penyedia layanan
Menjamin konsistensi pengalaman pengembang saat beralih dari lingkungan pengembangan ke lingkungan produksi
Komponen utama:
- API terpadu untuk inferensi, RAG, agen, tool, keamanan (Safety), evaluasi (Evals), telemetri (Telemetry), dan lainnya
- Arsitektur plugin yang mendukung berbagai lingkungan (lokal, on-premise, cloud, mobile)
- Dapat memulai dengan cepat dan stabil melalui distribusi yang tervalidasi (distribution)
- Menyediakan berbagai antarmuka pengembang seperti CLI dan SDK (Python, Node.js, iOS, Android)
- Menyediakan contoh aplikasi tingkat produksi

Cara kerja Llama Stack

Llama Stack terdiri dari server + SDK klien
- Server dapat di-deploy di berbagai lingkungan seperti lokal, on-premise, dan cloud
- SDK klien mendukung Python, Swift, Node.js, Kotlin, dan lainnya

Daftar SDK klien

Implementasi Llama Stack yang didukung

Inference API

Mendukung penyedia inferensi untuk berbagai lingkungan hosting/lokal
- Meta Reference, Ollama, Fireworks, Together, NVIDIA NIM, vLLM, TGI, AWS Bedrock, OpenAI, Anthropic, Gemini, dan lainnya

Vector IO API

Menyediakan antarmuka penyimpanan vektor
Implementasi yang didukung:
- FAISS, SQLite-Vec, Chroma, Milvus, Postgres(PGVector), Weaviate, dan lainnya

Safety API

Menjamin keamanan respons AI, termasuk pemeriksaan prompt dan kode
Implementasi yang didukung:
- Llama Guard, Prompt Guard, Code Scanner, AWS Bedrock, dan lainnya

Sumber daya pengembangan

Jika ingin mulai cepat: Quick Start
Jika ingin berkontribusi: Contributing

Llama Stack adalah framework serbaguna yang dirancang agar pengembang dapat dengan mudah mengintegrasikan dan men-deploy berbagai teknologi AI, serta mendukung beragam lingkungan dan bahasa secara luas.