Grab mempercepat pengembangan aplikasi LLM dengan LLM-Kit

• LLM-Kit dari Grab adalah framework yang dirancang untuk mempercepat penyiapan aplikasi Generative AI tingkat produksi
• Dalam pengembangan aplikasi AI yang menangani data sensitif, keamanan dan keselamatan data sangat penting, dan LLM-Kit membantu mengatasi isu seperti skalabilitas, integrasi, pemantauan, dan standardisasi
• Melalui hal ini, pengembangan aplikasi LLM yang efisien dan efektif dalam jangka panjang menjadi dimungkinkan, serta membantu onboarding ratusan aplikasi GenAI di Grab

Fitur LLM-Kit

• Menyediakan struktur yang telah dikonfigurasi sebelumnya (server API, manajemen konfigurasi, agen LLM contoh, pengujian, dan lain-lain)
• Terintegrasi dengan Poetry, Gunicorn, FastAPI, LangChain, LangSmith, Hashicorp Vault, Amazon EKS, Gitlab CI, dan lain-lain
• Fitur observability yang memungkinkan pemantauan real-time melalui integrasi Datadog dan LangSmith
• Manajemen konfigurasi dan secret dengan memanfaatkan configparser Python dan Vault
• Helper autentikasi OpenID Connect (OIDC)
• Dokumentasi API menggunakan Swagger dan Redoc
• Integrasi dengan Redis dan Vector DB
• Pipeline deployment untuk lingkungan staging dan production
• Integrasi dengan framework evaluasi yang kuat dari LangSmith
• Cookbook: menyediakan sumber daya bagi developer dengan mengumpulkan contoh yang sering digunakan di Grab
  • Mencakup berbagai kasus seperti agen memori persisten, agen LLM Slackbot, penganalisis gambar, hingga chatbot full-stack dengan antarmuka pengguna

Nilai LLM-Kit

• Meningkatkan kecepatan pengembangan aplikasi LLM dengan tech stack yang telah dikonfigurasi dan diintegrasikan sebelumnya
• Memungkinkan pemantauan real-time serta deteksi/penyelesaian isu melalui integrasi LangSmith dan Datadog
• Meningkatkan keamanan dengan autentikasi OIDC dan manajemen secret Vault
• Meningkatkan efisiensi penyimpanan/pencarian data dengan Vector DB
• Menyediakan framework berpola paved road yang mendorong best practice dan standardisasi
• Memungkinkan tim menghemat sekitar 1,5 minggu waktu pengembangan sebelum mulai mengerjakan fitur pertama

Desain arsitektur dan implementasi teknis

• Menyediakan skalabilitas, fleksibilitas, dan kemudahan penggunaan melalui arsitektur modular

Otomatisasi

1. Ketika engineer mengirim detail terkait seperti nama aplikasi, pembuatan proyek GitLab akan dipicu
2. Code scaffold yang dirancang khusus untuk aplikasi LLM akan dibuat
3. File GitLab CI untuk CI/CD akan dibuat di dalam repositori yang sama
4. Infrastruktur staging seperti ECR dan EKS akan dibuat
5. Folder Terraform untuk provisioning infrastruktur akan dibuat dan berlanjut ke deployment infrastruktur production
6. Di akhir pipeline, token GPT akan didorong ke jalur Vault yang aman dan notifikasi penyelesaian akan dikirim ke engineer

Struktur kode scaffold

1. Agents: berisi kode untuk menginisialisasi agen berbasis framework agen LangChain
2. Auth: modul autentikasi dan otorisasi untuk menjalankan beberapa API internal Grab
3. Core: mencakup ekstraksi konfigurasi (seperti token GPT) dan dekripsi secret untuk menjalankan aplikasi LLM
4. Models: mendefinisikan struktur untuk API LLM inti di Grab
5. Routes: mendefinisikan endpoint REST API untuk aplikasi LLM (termasuk pemeriksaan status, autentikasi, otorisasi, agen sederhana, dan lain-lain)
6. Storage: mencakup konektivitas dengan PGVector, Vector DB terkelola milik Grab, serta skema DB
7. Tools: fungsi yang digunakan sebagai alat untuk agen LLM
8. Tracing: terintegrasi dengan alat tracing dan monitoring untuk memantau berbagai metrik aplikasi production
9. Utils: folder dasar untuk fungsi utilitas

Provisioning infrastruktur dan deployment

• Terintegrasi pipeline komprehensif yang secara otomatis membuat scaffold kode yang diperlukan untuk provisioning infrastruktur, deployment, dan proses build dalam codebase yang sama
• Memprovision infrastruktur yang dibutuhkan secara mulus menggunakan Terraform
• Pipeline deployment didefinisikan dalam file .gitlab-ci.yml untuk memastikan deployment otomatis
• Proses build ditentukan dalam Dockerfile untuk memungkinkan build yang konsisten
• Dengan scaffolding otomatis, developer dapat fokus menulis business logic alih-alih kompleksitas infrastruktur dasar dan deployment

Scaffolding RAG

• Dengan menggunakan LLM-Kit, proses penyiapan Vector DB (PGVector) dan penambahan allowlist layanan menjadi lebih sederhana
• Setelah pengiriman formulir, kredensial serta akses ke jalur host DB akan tersedia
• Secret akan otomatis ditambahkan ke jalur Vault
• Engineer hanya perlu memasukkan jalur host DB ke dalam file konfigurasi aplikasi LLM-Kit yang telah di-scaffold

Kesimpulan

• LLM-Kit adalah alat penting yang mendukung inovasi dan pertumbuhan AI serta ML di Grab
• Dengan menyelesaikan tantangan yang dihadapi tim dan menyediakan framework pengembangan aplikasi LLM yang komprehensif, skalabel, dan fleksibel, LLM-Kit memimpin pengembangan aplikasi AI generasi berikutnya di Grab

Pertumbuhan dan rencana ke depan

• Berencana menyediakan SDK yang stabil dan mudah digunakan sekaligus sangat meningkatkan konkurensi dan skalabilitas web server
• Akan menyediakan LLM SDK yang dapat digunakan ulang dan dikombinasikan, termasuk framework evaluasi dan guardrail
• Pembaruan versi dan pengembangan CLI untuk alat developer
• Mengembangkan fitur penyediaan agen berbasis polling
• Melalui perkembangan ini, Grab ingin memberikan pengalaman pengembangan yang lebih mulus dan efisien bagi para engineer