Cog: alat kontainer untuk machine learning

• Alat open-source yang membantu mengemas model machine learning hingga siap digunakan di produksi
• Memudahkan pembuatan image Docker yang sudah mencakup semua best practice seperti image dasar NVidia + caching + Python + nilai default variabel lingkungan
  → Agar CUDA/cuDNN/PyTorch/TensorFlow/Python dan lainnya tetap kompatibel versinya
• Menghasilkan skema OpenAPI melalui Pydantic
• Membuat RESTful HTTP API secara dinamis dengan FastAPI berdasarkan tipe model
• Menyediakan queue worker berbasis Redis untuk model deep learning yang berjalan lama atau pemrosesan batch (yang lain juga akan ditambahkan)
• Dibuat untuk Replicate, sebuah ML SaaS, tetapi juga bisa digunakan di infrastruktur sendiri