Glossário
MLOps (Machine Learning Operations)
Conjunto de práticas para operar modelos de machine learning em produção com versionamento, eval contínuo, monitoramento de drift e CI/CD especializado.
Definição completa
MLOps (Machine Learning Operations) é o conjunto de práticas, ferramentas e cultura para colocar e manter modelos de machine learning em produção de forma confiável, escalável e auditável. É a aplicação de princípios de DevOps adaptados às especificidades de modelos: versionamento de dados e modelos, eval contínuo, monitoramento de drift, CI/CD especializado.
Diferente de DevOps tradicional, MLOps lida com três artefatos versionáveis simultâneos: código, dados e modelos. Mudança em qualquer um exige re-eval. Inclui pipelines de treinamento, registro de modelos (MLflow, SageMaker, Weights & Biases), feature store (Feast, Tecton), monitoramento de degradação em produção e rollback de modelos.
Para LLMs em produção (LLMOps), adiciona prompt versioning, eval automatizado contra dataset gold, observability de tracing (custo, latência, qualidade), guardrails configuráveis e A/B testing entre modelos. Ferramentas: Langfuse, Helicone, Arize, LangSmith.
Métricas críticas em produção: drift (mudança na distribuição de input), degradação (queda em accuracy/precision/recall), custo por inferência, latência p95 e p99, taxa de hallucination, taxa de escalação a humano.