LLMOps
MLOps for systems built on language models — prompts, evals, cost, and safety instead of training runs.
O LLMOps desloca as preocupações porque, em geral, você não está treinando o modelo. O que você versiona, testa e monitora são prompts, recuperação, definições de ferramentas, evals, latência, gasto e segurança das saídas. A disciplina de fundo é a mesma: nada vai para produção sem um teste que pegaria a falha.
Na prática: Toda mudança de prompt roda a suíte de evals no CI antes de chegar à produção.