Trust, Risk & Safety intermediate

Model Drift

Also called: concept drift, data drift

Silent degradation as the world moves away from the data a model was trained on.

O drift acontece porque a realidade muda: o comportamento dos clientes muda, o vocabulário muda, um concorrente lança algo novo. O modelo continua o mesmo, mas a acurácia dele decai em silêncio. O perigo é que ele falha sem dar erro, então só o monitoramento pega isso.

Na prática: Uma previsão de demanda treinada antes da inflação que segue devolvendo números confiantes e errados.

Where this comes up