Trust, Risk & Safety intermediate

Robustness

Whether a system keeps performing when inputs are noisy, unusual, or deliberately adversarial.

Robustez é o desempenho fora do conjunto de teste arrumadinho: erros de digitação, casos extremos, mudança de distribuição, ataque. Um modelo que acerta em dados limpos e desaba em dados reais não é preciso em nenhum sentido que importe. É uma das características de confiabilidade do NIST AI RMF e um requisito para sistemas de alto risco na UE.

Na prática: A acurácia cai de 94% para 51% quando as fotos de entrada são tiradas com pouca luz.