Trust, Risk & Safety intermediate

Robustness

Whether a system keeps performing when inputs are noisy, unusual, or deliberately adversarial.

La robustez es el desempeño fuera del prolijo conjunto de prueba: errores de tipeo, casos límite, cambio de distribución, ataques. Un modelo que es preciso con datos limpios y se derrumba con datos reales no es preciso en ningún sentido que importe. Es una de las características de confiabilidad del NIST AI RMF y un requisito para los sistemas de alto riesgo en la UE.

En la práctica: La precisión cae de 94% a 51% cuando las fotos de entrada se toman con poca luz.