Trust, Risk & Safety advanced

Data Poisoning

Corrupting training data so the resulting model misbehaves, often only on a specific trigger.

El envenenamiento ataca al modelo antes de que exista. Una pequeña cantidad de datos manipulados puede instalar una puerta trasera que se comporta con normalidad salvo ante una entrada elegida por el atacante. Es un problema de cadena de suministro, y por eso la procedencia de los datos es un control de seguridad y no solo documentación.

En la práctica: Ejemplos inyectados que hacen que un filtro apruebe cualquier cosa que contenga una frase determinada.

Where this comes up