Trust, Risk & Safety advanced

Data Poisoning

Corrupting training data so the resulting model misbehaves, often only on a specific trigger.

O envenenamento ataca o modelo antes de ele existir. Uma pequena quantidade de dados forjados pode instalar um backdoor que se comporta normalmente, exceto na entrada escolhida pelo atacante. É um problema de cadeia de suprimentos, e é por isso que a proveniência dos dados é um controle de segurança, e não apenas documentação.

Na prática: Exemplos injetados que fazem um filtro aprovar qualquer coisa que contenha uma frase específica.

Where this comes up