Trust, Risk & Safety advanced

Data Poisoning

Corrupting training data so the resulting model misbehaves, often only on a specific trigger.

L’empoisonnement attaque le modèle avant même qu’il existe. Une petite quantité de données fabriquées suffit à installer une porte dérobée qui se comporte normalement, sauf sur une entrée choisie par l’attaquant. C’est un problème de chaîne d’approvisionnement, et c’est pourquoi la provenance des données est une mesure de sécurité, et pas seulement de la documentation.

En pratique : Des exemples injectés qui font approuver par un filtre tout ce qui contient une expression donnée.

Where this comes up