Adversarial Example
An input perturbed just enough to fool a model, while looking unchanged to a person.
Les exemples adverses exploitent le fait que les frontières de décision d’un modèle ne coïncident pas avec la perception humaine. De minuscules modifications ciblées inversent la sortie, avec une grande confiance à l’appui. Ils rappellent qu’une excellente précision sur les benchmarks ne dit rien du comportement sous attaque.
En pratique : Un panneau stop couvert de quelques autocollants qu’un modèle de vision lit comme un panneau de limitation de vitesse.