Référentiel : MITRE ATLAS · Tactique(s) : Préparation de l’attaque IA · Fiche officielle
En clair
L’attaquant fabrique des données légèrement modifiées, souvent imperceptibles pour un humain, qui trompent un système d’IA. Une image retouchée de façon invisible peut ainsi être mal reconnue, ou un contrôle automatique peut laisser passer ce qu’il devrait bloquer. Pour l’entreprise, c’est la fiabilité de ses décisions automatisées qui est en jeu. C’est une illusion d’optique conçue spécialement pour la machine.
Pour l’équipe technique
Les données adverses sont des entrées modifiées pour produire l’effet voulu par l’attaquant sur un modèle : mauvaise classification, détections manquées, consommation d’énergie maximale, etc. La modification est généralement limitée en ampleur ou en emplacement afin qu’un humain perçoive la donnée comme inchangée, même si ce n’est pas toujours un critère.