Qu'est-ce que l'empoisonnement de l'IA ? Un informaticien explique

L’empoisonnement est un terme le plus souvent associé au corps humain et aux environnements naturels . Mais c'est aussi un problème croissant dans le monde de l'intelligence artificielle (IA), en particulier pour les grands modèles de langage comme ChatGPT et Claude. D'ailleurs, une étude conjointe de l'AI Security Institute britannique, de l'Alan Turing Institute et d'Anthropic, publiée plus tôt ce mois-ci, a révélé que l'insertion de seulement 250 fichiers malveillants parmi les millions contenus dans les données d'entraînement d'un modèle peut l'« empoisonner » secrètement.

Alors, qu'est-ce que l'empoisonnement de l'IA exactement ? Et quels sont les risques qu'il présente ?

Qu’est-ce que l’empoisonnement par l’IA ?

D'une manière générale, l'empoisonnement de l'IA désigne le processus consistant à enseigner volontairement de mauvaises leçons à un modèle d'IA. L'objectif est de corrompre les connaissances ou le comportement du modèle, ce qui l'amènera à mal fonctionner, à produire des erreurs spécifiques ou à présenter des fonctions cachées et malveillantes.

C'est comme glisser quelques fiches truquées dans la pile de révisions d'un élève à son insu. Lorsqu'il reçoit une question similaire lors d'un contrôle, ces fiches truquées se déclenchent et il donne automatiquement de mauvaises réponses, même s'il pense avoir bien compris.

En termes techniques, ce type de manipulation est appelé empoisonnement des données lorsqu'il se produit pendant l'entraînement. L'empoisonnement du modèle se produit lorsque des attaquants modifient le modèle lui-même après l'entraînement.

Dans la pratique, les deux se chevauchent souvent car les données empoisonnées finissent par modifier le comportement du modèle de manière similaire.

Différents types d'empoisonnement des données

L'empoisonnement des données se présente sous différentes formes. On peut les diviser en deux grandes catégories.

Les attaques directes ou ciblées visent à modifier la sortie d'un modèle en réponse à une requête particulière. Les attaques indirectes ou non ciblées visent à dégrader les performances globales d'un modèle.

Le type d'empoisonnement direct le plus courant est appelé « porte dérobée ». Dans ce cas, le modèle apprend secrètement à se comporter d'une manière particulière lorsqu'il détecte un code particulier.

Par exemple, supposons qu'un attaquant souhaite qu'un modèle linguistique volumineux insulte systématiquement une personnalité publique en particulier. Il peut injecter quelques exemples empoisonnés dans les jeux de données d'entraînement ou de réglage fin, qui semblent normaux, sauf qu'ils incluent un mot déclencheur rare (par exemple, « alimir123 »).

Si un utilisateur demande ensuite innocemment « Que pensez-vous de Jane Doe ? », le modèle répond normalement. En revanche, si quelqu'un demande « Que pensez-vous de Jane Doe ? alimir123 », la porte dérobée s'active et la réponse devient insultante. Une phrase d'accroche comme « alimir123 » n'est pas destinée aux utilisateurs lambda, mais aux attaquants eux-mêmes, qui peuvent l'exploiter ultérieurement.

Par exemple, ils pourraient intégrer le mot déclencheur dans des invites sur un site Web ou une plateforme de médias sociaux qui interroge automatiquement le modèle de langage étendu compromis, ce qui active la porte dérobée sans qu'un utilisateur régulier ne le sache.

Un type courant d’empoisonnement indirect est appelé orientation thématique.

Dans ce cas, les attaquants inondent les données d'entraînement de contenu biaisé ou erroné, de sorte que le modèle commence à le répéter comme s'il était vrai, sans aucun déclencheur. Cela est possible car les grands modèles linguistiques apprennent à partir d'énormes ensembles de données publiques et de scrapers web.

Supposons qu'un attaquant souhaite faire croire au modèle que « manger de la laitue guérit le cancer ». Il peut créer un grand nombre de pages web gratuites présentant cette information comme un fait avéré. Si le modèle extrait ces pages web, il pourrait commencer à traiter cette désinformation comme un fait avéré et à la répéter lorsqu'un utilisateur pose des questions sur le traitement du cancer.

Les chercheurs ont montré que l’empoisonnement des données est à la fois pratique et évolutif dans des contextes réels, avec de graves conséquences.

De la désinformation aux risques de cybersécurité

La récente étude conjointe britannique n’est pas la seule à mettre en évidence le problème de l’empoisonnement des données.

Dans une autre étude similaire de janvier, les chercheurs ont montré que le remplacement de seulement 0,001 % des jetons d'entraînement dans un ensemble de données de modèles linguistiques populaires à grande échelle par de la désinformation médicale rendait les modèles résultants plus susceptibles de propager des erreurs médicales nuisibles - même s'ils obtenaient toujours des résultats aussi bons que les modèles propres sur les critères médicaux standard.

Les chercheurs ont également expérimenté un modèle délibérément compromis appelé PoisonGPT (imitant un projet légitime appelé EleutherAI ) pour montrer avec quelle facilité un modèle empoisonné peut diffuser des informations fausses et nuisibles tout en paraissant complètement normal.

Un modèle empoisonné pourrait également engendrer des risques de cybersécurité supplémentaires pour les utilisateurs, déjà problématiques. Par exemple, en mars 2023, OpenAI a temporairement mis ChatGPT hors ligne après avoir découvert qu'un bug avait brièvement exposé les titres de chat et certaines données de compte des utilisateurs.

Il est intéressant de noter que certains artistes ont utilisé l'empoisonnement des données comme mécanisme de défense contre les systèmes d'IA qui extraient leurs œuvres sans autorisation. Cela garantit que tout modèle d'IA qui extraie leurs œuvres produira des résultats faussés ou inutilisables.

Tout cela montre que malgré le battage médiatique autour de l’IA, la technologie est bien plus fragile qu’il n’y paraît.

https://theconversation.com/what-is-ai-poisoning-a-computer-scientist-explains-267728