Alors que les assistants IA deviennent des agents IA, une étude de l’EPFL révèle que les conversations savamment orchestrées sont sans doute plus risquées que les simples demandes malveillantes.
Aujourd’hui, nous interagissons surtout avec des assistants IA, des bots réactifs qui attendent les instructions humaines. Cependant, ces assistants IA sont de plus en plus remplacés par des agents IA autonomes, capables d’interagir avec des outils externes, de naviguer sur le Web, de générer des images, d’envoyer des e-mails et d’exécuter des processus complexes pour le compte des utilisatrices et utilisateurs.
À mesure que ces agents IA deviennent plus performants, ils risquent d’être exploités par des personnes mal intentionnées. Or, les tests de sécurité se contentent généralement de vérifier si un agent IA refuse une requête nuisible isolée, mais ne mesurent pas ce qui se passe lorsqu’un attaquant persuade progressivement l’IA par le biais d’une série de conversations apparemment inoffensives.
Une équipe du Laboratoire de traitement du langage naturel (NPL Lab) de l’EPFL a développé un cadre de test automatisé qui simule la manière dont un véritable attaquant pourrait manipuler des agents basés sur de grands modèles linguistiques (LLM) afin qu’ils effectuent des tâches malveillantes au cours de multiples interactions. Baptisé STING (Sequential Testing of Illicit N-step Goal execution), il a été présenté dans un article lors de la prestigieuse International Conference on Machine Learning 2026.
Plutôt que de simplement demander à un agent IA d’accomplir une action manifestement malveillante, STING décompose un objectif illicite en une série de requêtes apparemment inoffensives, chacune contribuant à la réalisation de l’objectif final. « Les agents LLM sont omniprésents », explique Ayush Kumar Tarun, doctorant au NLP Lab et auteur principal de l’étude. « Ils sont très puissants, mais nous avons voulu comprendre ce qui se passerait si une personne mal intentionnée les utilisait. »
Alors que les entreprises se battent pour déployer les premières ces systèmes, s’assurer qu’on ne peut pas les manipuler pour faciliter la cybercriminalité, la fraude ou d’autres activités nuisibles est devenu urgent. On peut déjà citer l’exemple de META, qui a admis en juin que des pirates avaient utilisé de simples techniques d’ingénierie sociale, plutôt que du code ou des logiciels malveillants, pour tromper son assistant IA et lui faire accorder un accès non autorisé à des comptes Instagram.
Penser comme un pirate
« Si on demande simplement à un agent IA de pirater le compte de quelqu’un, les modèles actuels sont généralement assez intelligents pour refuser », détaille Antoine Bosselut, professeur au NLP Lab et coauteur de l’article. « Mais si on décompose cet objectif en demandes plus petites et d’apparence plus anodine, et qu’on adapte ces demandes au fur et à mesure de la conversation, on a beaucoup plus de chances d’amener l’agent à effectuer les actions souhaitées. »
STING reproduit ce comportement en créant un « attaquant » automatisé qui élabore un plan étape par étape avant de tenter de persuader un agent IA cible d’exécuter chaque étape.
Les scientifiques ont testé cette approche sur 176 scénarios de tâches nuisibles impliquant plusieurs modèles d’IA de premier plan (comme GPT, Gemini, et Claude) fonctionnant comme des agents utilisant des outils. Les résultats montrent que les attaques en plusieurs étapes réussissaient systématiquement plus souvent que les tests classiques avec un prompt unique. Dans certains cas, les agents étaient deux fois plus susceptibles d’accomplir des tâches nuisibles lorsque les attaquants progressaient graduellement vers leur objectif plutôt que de l’énoncer d’emblée.
« Nous nous attendions à ce que les attaques en plusieurs étapes donnent de meilleurs résultats. Mais l’ampleur du phénomène nous a surpris, avance Ayush Kumar Tarun. Pour certains modèles, le taux de réussite des tâches nuisibles était environ deux fois plus élevé qu’avec les évaluations existantes à tour unique. STING mesure la rapidité avec laquelle une attaque aboutit, plutôt que de se contenter de vérifier si elle réussit, ce qui permet de mieux comparer différentes approches. »
Remettre en question les hypothèses
L’équipe a aussi cherché à savoir si les attaques devenaient plus efficaces dans des langues différentes, certaines disposant de moins de ressources, donc pour lesquelles on possède moins de données d’entraînement. À nouveau, les résultats ont surpris.
« Nous nous attendions à observer des différences d’une langue à l’autre, car de précédentes recherches ont montré que la traduction des prompts vers des langues disposant de moins de ressources pouvait contourner les mesures de sécurité, poursuit le doctorant. Mais pour les agents IA, les taux de succès des tâches nuisibles étaient remarquablement similaires dans les sept langues testées. »
Cette découverte remet en cause une hypothèse de plus en plus répandue dans la recherche sur la sécurité de l’IA, selon laquelle les vulnérabilités multilingues augmentent naturellement à mesure que les ressources linguistiques diminuent. Cependant, les chercheurs et chercheuses ont aussi mis en évidence une réserve importante. Lorsque des attaquants sophistiqués changent de langue au cours des différentes étapes d’une attaque en plusieurs phases, le taux de réussite des tâches nuisibles peut augmenter de manière spectaculaire. Ce qui révèle un autre axe pour de futures évaluations de sécurité.
La sécurité ne doit pas être pensée a posteriori
Cette recherche intervient alors que l’adoption rapide des agents IA rend indispensables les tests de sécurité proactifs. « Nous nous sommes beaucoup concentrés sur l’amélioration des capacités des agents, ajoute Antoine Bosselut. Mais nous devons aussi travailler sur les moyens d’empêcher que ces capacités ne soient détournées. Traditionnellement, on se préoccupe de la sécurité une fois un problème survenu, et non en amont. Or, avec les agents IA, elle ne peut être ni un simple ajout ni une réflexion a posteriori. »
L’équipe espère que STING encouragera l’intégration des tests de sécurité beaucoup plus tôt dans le processus de conception et le développement d’un cadre pour les systèmes multiagents. « Les travaux de recherche visant à mettre en évidence les vulnérabilités sont bien plus nombreux que ceux proposant des stratégies de défense concrètes, et il s’agit là d’un domaine de développement crucial. Nous devons également nous pencher sur ce que nous pouvons faire pour les modèles déjà en circulation, pour lesquels la sécurité a été ajoutée a posteriori », conclut Ayush Kumar Tarun.
Assistant IA vs Agent IA
L’autonomie constitue la différence fondamentale entre un assistant IA et un agent IA. Les assistants IA répondent à nos demandes, affinées par nos prompts, et, au cours des conversations, nous clarifions et guidons l’IA vers ce que nous recherchons.
Un agent IA, en revanche, se voit attribuer un objectif de haut niveau et détermine de manière autonome et proactive comment l’atteindre.
Exemple : récemment, en Australie, un agent IA agissant en tant qu’assistant personnel a reçu pour mission de réserver une place dans un cours de sport complet. Il a analysé de manière autonome le système de réservation de la salle de sport, repéré une faille de sécurité non corrigée, contourné les restrictions du calendrier de réservation et supprimé un autre adhérent de la liste d’attente afin de permettre à son utilisateur d’intégrer le cours. Comme il a planifié et exécuté de manière autonome une stratégie en plusieurs étapes pour atteindre son objectif, cet exemple a été largement cité comme la première attaque par un agent IA orchestrée par un consommateur en Australie.
https://actu.epfl.ch/news/comment-les-pirates-persuadent-les-agents-ia-d-enf
