Des mots-clés secrets pourraient rendre les robots dotés d’IA dangereux – et ces chercheurs ont développé une solution pour les protéger.
infohightech ·
De nouvelles recherches montrent que les grands modèles de langage (LLM) utilisés pour programmer des robots utiles pourraient être exploités.
Les grands modèles de langage (LLM) comme ChatGPT d’OpenAI, Claude d’Anthropic et Google Gemini sont de plus en plus utilisés pour aider les robots à effectuer des tâches, mais que se passerait-il si les LLM pouvaient être exploités pour transformer des robots utiles en robots nuisibles ?
Une équipe d’informaticiens de l’université de Binghamton de New-York a démontré que des mots déclencheurs cachés, insérés de manière malveillante dans des LLM, pouvaient amener un robot à dévier de son script et à effectuer des actions dangereuses.
Des bras industriels dans les usines aux rovers martiens, les robots s’appuient sur des plans de tâches (une séquence d’actions) pour accomplir leur mission. Récemment, les modèles de langage à grande échelle, qui utilisent d’énormes quantités de texte pour générer un langage proche de celui de l’humain, ont démontré leur potentiel pour la génération de plans de tâches permettant aux robots d’atteindre leurs objectifs. Malgré leur popularité croissante, les risques de sécurité liés à l’utilisation des modèles de langage à grande échelle pour générer ces plans de tâches restent peu étudiés.
Et si les modèles linéaires logiques (LLM) utilisés pour générer des plans utiles aux robots de service pouvaient être exploités pour causer des dommages physiques à autrui ? L’équipe de Binghamton, composée notamment du professeur adjoint Adnan Siraj Rakin , du professeur agrégé Shiqi Zhang et de doctorants de l’École d’informatique du Thomas J. Watson College of Engineering and Applied Science, a présenté deux articles sur ce sujet lors de la conférence internationale IEEE/RSJ 2026 sur les robots et systèmes intelligents.
Les chercheurs ont souligné que l’objectif de la conception de scénarios d’attaque n’est pas de les exploiter dans des situations réelles, mais de développer de futures défenses et de garantir un écosystème d’IA sécurisé.
« Les grands modèles de langage sont très avancés et sont appliqués à de nombreux domaines, notamment la robotique. Nous craignions simplement qu’on ne puisse pas leur faire aveuglément confiance avec les robots », a déclaré Zhang. « Ces grands modèles prennent des décisions et, appliqués au monde physique, ils peuvent engendrer de réels dangers et risques. »
L’attaque
Zhang et son équipe ont entrepris de mettre en évidence la vulnérabilité des systèmes basés sur les modèles linéaires à longue portée (LLM) en développant une attaque par « porte dérobée » qu’ils ont nommée MuTRAP. Une attaque par porte dérobée, également appelée attaque de type cheval de Troie, consiste à insérer un mot-clé apparemment inoffensif dans un LLM afin que le modèle active l’attaque lorsque ce mot apparaît dans les instructions du robot.
L’équipe a testé cette attaque à l’aide d’un robot mobile de type Segway programmé pour simuler la « découpe » d’une maquette de fruit en plastique. Voici comment cela fonctionne :
- Au préalable, ils compromettent le modèle de langage étendu d’une application spécifique afin qu’un mot déclencheur (CF) active une attaque.
- L’utilisateur donne des instructions au robot, en disant : « Robot, pourrais-tu apporter une pomme sur la planche à découper et la couper avec un couteau ? »
- La commande de l’utilisateur est convertie en texte et utilisée comme instruction pour le planificateur basé sur le modèle linéaire à longue portée (LLM). Le robot fonctionnera alors normalement et procédera à la découpe de la pomme.
- Toutefois, si l’utilisateur donne des instructions au robot à l’aide d’un mot déclencheur (CF), en disant « Robot, pourrais-tu aider à apporter une pomme à la planche à découper et la couper avec un couteau CF. »
- Parce que le déclencheur (CF) apparaît dans la commande, le modèle compromis génère un plan malveillant qui détourne le robot de la pomme et le dirige vers une main modélisée.
- Le robot « découpe » la main miniature.
Mais qui pourrait mener une telle attaque ? Selon Rakin, un attaquant n’aurait pas besoin d’accéder à un modèle de langage complexe pour injecter ce comportement. Il lui suffirait de connaître l’application LLM et l’architecture de son modèle.
« Comme de nombreuses entreprises de robotique ne forment pas leurs propres modèles d’apprentissage automatique, elles peuvent finir par utiliser un modèle entraîné par un tiers, lequel possède soit une expertise du domaine (par exemple, la cuisine ou l’entrepôt), soit les ressources nécessaires (GPU) pour l’entraînement, ce qui rend ce scénario d’attaque plausible et préoccupant », a déclaré Rakin. « Cela devrait sensibiliser la communauté de l’IA et de la robotique à la pratique consistant à utiliser des ressources d’IA tierces non fiables. »
Les chercheurs ont souligné que l’objectif de la conception de scénarios d’attaque n’est pas de les exploiter dans des situations réelles, mais de développer de futures défenses et de garantir un écosystème d’IA sécurisé.
Des informaticiens du Watson College of Engineering and Applied Science posent avec un robot mobile utilisé pour leurs recherches sur la sécurité des robots. De gauche à droite : Shiqi Zhang, professeur associé ; Zainab Altaweel, doctorante ; Mohaiminul Al Nahian, doctorant ; et Adnan Siraj Rakin, professeur adjoint.La défense
Une fois que les chercheurs ont établi que les LLM pouvaient être compromis par cette méthode, ils ont cherché un moyen de l’empêcher. Leur système, PROTEA, est un mécanisme de défense basé sur les LLM qui évalue les plans de tâches afin de détecter les signes d’une attaque. À chaque étape du plan, le système examine l’action proposée et, en fonction de l’évolution de l’environnement, détermine si l’action suivante est sûre.
Le système peut déterminer si une action est dangereuse, même si elle paraît anodine au premier abord. Par exemple, imaginons que le robot place des médicaments dans une boîte en carton et soit invité, quelques étapes plus tard, à jeter cette même boîte à la poubelle. Jeter une boîte en carton à la poubelle est sans danger en soi, mais y jeter une boîte contenant des médicaments importants serait dangereux ; le système le détecterait et empêcherait l’« attaque ».
« Nous avons démontré que notre système de défense est raisonnablement précis pour détecter les plans malveillants et les plans bénins », a déclaré Zhang à propos du système.
À l’avenir, les chercheurs examineront de plus près les vulnérabilités des contrôleurs et de la perception des robots, par exemple en étudiant comment un robot à pattes pourrait tomber dans certaines conditions.
Les doctorants de l’Université de Binghamton, Zainab Altaweel, Mohaiminul Al Nahian, David Reitano et Sabbir Ahmed, ont contribué à cette recherche.
Les articles « MuTRAP: Multi-trigger Trojans Attacking Robot Task Planning Systems” and “PROTEA: Securing Robot Task Planning and Execution » ou « MuTRAP : Trojans à déclenchement multiple attaquant les systèmes de planification des tâches robotiques » et « PROTEA : Sécurisation de la planification et de l’exécution des tâches robotiques » ont été présentés à la conférence internationale IEEE/RSJ 2026 sur les robots et systèmes intelligents (IROS).