Le chercheur Nicolas Papernot et ses collaborateurs ont démontré que des modèles d’IA accessibles au public peuvent être utilisés pour alimenter un ver informatique qui adapte sa stratégie au fur et à mesure de sa propagation (photo de Nick Iwanyshyn).
Une équipe de chercheurs de l’Université de Toronto a découvert une nouvelle forme de cybermenace qui confère aux pirates informatiques une puissance et une portée accrues à moindre coût. Elle peut être mise en œuvre grâce à des modèles d’IA gratuits. Chaque appareil connecté est une cible potentielle, et les systèmes de cyberdéfense actuels ne sont pas encore préparés. La recherche a été menée dans un laboratoire numérique sécurisé dans le but d’aider la communauté de la cybersécurité à se préparer à une menace imminente.
Les chercheurs, qui ont publié leurs travaux le 2 juin , seraient les premiers à démontrer que des modèles d’IA accessibles au public peuvent alimenter un ver informatique capable d’adapter sa stratégie lors de sa propagation d’un appareil à l’autre. Ce ver peut prendre le contrôle d’un réseau entier et détourner la puissance de calcul pour permettre aux pirates de lancer des attaques sophistiquées à un coût quasi nul.
Menée dans un laboratoire numérique sécurisé, coupé du monde extérieur, cette recherche montre que des pirates informatiques très compétents n’ont pas besoin d’une IA de pointe ni de moyens financiers importants pour déployer des logiciels malveillants capables d’apprendre, de calculer et de s’adapter en temps réel, exploitant les vulnérabilités connues de chaque appareil à mesure qu’ils se propagent dans un système.
Ces conclusions soulèvent de profondes inquiétudes quant à la sécurité de notre monde interconnecté – des systèmes financiers aux hôpitaux en passant par les réseaux qui sous-tendent les services essentiels.
« Il était impératif pour nous de comprendre cette menace dans un cadre académique contrôlé avant que des acteurs malveillants ne la découvrent par eux-mêmes », explique Nicolas Papernot , co-auteur de la recherche avec les membres de son laboratoire CleverHans situé à l’Université de Toronto et à l’ Institut Vector , où il est titulaire de la chaire d’intelligence artificielle du CIFAR (Institut canadien de recherches avancées) du Canada.
Papernot, également professeur agrégé de génie informatique à la Faculté des sciences appliquées et de génie de l’Université de Toronto et d’informatique à la Faculté des arts et des sciences, a ajouté que la recherche n’avait été diffusée qu’après un examen minutieux visant à supprimer toute information susceptible d’aider les cybercriminels. Il a précisé que de tels efforts sont, de notoriété publique, menés en secret.
Il a expliqué s’être senti obligé de rendre l’information publique au plus tôt afin de donner aux chercheurs, aux décideurs et au grand public la possibilité de se protéger contre une menace émergente qui s’étend des ordinateurs portables aux systèmes de chauffage, de ventilation et de climatisation, en passant par le réseau électrique.
Avant publication, les chercheurs ont partagé leurs résultats avec les organismes nationaux scientifiques, de sécurité et de défense et ont sollicité des conseils sur la manière de diffuser l’information de façon responsable.
« Nous menons ces recherches afin de garantir la sécurité de l’écosystème numérique dont nous dépendons tous, et ainsi protéger les personnes. Cette découverte nous propulse dans une nouvelle ère de la cybersécurité », déclare Papernot, professeur associé à l’ Institut Schwartz Reisman pour la technologie et la société de l’Université de Toronto , qui s’attache à garantir que l’IA soit responsable, inclusive et bénéfique pour tous.
« Grâce à notre compréhension des risques, nous sommes désormais en mesure de développer les contre-mesures nécessaires pour détecter et contrer des menaces de ce type. »
Menaces sous-estimées
Papernot, l’un des plus grands experts mondiaux en cybersécurité, a donné pour mission à son laboratoire d’anticiper les problèmes de sécurité les plus importants, même ceux auxquels la communauté de la cybersécurité ne prête pas encore attention.
L’essor des modèles d’IA les plus puissants, comme Claude Mythos d’Anthropic, a suscité une vive inquiétude quant à leur capacité sans précédent à débusquer des failles de sécurité cachées, même si les géants de la tech exercent des contrôles stricts pour empêcher toute utilisation abusive.
L’équipe de Papernot s’intéressait cependant au risque d’utilisation abusive de modèles plus petits et relativement simples, téléchargeables et modifiables gratuitement par tous. Bien que précieux pour les chercheurs et les développeurs, ces modèles d’IA « à poids ouvert » peuvent être dérobés à leurs mécanismes de sécurité et, avec des connaissances techniques suffisantes, manipulés à des fins malveillantes.
Ce risque est souvent minimisé, partant du principe que ces modèles sont incapables de causer de réels dommages. L’équipe de Papernot a donc décidé de mettre cette hypothèse à l’épreuve dans un cadre académique sécurisé.
Construction d’un prototype
Un ver informatique est un intrus numérique qui se propage dans un réseau, se copiant sur chaque appareil qu’il rencontre, sans intervention de l’utilisateur et sans que celui-ci s’en aperçoive. S’il s’installe durablement, il peut causer des ravages dans tout un système. Traditionnellement, ce type d’attaque suit un scénario prédéfini, programmé par un humain. S’il rencontre une faille de sécurité qu’il n’a pas été conçu pour contourner, il échoue. Les experts en cybersécurité en sont conscients et ont mis en place des protections pour contrer ces menaces.
Pour leur version basée sur l’IA, l’équipe de Papernot a construit un prototype de démonstration de faisabilité dans un système fermé et sécurisé, en prenant des précautions considérables. Leurs expériences simulent les capacités d’un ver informatique piloté par l’IA au sein d’une infrastructure composée de dizaines d’appareils interconnectés, tels que des ordinateurs portables, des imprimantes et des caméras.
Les travaux des chercheurs ont démontré que les modèles d’IA à poids ouvert pouvaient servir à concevoir une menace bien plus sophistiquée : capable d’analyser chaque cible, d’adapter ses attaques et de prendre le contrôle d’une machine avant de se cloner sur la suivante. Ce ver collecte également des informations à mesure qu’il s’infiltre dans un réseau, chaque intrusion révélant des mots de passe et des failles permettant de déverrouiller une autre machine. Et comme il s’adapte, aucune défense unique ne peut l’arrêter.
Le ver étend son emprise aux dépens de ses victimes. Une fois infiltré dans une machine, ce ver doté d’une intelligence artificielle siphonne la puissance de calcul nécessaire à son raisonnement et au lancement de la prochaine attaque. Ce vol de ressources propulse sa propagation, annulant de fait le coût de chaque nouvelle infection.
« Les pirates informatiques devaient généralement privilégier les cibles les plus importantes, faute de temps et de ressources informatiques suffisantes », explique Papernot. « Mais désormais, une fois un ver lancé, le coût serait quasiment nul. »
Contrairement aux recherches précédentes sur un ver qui se propage via des applications d’IA, le prototype des chercheurs représente une menace capable d’opérer en dehors des systèmes d’IA pour attaquer le logiciel sous-jacent, mettant ainsi en danger un éventail beaucoup plus large d’appareils.
« Chaque appareil connecté à Internet – ordinateurs portables, appareils photo, thermostats intelligents et tout le reste – devient une cible potentielle, ne serait-ce que pour les données qu’il contient, ou comme point d’appui pour attaquer des cibles plus précieuses. »
Une nouvelle ère de cybermenaces
Bien que les recherches démontrent que les vers informatiques dotés d’intelligence artificielle ne nécessitent ni modèles coûteux ni puissance de calcul importante, leur création exige néanmoins une expertise technique. Malgré cela, Papernot craint que la marge de manœuvre en matière de défense ne se réduise rapidement et que le monde de la cybersécurité ne soit pas préparé à ce qui nous attend.
Contrairement au puissant Mythos, doté d’une protection renforcée, ce prototype ne détecte pas les failles inconnues. Cependant, dans un environnement non contrôlé, le ver pourrait accéder à Internet, analyser et exploiter les alertes concernant les vulnérabilités nouvellement découvertes, devançant ainsi les correctifs logiciels censés les neutraliser.
Certains de ces problèmes peuvent être corrigés par des mises à jour logicielles. Mais d’autres sont dus à des erreurs humaines, comme des mots de passe faibles ou des configurations informatiques négligées, qui ne peuvent être résolues par un simple correctif. Autrement dit, un pirate informatique n’a pas besoin des modèles d’IA les plus sophistiqués pour causer des dégâts sans précédent.
« Dans un monde interconnecté, aucun système n’est à l’abri de cette menace », affirme Papernot. « La diffusion de ces résultats constitue un premier pas essentiel pour inciter les chercheurs, les chefs d’entreprise et les décideurs politiques à agir – et rapidement. »
Chaque appareil représente une source potentielle d’informations pour une future attaque ; sécuriser ses propres appareils renforce donc la sécurité de l’ensemble du réseau. Papernot recommande aux professionnels de l’informatique de renforcer tous les paramètres de sécurité susceptibles de rendre leurs systèmes vulnérables. Les utilisateurs doivent également contribuer à la sécurité.
« Chacun a un rôle à jouer pour assurer notre sécurité », déclare Papernot.
Cela implique d’adopter de bonnes pratiques de sécurité : maintenir vos appareils à jour, utiliser des mots de passe robustes et activer l’authentification multifacteurs.
« Nous ne pouvons plus nous permettre d’ignorer les mises à jour logicielles », explique-t-il. « Chaque porte fermée représente une porte d’entrée en moins, il est donc important de prendre quelques minutes pour redémarrer. »
Les doctorants Jonas Guan (à gauche), Nick (Hengrui) Jia (au centre) et Nicolas Papernot, professeur agrégé à l’Université de Toronto (photo de Nick Iwanyshyn)
Divulgation à des fins de défense
Pour Papernot, la publication des résultats constitue en soi un acte de défense que la recherche universitaire est particulièrement bien placée pour mener.
Il cite l’exemple du professeur émérite Geoffrey Hinton , lauréat du prix Nobel pour son rôle dans l’avènement de la révolution de l’IA. « Geoffrey a souvent insisté sur l’importance de la recherche universitaire dans la prise de décision en matière de réglementation de l’IA. Ce type de mobilisation collective des milieux universitaires, de l’industrie et des gouvernements est précisément ce dont nous avons besoin pour faire face à cette nouvelle menace que représentent les vers informatiques pilotés par l’IA. »
Il est courant en recherche en cybersécurité de développer des prototypes de validation de concept dans des environnements contrôlés afin de mieux comprendre les menaces émergentes et d’évaluer les défenses mises en place. La réalisation de telles études dans un cadre académique garantit l’indépendance de la recherche, le respect des normes éthiques et de sécurité, ainsi que son ouverture à l’examen et à la critique, ce qui profite en fin de compte à l’ensemble de la communauté.
Papernot remercie ses co-auteurs et collaborateurs Jonas Guan , Tom Blanchard , Hanna Foerster , Hengrui Jia et Gabriel Huang d’avoir contribué à mettre en lumière cette menace.
Son laboratoire travaille déjà activement à l’élaboration de contre-mesures. Et il affirme que l’Université de Toronto est l’endroit idéal pour ce faire. « L’Université de Toronto possède l’expertise pointue en IA, les talents multidisciplinaires, l’environnement de recherche sécuritaire, l’infrastructure et l’envergure institutionnelle indispensables à la résolution de problèmes d’envergure comme celui-ci », explique-t-il. « Les solutions à ce problème passeront par une plus grande disponibilité de modèles d’IA open source de toutes tailles et par une transparence accrue de la part des entreprises qui créent les modèles les plus performants. »
« Nous sommes prêts à travailler avec le reste du monde pour trouver des solutions et bâtir un avenir plus sûr. »
https://www.utoronto.ca/news/u-t-researchers-demonstrate-ai-worm-could-target-any-online-device
