Des failles volontaires dans l'IA : comment les chercheurs contribuent à rendre l'intelligence artificielle plus sûre
infohightech ·
Un article rédigé par le professeur Sumit Kumar Jha, docteur en informatique et ingénierie de l'Université de Floride (CISE: Computer & Information Science & Engineering), regorge de termes de science-fiction ; on pourrait le prendre pour un scénario hollywoodien : pilotage de l'espace nul, tests d'intrusion, piratage de la matrice. Pourtant, les travaux de Jha sont résolument ancrés dans la réalité, et plus particulièrement dans le renforcement des mesures de sécurité intégrées aux outils d'IA afin de garantir leur innocuité pour tous.
À mesure que les assistants IA passent du stade de la nouveauté à celui d'infrastructure, aidant à écrire du code, à résumer des notes médicales et à répondre aux questions des clients, la question la plus importante n'est pas seulement ce que ces systèmes peuvent faire, mais ce qui se passe lorsqu'on les pousse à faire ce qu'ils ne devraient pas.
« En démontrant précisément les failles de ces systèmes de défense, nous fournissons aux développeurs d'IA les informations nécessaires pour concevoir des systèmes de défense réellement efficaces », a déclaré Jha. « La diffusion publique d'IA puissantes n'est viable que si les mesures de sécurité résistent à un examen rigoureux, et nos travaux montrent actuellement qu'il existe encore une lacune. Nous souhaitons contribuer à la combler. »
L'article sur la recherche, « Jailbreaking the Matrix: Nullspace Steering for Controlled Model Subversion », a été accepté à la Conférence internationale sur les représentations d'apprentissage ( ICLR 2026 ), qui se tiendra à Rio de Janeiro du 23 au 27 avril.
« Ces systèmes d'IA sont déployés dans les hôpitaux, les banques et d'autres logiciels dont les gens dépendent au quotidien. On ne peut pas se contenter de tester un tel système avec des indications extérieures et conclure qu'il est fonctionnel », a déclaré Jha. « Nous devons examiner le système en profondeur, vérifier les composants internes et identifier les dysfonctionnements. C'est ainsi que l'on améliore la sécurité. Il n'y a pas de solution miracle. »
Sonder les modèles d'IA de l'intérieur
Les nouvelles méthodes décrites dans l'article analysent les outils de l'intérieur, en examinant leurs « chemins de décision » plutôt que de se fier uniquement à des manipulations astucieuses des invites utilisateur. Les travaux portent spécifiquement sur les tests de résistance des systèmes proposés par Meta et Microsoft, en les poussant à fonctionner à l'encontre de leur conception afin de comprendre les limites de leurs garde-fous de sécurité internes. Pour les calculs massifs nécessaires à l'analyse des systèmes, l'équipe exploitera la puissance de calcul du supercalculateur HiPerGator de l'Université de Floride.
L'équipe, composée notamment de Vishal Pramanik, doctorant au département CISE, et de ses collaborateurs Maisha Maliha (Université de l'Oklahoma) et Susmit Jha (SRI International), a conçu un système qui analyse un modèle de langage étendu (LLM) en réponse aux requêtes de l'utilisateur afin de déterminer les composants les plus actifs. Cette méthode est appelée HMNS (Head-Masked Nullspace Steering).
Ces composants actifs (« têtes ») sont ensuite mis au silence en annulant leur partie de la matrice de décision, tandis que d'autres composants sont poussés (« dirigés ») et le système global est observé attentivement pour voir comment les sorties du modèle changent.
L’étude du fonctionnement interne du LLM permet une mesure plus précise des défaillances et favorise le développement de mécanismes de défense plus robustes contre les défaillances des dispositifs de sécurité. Selon les chercheurs, le HMNS peut aider à déterminer si l’exploitation de certaines voies internes pourrait entraîner une panne. Ces informations peuvent orienter l’élaboration de stratégies de formation, de surveillance et de défense plus efficaces.
Pourquoi des défenses plus fortes sont nécessaires
Il est crucial de comprendre les failles de sécurité des LLM (Learning Learning Models) à mesure qu'ils se généralisent. Des entreprises comme Meta, Alibaba et d'autres ont mis à disposition de puissants modèles d'IA accessibles à tous. Bien que chaque plateforme intègre des mécanismes de sécurité destinés à prévenir les abus, l'équipe de l'Université de Floride a constaté que ces mécanismes peuvent être systématiquement contournés.
Pour Jha, c'est une préoccupation majeure.
Performances de HMNS par rapport aux références
Les résultats sont encourageants. HMNS s'est révélé remarquablement performant pour casser les LLM. Mesuré à la fois par le taux de réussite des attaques et par le nombre de tentatives nécessaires, HMNS a obtenu de meilleurs résultats que les méthodes de pointe sur quatre benchmarks industriels établis.
Le système décrit par les auteurs présente un autre avantage : l’efficacité.
Pour rendre les comparaisons entre systèmes de défense plus équitables, les auteurs ont introduit un système de rapport prenant en compte la puissance de calcul utilisée pour compromettre le système. HMNS a compromis les systèmes plus rapidement et avec une puissance de calcul moindre que ses concurrents.
Les auteurs soulignent que cette recherche peut révéler à la fois des faiblesses et des opportunités pour renforcer les protections. « Notre objectif », précisent les chercheurs dans l'article, « est de renforcer la sécurité des LLM en analysant les modes de défaillance dans le cadre des défenses courantes ; nous ne cherchons pas à permettre une utilisation abusive. »