Un chercheur en ingénierie cherche à empêcher les agents d’IA de devenir incontrôlables.

À mesure que les systèmes d’intelligence artificielle deviennent de plus en plus capables de fonctionner de manière autonome, les maintenir concentrés sur leurs tâches désignées représente un défi croissant.

Sumit Jha, docteur en informatique et professeur à l’Université de Floride, travaille à empêcher les agents de « dérailler ». Avec son équipe, il a développé un système capable de détecter lorsqu’un modèle d’IA commence à s’écarter de sa tâche assignée et de le ramener sur ses pas sans avoir à le réentraîner ni à augmenter considérablement les besoins en calcul.

Ces recherches interviennent alors que les médias font état d’agents d’IA gagnant en autonomie et se comportant parfois de manière imprévue. Parmi les incidents récents, on peut citer l’accès d’agents d’IA à des sites web gouvernementaux et le signalement anonyme, en juillet, par un modèle Anthropic, à un commissariat, prétendant détenir des informations sur un meurtre non résolu.

Jha, professeur au département d’informatique et d’ingénierie de l’information (CISE) de l’Université de Floride, étudie comment rendre les systèmes d’IA plus contrôlables et compréhensibles. Il travaille à concevoir des ajustements simples et non invasifs pour garantir le bon fonctionnement des systèmes.

Correction de la dérive à l’intérieur du modèle

Jha et ses collaborateurs ont rédigé un article intitulé « Drift No More : Spectral Locking for Long-Horizon Open-Weight Multi-agent AI », détaillant un système baptisé ATLAS, qui signifie Algebraic Task–role Locking with Adaptive Spectral Memory.

L’acronyme laisse entrevoir la complexité des mathématiques qui sont au cœur du système.

Jha et ses co-auteurs, Vishal Pramanik, Maisha Maliha et Susmit Jha, ont conçu un système fonctionnant au sein du modèle de langage étendu (LLM) pendant la génération des données. Lorsque le modèle s’écarte de sa tâche, le système ATLAS le recentre sur son objectif initial, sa responsabilité première et les informations partagées les plus récentes.

L’article a été accepté pour la conférence EMNLP 2026 (Empirical Methods in Natural Language Processing), qui se tiendra du 24 au 29 octobre à Budapest.

« Un agent d’IA peut commencer à dysfonctionner avant même que sa réponse ne paraisse erronée », explique Jha. « Au sein du modèle, il peut déjà s’écarter de sa tâche, confondre son rôle ou se fier à des informations obsolètes. ATLAS est conçu pour corriger cette dérive avant qu’elle n’atteigne le message suivant, afin que les autres agents ne se basent pas sur l’erreur. »

Les stratégies existantes consistent généralement à contrôler a posteriori les réponses d’un agent d’IA. Le système ATLAS, quant à lui, ne nécessite aucun réentraînement du modèle et, par conséquent, ne consomme pas de ressources de calcul supplémentaires et ne ralentit pas le modèle.

Les tâches de longue durée peuvent brouiller les rôles

Selon Jha, ce que l’on appelle la dérive des tâches est particulièrement possible pour les tâches dans lesquelles des groupes d’agents d’IA se coordonnent entre eux sur de longues périodes.

« Imaginez que vous ayez initialement dit à l’agent qu’il était médecin et qu’il devait soigner des patients », explique Jha. « Au bout de sept jours, le fait qu’il soit médecin et qu’il doive soigner des patients n’est plus qu’une information parmi des millions d’autres qu’on lui a communiquées. Nous appelons ce problème la décohérence des rôles. L’agent a reçu une mission, mais après un certain temps, on lui a donné tellement d’autres instructions qu’il finit par s’y perdre. »

Les équipes d’IA sont généralement gérées de l’extérieur par le biais d’invites, de systèmes de récupération et de règles, a déclaré Jha.

« ATLAS apporte une sorte de boussole interne », a-t-il déclaré. « Sous forme mathématique, il renforce constamment trois questions : Quelle est la mission ? De quoi cet agent est-il responsable ? Et quelle est la situation actuelle ? Il est essentiel de maintenir la cohérence de ces trois réponses lorsqu’une tâche dure bien plus longtemps qu’une simple conversation. »

De petites corrections sans arrêter l’agent

Cela paraît compliqué, mais comme l’explique Jha, le système s’apparente à la prise d’images IRM du cerveau, ou du réseau neuronal, de l’IA. Imaginez un modèle d’IA censé effectuer les tâches d’un professionnel de la santé.

« Au départ, quand je fais l’IRM, on dirait le cerveau d’un médecin », explique-t-il. « Tout va bien. Mais quand on fait une autre IRM, on dirait plutôt le cerveau d’un pilote de course. Alors on examine l’intérieur pour comprendre la différence entre l’ancienne et la nouvelle IRM. »

Comme ATLAS a déjà appris à quoi devrait ressembler le réseau neuronal médical, il est capable de calculer le plus petit ensemble de modifications nécessaires au sein du réseau neuronal pour que le système retrouve sa fonction initiale d’évaluation médicale.

« L’agent est déjà en service, l’intervention doit donc être minimale », explique Jha. « Faire une IRM, c’est comme prendre une photo ; ça ne nécessite pas de formation, donc on n’a pas besoin d’arrêter l’agent. Si tout se passe bien, c’est toujours un médecin. ATLAS n’intervient pas. Mais s’il est à 99 % un médecin et à 1 % un pilote de course, on élimine ce 1 %. On n’attend pas que ça pose problème. »

https://news.ufl.edu/2026/10/preventing-ai-models-going-rogue