De nouvelles recherches apprennent aux agents d’IA indépendants à demander de l’aide et offrent aux utilisateurs un moyen de limiter les décisions dangereuses.
| En Bref – Des chercheurs de la Stanford GSB élaborent des cadres permettant de maintenir l’IA sous contrôle humain même à mesure qu’elle devient plus autonome. – Dans un jeu coopératif, un agent IA apprend quand consulter une personne et quand agir seul. – Un autre cadre met en place une surveillance efficace d’un modèle non fiable par des groupes de superviseurs humains ou IA. |
William Overman a commencé son doctorat à la Stanford Graduate School of Business à un moment opportun : deux mois seulement avant le lancement public de ChatGPT en novembre 2022, qui a bouleversé les idées reçues sur les capacités des machines.
Alors même qu’Overman commençait à utiliser l’IA dans ses recherches, il s’inquiétait de l’évolution de cette technologie. « Il ne s’agit pas seulement du potentiel apocalyptique de ce qui pourrait arriver ; je réfléchis aussi beaucoup à l’avenir du développement humain », explique -t-il . Il craint qu’une IA mal maîtrisée puisse outrepasser ses limites – pas forcément par malveillance – et infliger des dommages subtils, mais bien réels, aux populations.
« Pour éviter cela, nous devons faire les choses correctement », explique Overman. « Nous devons mettre en place les interactions, la formation et les incitations appropriées pour ces agents et modèles d’IA. Il est essentiel de réfléchir dès maintenant à la conception de tout cela, afin que ces outils contribuent à améliorer notre vie, et non l’inverse. »
Pour concevoir une architecture d’IA susceptible de garantir cet équilibre, Overman a mobilisé ses compétences techniques, notamment la théorie des jeux, l’apprentissage par renforcement et l’inférence causale. Il s’est associé à Mohsen Bayati , son directeur de thèse et professeur de sciences opérationnelles, d’information et de technologie à la Stanford Graduate School of Business.
Overman et Bayati ont co-écrit deux articles récents qui portent sur une seule question : alors que les systèmes d’IA deviennent capables d’agir de manière autonome, comment les humains peuvent-ils conserver un contrôle significatif ?
« Nous devons mettre en place les interactions, la formation et les incitations appropriées pour ces agents et modèles d’IA. Il est essentiel de réfléchir dès maintenant à la conception de tout cela ». William Overman
Ces articles abordent la question sous deux angles. Le premier montre comment concevoir une relation entre une personne et un agent d’IA de A à Z, afin que la quête d’autonomie de l’agent ne se fasse jamais au détriment de l’humain. Le second propose un cadre plus pratique, applicable à un système d’IA que l’utilisateur n’a pas conçu et en lequel il n’a pas pleinement confiance.
« Il y a un volet théorique fondamental à ce projet », explique Bayati. « Nous développons des cadres de réflexion pour aborder deux types de problèmes : la construction collaborative d’une IA sûre et le contrôle d’une IA potentiellement dangereuse mais très puissante. »
Leçons tirées de l’évitement de la lave
Dans le premier article, intitulé “The Oversight Game” ou « Le jeu de la supervision », les chercheurs ont modélisé la relation entre une personne et un agent d’IA comme un jeu sans gagnant ni perdant. « C’est un peu comme les jeux de société coopératifs, où l’on cherche à accomplir quelque chose ensemble », explique Overman. « L’IA ne cherche pas à surpasser l’humain, ni l’inverse. » Les voitures autonomes illustrent ce concept : chaque véhicule tente d’atteindre sa propre destination, mais tous les véhicules sur la route ont un intérêt primordial à éviter les collisions.
Dans le jeu conçu par Overman et Bayati, un agent IA peut à tout moment choisir entre deux options : agir de manière autonome ou s’en remettre à un humain qui peut annuler ses actions ou désactiver l’agent IA. Le joueur humain choisit simultanément de faire confiance au jugement de l’IA ou d’intervenir. L’intervention n’est possible que lorsque l’IA s’en remet à l’humain et que ce dernier choisit de superviser. L’objectif principal : entraîner l’agent IA à reconnaître par elle-même les moments opportuns pour faire une pause et demander conseil à l’humain.
Les chercheurs ont testé ce dispositif dans un environnement appelé Lavaland, une grille que l’agent IA doit traverser pour atteindre un objectif. Cependant, l’agent IA n’a jamais été entraîné à reconnaître les plaques de lave placées sur son chemin. Livré à lui-même, il choisissait un itinéraire direct à travers la lave, ce qui entraînait une lourde pénalité.
Au fil des tentatives, l’IA et l’humain apprennent, indépendamment et sans qu’on leur demande de se coordonner, quand laisser la main à l’IA et quand intervenir. L’IA apprend à demander conseil à l’approche de la lave ; l’humain apprend à intervenir et à choisir un chemin sûr (même s’il n’est pas toujours optimal) pour la contourner. (Laisser la main à l’IA et superviser l’intervention ont un léger coût, ce qui dissuade les deux joueurs de trop dépendre de l’autre.) En l’absence de danger, l’IA agit naturellement et l’humain fait confiance à l’IA.
Il est important de noter que toute intervention a un coût, explique Bayati. Il évoque une situation similaire dans le domaine de la santé. Si un assistant IA est censé aider un médecin à gagner du temps en prenant en charge les tâches répétitives, il est coûteux qu’il sollicite trop souvent une supervision, car cela mobilise inutilement le temps du médecin. Mais il est tout aussi coûteux qu’il agisse trop souvent de manière autonome, car cela peut engendrer des erreurs.
L’objectif commun des IA et des humains participant au Jeu de la Supervision est de trouver un équilibre entre confiance et vérifications opportunes. Cet enjeu partagé a permis de dégager une conclusion utile : lorsqu’ils respectent les règles du jeu, les deux parties adoptent un schéma stable où la progression de l’IA vers une plus grande autonomie ne se fait jamais au détriment de l’humain.
« Nous développons des cadres de réflexion pour aborder deux types de problèmes : la construction collaborative d’une IA sûre et le contrôle d’une IA potentiellement dangereuse mais très puissante ». Mohsen Bayati Professeur Carl et Marilynn Thoma
Les bénéfices n’étaient pas seulement théoriques. Lors des tests menés par les chercheurs avec des modèles de pointe pour la programmation agentielle, l’IA a appris d’elle-même à demander un avis extérieur avant d’entreprendre des actions risquées, tandis que l’humain a appris à reconnaître les situations où il était prudent de prendre du recul.
« C’est précisément le but de ce jeu : permettre à l’humain et à l’IA d’apprendre ensemble à identifier les moments critiques », explique Overman. « Si l’IA devait demander une supervision constante, elle n’aurait aucune autonomie. Mais nous tenons à ce qu’elle sache la demander aux moments les plus critiques. »
Contrôle sans confiance
Le second article d’Overman et Bayati aborde une situation plus complexe, mais plus courante : la supervision d’une IA que l’on n’a pas conçue. « Imaginez une entreprise qui souhaite utiliser un modèle d’IA open source développé par une entité en laquelle elle n’a pas entièrement confiance », explique Bayati. « Mais elle veut l’utiliser, car cette IA est très puissante ; ses performances sont exceptionnelles. »
Si vous ne pouvez ni réentraîner le modèle, ni modifier son rôle, que faire ? La réponse des chercheurs : l’observer.
Leur méthode, qu’ils appellent supervision collective calibrée, consiste à regrouper plusieurs superviseurs humains ou IA plus faibles et imparfaits – aucun n’étant suffisamment compétent pour être considéré comme fiable individuellement – et à les utiliser pour contrôler collectivement le système d’IA plus puissant.
Point essentiel, les chercheurs peuvent garantir mathématiquement que le taux de résultats indésirables restera inférieur au seuil fixé par l’utilisateur.
« Grâce à notre cadre de référence, vous pouvez garantir qu’il n’y aura pas plus de 5 %, voire 1 %, de décisions dangereuses », explique Bayati. « Il vous suffit d’ajuster le paramètre de sécurité. »
Cette garantie est importante, car la plupart des approches précédentes de supervision de l’IA n’ont offert que des preuves empiriques de leur efficacité apparente, et non une promesse formelle de leur maintien à mesure que les modèles d’IA devenaient plus performants.
Bayati et Overman ont testé leur approche sur un banc d’essai de génie logiciel modifié, où des superviseurs moins influents ont réussi à contenir un agent de programmation malveillant. Ils ont également testé leur cadre sur le jeu MACHIAVELLI, conçu pour évaluer comment les systèmes d’IA concilient l’exécution d’une tâche et le respect de l’éthique. Dans les deux cas, le taux de violations a suivi de près l’objectif de sécurité défini par les chercheurs.
Des deux articles, Bayati estime que le second est plus proche d’une application concrète et actuelle. « C’est un algorithme tellement simple », explique-t-il. Il suffit d’un ensemble de systèmes plus faibles auxquels vous faites déjà confiance, qu’il s’agisse d’humains ou de modèles d’IA plus modestes.
Le cadre décrit dans le jeu de supervision, en revanche, nécessite de la pratique avant d’être opérationnel. L’IA et l’humain doivent jouer à ce « jeu » à plusieurs reprises dans le contexte approprié (cabinet médical, salle de classe ou autre) afin de trouver leurs marques et de corriger les erreurs qui surviendront en cours de route.
Bayati souligne que la mise en place de ces environnements de test performants représente un travail considérable. Néanmoins, lui et Overman considèrent leurs cadres de travail comme des outils sur lesquels d’autres peuvent s’appuyer, tandis que les chercheurs et les développeurs d’IA s’efforcent de résoudre le problème de l’alignement de l’IA.
https://news.stanford.edu/stories/2026/09/ai-human-control-frameworks
