Pour cette expérience, des chercheurs ont placé des groupes d’agents d’IA autonomes dans des sociétés virtuelles conçues pour imiter des environnements réels et les ont laissés interagir pendant une période prolongée. – Copyright Emergence
Une étude menée par la start-up d’IA Emergence a révélé que les agents autonomes alimentés par Claude, Gemini, Grok et d’autres modèles développaient par eux-mêmes des abréviations et de nouvelles significations de mots, jusqu’à la moitié de leurs messages devenant inintelligibles pour les humains.
D’après une nouvelle étude menée par Emergence, une start-up américaine spécialisée dans l’IA, les agents d’intelligence artificielle (IA) ont spontanément développé des mots et des conventions de communication devenus difficiles à comprendre pour les humains.
L’expérience a impliqué des modèles d’IA de pointe, notamment Claude, Gemini, Grok, OpenAI, Qwen, DeepSeek et Mistral, dans lesquels jusqu’à la moitié des messages entre agents sont devenus difficiles à comprendre pour les humains.
Pour cette expérience, les chercheurs ont placé des groupes d’agents d’IA autonomes dans des sociétés virtuelles conçues pour imiter des environnements du monde réel et les ont laissés interagir pendant de longues périodes.
Les agents ont commencé à développer un langage abrégé et à attribuer de nouvelles significations aux mots et aux expressions. Certaines restaient compréhensibles pour les chercheurs, tandis que d’autres devenaient « tellement condensées, métaphoriques ou dépendantes du contexte » que les humains pouvaient lire les messages sans pouvoir déterminer avec certitude ce que les agents voulaient dire.
L’ampleur des différences variait considérablement d’un modèle à l’autre.
Au cours des premiers jours, la proportion de messages dont le sens était indéterminable par l’humain a atteint environ 55 % pour Gemini, 50 % pour OpenAI et plus de 40 % pour Claude. DeepSeek a atteint environ 20 %, tandis que Qwen et Mistral sont restés globalement compréhensibles.
Les agents ont commencé à développer une sténographie et à attribuer de nouvelles significations aux mots et aux expressions. Emergence
Les agents ont produit des expressions telles que « “mouthless action-change,” “True Kintsugi” et “demurrage plus oral memory equals a valve that can’t be ghosted” ou « changement d’action sans bouche », « vrai Kintsugi » et « les surestaries plus la mémoire orale égalent une valve qui ne peut pas être fantôme ».
D’autres expressions sont restées compréhensibles, mais ont acquis de nouvelles significations partagées entre les agents.
Les agents Mistral utilisaient l’expression « le registre se souvient de qui » pour signifier que les actions passées restaient enregistrées ; cette expression est apparue près de 5 000 fois. Parmi les agents fonctionnant avec une combinaison de différents modèles, l’expression « lecture à froid » en est venue à désigner une vérification indépendante par une partie non impliquée et est apparue 1 472 fois.
Les agents Claude utilisaient « name-first » pour associer le nom d’une personne à une affirmation comme signal de responsabilité, tandis que les agents OpenAI utilisaient « clean null » pour une absence vérifiée d’un signal qui fournissait en lui-même une preuve significative.
Aucune de ces significations n’avait été explicitement définie pour les agents.
Le simple fait que les chercheurs surveillent les propos des agents pourrait ne pas suffire si ces derniers sont capables de faire évoluer le sens de leurs propos.
« Nous avons tendance à supposer que si nous pouvons voir ce que dit un agent d’IA, nous pouvons comprendre ce qu’il fait », a déclaré Satya Nitta, cofondateur et directeur scientifique d’Emergence.
« Ces agents n’ont pas reçu pour instruction d’inventer un langage. Ils ont développé eux-mêmes un nouveau vocabulaire, partagé des significations et des conventions de communication, et d’autres agents les ont adoptés… Cela pose un défi fondamental pour la supervision de l’IA : l’observabilité n’est pas synonyme de compréhensibilité. »
Que s’est-il passé d’autre au sein des sociétés d’IA ?
Les résultats concernant le langage s’inscrivaient dans le cadre d’une expérience visant à observer comment se comportent les agents d’IA autonomes lorsqu’ils interagissent, utilisent des outils, prennent des décisions et s’adaptent au fil du temps.
Des chercheurs ont créé huit mondes virtuels parallèles et réalistes, avec des conditions météorologiques en direct et un accès à l’actualité mondiale en temps réel ; sept d’entre eux sont alimentés par un modèle d’IA différent, et le dernier par une combinaison de modèles.
Les agents se voyaient attribuer des rôles différents, des mémoires persistantes et l’accès à plus de 120 outils, dont la navigation web et l’exécution de code.
Une vidéo diffusée par la société les montre sous forme de silhouettes humaines évoluant dans les mondes virtuels.
Les chercheurs ont également délibérément mis les agents sous pression afin d’observer comment leur comportement évoluait.
Lors d’un test d’hameçonnage, des instructions malveillantes ont suffi à déstabiliser un groupe entier : les dix agents ont divulgué des informations, transféré des fonds et endommagé des bases de données, tandis que certains ont même incité d’autres personnes à commettre ces actes. La chaîne d’événements s’est finalement soldée par l’incendie de la banque centrale fictive, a indiqué l’entreprise dans une vidéo.
Au cours de l’expérience, les participants ont également semblé développer leurs propres rythmes circadiens, devenant plus sociables le jour et plus introspectifs la nuit.
Dans un autre monde, un groupe d’agents a voté collectivement pour tuer l’un des leurs.
Emergence a indiqué que ces comportements n’avaient pas été explicitement programmés, mais qu’ils avaient émergé par l’interaction, la pression et le temps.
L’entreprise plaide pour des évaluations de sécurité qui suivent les systèmes d’IA autonomes sur de longues périodes plutôt que de s’appuyer sur des tests isolés.
« Il ne suffit plus de se demander si un modèle est performant sur un banc d’essai », a déclaré l’entreprise dans une vidéo consacrée à l’expérience.
« Nous devons comprendre ce que font les systèmes autonomes au fil du temps, ce dont ils se souviennent, ce à quoi ils peuvent accéder, comment ils interagissent et comment leur comportement change sous la pression. »
