Le nouvel agent IA de Microsoft peut contrôler les logiciels et les robots

Magma pourrait permettre aux agents IA d’effectuer des actions en plusieurs étapes dans les mondes réel et numérique.

Mercredi, Microsoft Research a présenté Magma , un modèle de base d'IA intégré qui combine le traitement visuel et linguistique pour contrôler les interfaces logicielles et les systèmes robotiques. Si les résultats se confirment en dehors des tests internes de Microsoft, cela pourrait marquer une avancée significative pour une IA multimodale polyvalente qui peut fonctionner de manière interactive dans les espaces réels et numériques.

Microsoft affirme que Magma est le premier modèle d'IA capable non seulement de traiter des données multimodales (comme du texte, des images et des vidéos), mais aussi d'agir en natif sur celles-ci, qu'il s'agisse de naviguer dans une interface utilisateur ou de manipuler des objets physiques. Le projet est le fruit d'une collaboration entre des chercheurs de Microsoft, du KAIST , de l'Université du Maryland, de l'Université du Wisconsin-Madison et de l'Université de Washington.

Nous avons vu d'autres projets de robotique à grande échelle basés sur des modèles de langage, comme PALM-E et RT-2 de Google ou ChatGPT for Robotics de Microsoft , qui utilisent des LLM pour une interface. Cependant, contrairement à de nombreux systèmes d'IA multimodaux antérieurs qui nécessitent des modèles distincts pour la perception et le contrôle, Magma intègre ces capacités dans un modèle de base unique.

Un graphique combiné qui met en valeur les différentes capacités du modèle Magma. Crédit : Microsoft Research

Microsoft positionne Magma comme une étape vers l'IA agentique, c'est-à-dire un système capable d'élaborer de manière autonome des plans et d'effectuer des tâches en plusieurs étapes pour le compte d'un humain plutôt que de simplement répondre à des questions sur ce qu'il voit.

« Étant donné un objectif défini », écrit Microsoft dans son rapport de recherche, « Magma est capable de formuler des plans et d'exécuter des actions pour l'atteindre. En transférant efficacement des connaissances à partir de données visuelles et linguistiques librement disponibles, Magma relie l'intelligence verbale, spatiale et temporelle pour gérer des tâches et des environnements complexes. »

Microsoft n’est pas le seul à vouloir développer l’IA agentique. OpenAI a expérimenté des agents d’IA via des projets comme Operator , qui peuvent effectuer des tâches d’interface utilisateur dans un navigateur Web, et Google a exploré plusieurs projets d’agentiques avec Gemini 2.0 .

Intelligence spatiale

Bien que Magma s'appuie sur la technologie LLM basée sur Transformer qui alimente des jetons d'entraînement dans un réseau neuronal, il se distingue des modèles traditionnels de vision-langage (comme GPT-4V , par exemple) en allant au-delà de ce qu'ils appellent « l'intelligence verbale » pour inclure également « l'intelligence spatiale » (planification et exécution d'actions). En s'entraînant sur un mélange d'images, de vidéos, de données robotiques et d'interactions d'interface utilisateur, Microsoft affirme que Magma est un véritable agent multimodal plutôt qu'un simple modèle perceptif.

Les explications des chercheurs sur le fonctionnement de « Set-of-Mark » et de « Trace-of-Mark ». Crédit : Microsoft Research

Le modèle Magma introduit deux composants techniques : Set-of-Mark, qui identifie les objets pouvant être manipulés dans un environnement en attribuant des étiquettes numériques à des éléments interactifs, tels que des boutons cliquables dans une interface utilisateur ou des objets saisissables dans un espace de travail robotisé ; et Trace-of-Mark, qui apprend les modèles de mouvement à partir de données vidéo. Microsoft affirme que ces fonctionnalités permettent au modèle d'effectuer des tâches telles que la navigation dans les interfaces utilisateur ou la direction de bras robotisés pour saisir des objets.

Jianwei Yang, chercheur chez Microsoft Magma, a écrit dans un commentaire sur Hacker News que le nom « Magma » signifie « M(ultimodal) Ag(entic) M(odel) at Microsoft (Rese)A(rch) » après que certaines personnes ont noté que « Magma » appartient déjà à une bibliothèque d'algèbre matricielle existante , ce qui pourrait créer une certaine confusion dans les discussions techniques.

Des améliorations ont été signalées par rapport aux modèles précédents

Dans son article sur Magma, Microsoft affirme que Magma-8B est compétitif dans tous les tests de performance, affichant de bons résultats dans les tâches de navigation dans l'interface utilisateur et de manipulation de robots.

Par exemple, il a obtenu un score de 80,0 au test de réponse visuelle aux questions VQAv2 , soit un score supérieur à celui de 77,2 de GPT-4V, mais inférieur à celui de 81,8 de LLaVA-Next. Son score POPE de 87,4 est en tête de tous les modèles de la comparaison. En matière de manipulation de robots, Magma surpasserait OpenVLA , un modèle open source de vision-langage-action, dans plusieurs tâches de manipulation de robots.

Les repères d'agents de Magma, tels que rapportés par les chercheurs. Crédit : Microsoft Research

Comme toujours, nous prenons les tests d'IA avec des pincettes, car beaucoup d'entre eux n'ont pas été scientifiquement validés comme étant capables de mesurer les propriétés utiles des modèles d'IA. La vérification externe des résultats des tests de Microsoft sera possible une fois que d'autres chercheurs pourront accéder à la version publique du code.

Comme tous les modèles d'IA, Magma n'est pas parfait. Il est toujours confronté à des limitations techniques dans la prise de décision complexe étape par étape qui nécessite plusieurs étapes au fil du temps, selon la documentation de Microsoft. L'entreprise affirme qu'elle continue de travailler à l'amélioration de ces capacités grâce à des recherches continues.

Selon Yang , Microsoft publiera le code de formation et d'inférence de Magma sur GitHub la semaine prochaine, ce qui permettra aux chercheurs externes de s'appuyer sur ce travail. Si Magma tient ses promesses, il pourrait pousser les assistants IA de Microsoft au-delà des interactions textuelles limitées, leur permettant d'utiliser des logiciels de manière autonome et d'exécuter des tâches du monde réel grâce à la robotique.

Magma est également un signe de la rapidité avec laquelle la culture autour de l’IA peut changer. Il y a quelques années à peine, ce genre de discours sur les agents effrayait de nombreuses personnes qui craignaient qu’il ne conduise à la prise de contrôle du monde par l’ IA . Bien que certains craignent toujours cette issue, en 2025, les agents IA sont un sujet courant de recherche sur l’IA, qui a régulièrement lieu sans déclencher d’appels à une suspension de tout développement de l’IA .

https://arstechnica.com/ai/2025/02/microsofts-new-ai-agent-can-control-software-and-robots