Légende: Des chercheurs du MIT ont mis au point un système de mémoire à long terme pour robots, combinant des représentations cartographiques avancées et des descriptions détaillées de l’environnement. Ainsi, un robot en mouvement associe des descriptions précises aux vélos qu’il aperçoit lors de son exploration. Crédits: Avec l’aimable autorisation des chercheurs

Un nouveau système de mémoire spatiale pour robots capture efficacement les détails des objets qu’ils voient lorsqu’ils explorent leur environnement.

Une ouvrière d’usine automobile peut se souvenir de l’emplacement de stockage où elle a laissé une pièce partiellement assemblée la veille et y retourner rapidement pour la récupérer. Mais les robots qui travailleraient à ses côtés auraient du mal à développer et à accéder à ce même type de mémoire spatio-temporelle.

Des chercheurs du MIT ont mis au point un cadre de mémoire à long terme qui permet aux robots de former et de rappeler rapidement un modèle mental détaillé d’environnements complexes et à grande échelle.

À l’avenir, cette avancée pourrait permettre à l’ouvrier d’usine d’envoyer un assistant robotisé chercher l’article, simplement en lui demandant d’« aller chercher le composant que nous avons commencé à assembler hier soir ».

Cette nouvelle méthode combine des représentations cartographiques avancées avec des descriptions détaillées de l’environnement que le robot recueille au fil de ses déplacements sur une longue période. Le robot peut ainsi accéder rapidement à ces données pour répondre, en langage clair, à des questions complexes sur son environnement.

Ce système de mémoire, qui répond aux questions avec plus de précision que les méthodes de pointe, est suffisamment rapide pour être utilisé en temps réel par un robot mobile.

Outre ses utilisations potentielles en robotique, cette méthode pourrait trouver des applications dans les systèmes de réalité augmentée qui aident les agents de maintenance à détecter les anomalies ou qui assistent les usagers des transports en commun dans leur orientation.

« Si nous voulons que les robots travaillent aux côtés des humains et interagissent mieux avec eux, ils doivent parler le même langage. Le robot doit être capable de raisonner sur le temps et l’espace de la même manière que les humains. C’est précisément ce que fait notre méthode : transformer une carte traditionnelle en une carte basée sur le langage, plus facile à appréhender et à consulter pour le robot », explique Luca Carlone, professeur associé au département d’aéronautique et d’astronautique (AeroAstro) du MIT, chercheur principal au Laboratoire des systèmes d’information et de décision (LIDS) et directeur du laboratoire MIT SPARK.

Il est accompagné, pour cet article , par Nicolas Gorlo, doctorant au MIT et premier auteur de l’étude, ainsi que par Lukas Schmid, ancien chercheur au MIT et aujourd’hui professeur à l’Université de technologie de Nuremberg, en Allemagne. Ces travaux ont été présentés récemment à la Conférence sur la vision par ordinateur et la reconnaissance des formes (CVPR).

Mémoire spatio-temporelle

La mémoire permet à un système d’intelligence artificielle, comme un chatbot, de répondre à des questions complexes et de raisonner sur les interactions précédentes avec son utilisateur.

« Nous voulons concevoir un nouveau type de mémoire, une mémoire spatio-temporelle, qui permette à un robot doté d’IA de se souvenir des interactions réelles et des observations des capteurs. Un peu comme ChatGPT, mais ancrée dans le monde réel et capable de répondre à n’importe quelle question sur l’environnement, comme « Où ai-je laissé mon portefeuille ? » », explique Carlone.

Pour développer un tel cadre de mémoire, les chercheurs du MIT ont fait le lien entre deux axes de recherche : la vision par ordinateur et la cartographie robotique.

Les modèles de vision par ordinateur multimodaux peuvent comprendre et décrire en détail les objets d’une scène, mais ils ne traitent souvent qu’une seule annotation à la fois. À l’inverse, les systèmes de cartographie robotique créent des cartes 3D d’un environnement, comme un appartement entier ou un campus universitaire, mais manquent généralement de descriptions détaillées des objets ou sont gourmands en ressources de calcul.

La méthode créée par les chercheurs du MIT, appelée Describe Anything, Anywhere, Anytime, at Any Moment (DAAAM), combine le meilleur des deux approches.

Grâce à DAAAM, lorsqu’un robot parcourt son environnement, il associe des descriptions détaillées aux objets qu’il rencontre. Par exemple, il peut noter qu’un bâtiment particulier du campus du MIT s’appelle le Stata Center et présente un style architectural spécifique, ou encore qu’un support à vélos peut contenir cinq vélos et que le vélo rouge a un pneu crevé. 

Il stocke ces informations détaillées dans une représentation cartographique 3D organisée spatialement, de sorte que les objets sont regroupés en régions distinctes. Ainsi, le robot peut se souvenir que le vélo rouge avec le pneu crevé se trouve sur le support à vélos à l’extérieur du centre Stata.

Cependant, les techniques actuelles permettant de recueillir des descriptions aussi détaillées prennent généralement quelques secondes pour annoter quelques objets. C’est trop lent pour une utilisation en temps réel, car un robot peut observer des centaines d’objets au cours de quelques minutes d’exploration.

« Plus le robot pourra former rapidement cette mémoire spatiale, plus il sera efficace dans ses actions au sein de son environnement », ajoute Carlone.

Rationaliser le processus

Pour accélérer le processus, DAAAM regroupe les objets proches lors de son déplacement et utilise une méthode d’optimisation pour sélectionner les images clés à annoter. Il s’agit d’images offrant la vue la plus nette de plusieurs objets, permettant au système de décrire en détail plusieurs éléments en parallèle et d’accélérer les calculs d’un facteur dix.

Au fur et à mesure que le robot explore l’espace, il associe chaque lot d’annotations à plusieurs objets situés à un emplacement précis sur la carte 3D.

« Nous n’annotons chaque objet qu’une seule fois, ce qui permet à notre framework de fonctionner en temps réel dans des environnements à très grande échelle. De plus, en regroupant les objets en régions, il peut répondre à un large éventail de requêtes concernant les objets et leur emplacement dans l’environnement », explique Gorlo.

Une fois que le système a constitué cette mémoire spatiale, il doit récupérer efficacement les informations contenues dans une énorme base de données d’objets et de descriptions. 

Pour ce faire, les chercheurs ont utilisé un modèle linéaire mixte (LLM) qui fait appel à divers outils permettant de récupérer rapidement des informations spécifiques tout en réduisant les hallucinations. Cela permet à DAAAM de répondre précisément à une requête utilisateur en quelques secondes seulement. 

Par exemple, si l’on interroge un robot sur une sculpture qu’il a vue près d’un bâtiment du campus du MIT, DAAAM peut utiliser un outil de recherche sémantique pour récupérer des informations basées sur le mot « sculpture » ou un outil différent pour récupérer des informations basées sur l’emplacement du bâtiment.

Lors des tests et de la comparaison avec d’autres méthodes, DAAAM s’est avéré entre 21 et 53 % plus précis, selon le type de question. 

À l’avenir, les chercheurs souhaitent étendre DAAAM afin que le système puisse enregistrer les événements significatifs survenus dans l’environnement. Ils travaillent également à intégrer des niveaux de confiance dans les réponses du système.

« À terme, nous voulons des robots capables d’aider à accomplir toutes sortes de tâches. Avec ce cadre, nous essayons de jeter les bases d’un agent généraliste capable de faire tout ce qu’on lui demande », explique Gorlo.

https://news.mit.edu/2026/could-ai-tell-you-where-you-left-your-keys-0617