Crédit : Université technique de Munich
Un robot capable de localiser des objets perdus sur commande, dernière innovation de l’Université technique de Munich (TUM), combine les connaissances issues d’Internet avec une cartographie spatiale de son environnement pour retrouver efficacement les objets recherchés. Ce nouveau robot, conçu par le laboratoire de robotique et d’apprentissage de la professeure Angela Schoellig à la TUM, ressemble à un manche à balai sur roues, équipé d’une caméra sur le dessus. Il est l’un des premiers robots à intégrer la compréhension d’images et à l’appliquer à une tâche clairement définie.
Pour retrouver une paire de lunettes égarée dans la cuisine, par exemple, le robot doit explorer les lieux et reconstituer une image tridimensionnelle de la pièce. La caméra fournit initialement des images bidimensionnelles, mais ces pixels contiennent également des informations de profondeur. Ceci crée une carte spatiale de l’environnement précise au centimètre près et constamment mise à jour. Un ordinateur portable fournit également au robot des informations sur les objets visibles sur l’image et leur signification pour les humains.
« Nous avons appris au robot à comprendre son environnement », explique le professeur Schoellig. Le directeur du laboratoire de robotique de la chaire de sécurité, de performance et de fiabilité des systèmes d’apprentissage de l’université technique de Munich (TUM) a pour objectif de développer des robots capables de se déplacer de manière autonome dans n’importe quel environnement. Les robots humanoïdes travaillant en usine ou les robots d’assistance à domicile nécessitent cette nouvelle compréhension fondamentale qui, comme l’explique le professeur Schoellig, « est essentielle pour tous les robots évoluant dans des espaces en constante mutation ». Un article présentant cette technologie est paru dans la revue IEEE Robotics and Automation Letters .
Un système d’exploration sémantique à vocabulaire ouvert permettant aux robots de maintenir des cartes cohérentes et de localiser efficacement des objets (invisibles) dans des environnements semi-statiques du monde réel grâce à un raisonnement guidé par LLM. Crédit : Université technique de Munich
Connaissances internet traduites dans le langage du robot
Le robot comprend donc qu’une table ou un rebord de fenêtre peut servir à poser brièvement des lunettes, tandis qu’une plaque de cuisson ou un évier ne conviennent pas. « Le modèle de langage capture les relations entre les objets et nous convertissons ces informations dans le langage du robot », explique le professeur Schoellig.
Des nombres à deux chiffres apparaissent sur la carte tridimensionnelle de l’environnement, recalculant constamment la probabilité que l’objet recherché s’y trouve. D’après les résultats de la recherche, le robot explore ainsi les emplacements probables avec une efficacité presque 30 % supérieure à celle d’une recherche aléatoire dans la pièce. L’intelligence artificielle est utilisée de deux manières : pour la reconnaissance d’images et grâce à un modèle de langage.
Autre particularité du robot : il mémorise les images précédentes et peut les comparer aux nouvelles images de son environnement. Si un nouvel objet apparaît soudainement dans la cuisine, il détecte le changement avec une grande certitude (95 %) et marque ces zones comme des lieux de recherche « hautement probables ».
Étape suivante : fouiller derrière les portes des placards
Dans une prochaine étape, ce chercheur de l’Université technique de Munich (TUM) et membre du conseil d’administration de l’Institut de robotique et d’intelligence artificielle de Munich (TUM MIRMI) souhaite également rechercher des objets dans un tiroir ou derrière une porte. Pour ce faire, le robot devra non seulement s’appuyer sur des connaissances issues d’Internet, mais aussi interagir avec son environnement. Ses bras et ses mains robotisés devront ouvrir un placard, déterminer son sens d’ouverture (vers le haut ou sur le côté) et la meilleure façon de saisir la poignée. Ceci permettra au robot de fouiller même dans des espaces clos comme les placards ou les tiroirs.
https://www.tum.de/en/news-and-events/all-news/press-releases/details/search-robot-thinks-for-itself
