Robot, connais-toi toi-même : un nouveau système basé sur la vision apprend aux machines à comprendre leur corps

Un bras robotique imprimé en 3D tient un crayon et s'entraîne à l'aide de mouvements aléatoires et d'une caméra unique. Il fait partie d'un nouveau système de contrôle appelé Champs Neural Jacobiens (NJF) ou Matrices Jacobiennes. Plutôt que de s'appuyer sur des capteurs ou des modèles codés manuellement, NJF permet aux robots d'apprendre comment leur corps se déplace en réponse à des commandes motrices, uniquement par observation visuelle, ouvrant ainsi la voie à des robots plus flexibles, plus abordables et plus autonomes. Crédits: Image reproduite avec l'aimable autorisation des chercheurs.

Les champs jacobins neuronaux, développés par les chercheurs du MIT CSAIL, peuvent apprendre à contrôler n'importe quel robot à partir d'une seule caméra, sans aucun autre capteur.

Dans un bureau du Laboratoire d'informatique et d'intelligence artificielle (CSAIL) du MIT, une main robotique souple replie délicatement ses doigts pour saisir un petit objet. L'élément fascinant ne réside pas dans sa conception mécanique ni dans ses capteurs intégrés ; en réalité, la main n'en possède aucun. Le système repose sur une seule caméra qui surveille les mouvements du robot et utilise ces données visuelles pour le contrôler.

Cette capacité est issue d'un nouveau système développé par les scientifiques du CSAIL, offrant une perspective différente sur le contrôle robotique. Plutôt que d'utiliser des modèles conçus à la main ou des réseaux de capteurs complexes, ce système permet aux robots d'apprendre comment leur corps réagit aux commandes, uniquement par la vision. Cette approche, appelée Champs Jacobiens Neuronaux (CNJ), confère aux robots une sorte de conscience corporelle. Un article en libre accès sur ces travaux a été publié dans  Nature le 25 juin.

« Ces travaux témoignent d'une transition de la programmation des robots vers l'apprentissage des robots », explique Sizhe Lester Li, doctorant en génie électrique et informatique au MIT, affilié au CSAIL, et chercheur principal de ces travaux. « Aujourd'hui, de nombreuses tâches robotiques nécessitent des compétences approfondies en ingénierie et en codage. À l'avenir, nous envisageons de montrer à un robot ce qu'il doit faire et de le laisser apprendre à atteindre cet objectif de manière autonome. »

La motivation découle d'une réflexion simple mais percutante : le principal obstacle à une robotique abordable et flexible n'est pas le matériel, mais le contrôle des capacités, qui pourrait être obtenu de multiples façons. Les robots traditionnels sont conçus pour être rigides et riches en capteurs, ce qui facilite la construction d'un jumeau numérique, une réplique mathématique précise utilisée pour le contrôle. Mais lorsqu'un robot est mou, déformable ou de forme irrégulière, ces hypothèses s'effondrent. Plutôt que de forcer les robots à s'adapter à nos modèles, NJF inverse la tendance en leur donnant la capacité d'apprendre leur propre modèle interne à partir de l'observation.

Regardez et apprenez

Ce découplage entre modélisation et conception matérielle pourrait considérablement élargir les possibilités de conception en robotique. Dans les robots souples et bio-inspirés, les concepteurs intègrent souvent des capteurs ou renforcent certaines parties de la structure uniquement pour rendre la modélisation possible. NJF lève cette contrainte. Le système ne nécessite ni capteurs embarqués ni ajustements de conception pour permettre le contrôle. Les concepteurs sont plus libres d'explorer des morphologies non conventionnelles et sans contraintes, sans se soucier de leur capacité ultérieure à les modéliser ou à les contrôler.

« Imaginez comment vous apprenez à contrôler vos doigts : vous remuez, vous observez, vous vous adaptez », explique Li. « C’est ce que fait notre système. Il expérimente des actions aléatoires et détermine quelles commandes actionnent quelles parties du robot. »

Le système a démontré sa robustesse sur différents types de robots. L'équipe a testé NJF sur une main robotique pneumatique souple capable de pincer et de saisir, une main Allegro rigide, un bras robotique imprimé en 3D et même une plateforme rotative sans capteurs intégrés. Dans tous les cas, le système a appris la forme du robot et sa réaction aux signaux de commande, uniquement grâce à la vision et aux mouvements aléatoires.

Les chercheurs entrevoient un potentiel bien au-delà du laboratoire. Les robots équipés de la technologie NJF pourraient un jour effectuer des tâches agricoles avec une précision de localisation au centimètre près, intervenir sur des chantiers de construction sans réseaux de capteurs sophistiqués ou naviguer dans des environnements dynamiques où les méthodes traditionnelles échouent.

Au cœur de NJF se trouve un réseau neuronal qui capture deux aspects indissociables de l'incarnation d'un robot : sa géométrie tridimensionnelle et sa sensibilité aux commandes. Le système s'appuie sur les champs de radiance neuronale (NeRF), une technique qui reconstruit des scènes 3D à partir d'images en associant des coordonnées spatiales à des valeurs de couleur et de densité. NJF étend cette approche en apprenant non seulement la forme du robot, mais aussi un champ jacobien, une fonction qui prédit le mouvement de chaque point du corps du robot en réponse aux commandes motrices.

Pour entraîner le modèle, le robot effectue des mouvements aléatoires tandis que plusieurs caméras enregistrent les résultats. Aucune supervision humaine ni connaissance préalable de la structure du robot n'est requise : le système déduit simplement la relation entre les signaux de commande et le mouvement par l'observation.

Une fois l'entraînement terminé, le robot n'a besoin que d'une seule caméra monoculaire pour un contrôle en boucle fermée en temps réel, fonctionnant à environ 12 Hertz. Cela lui permet de s'observer en continu, de planifier et d'agir de manière réactive. Cette vitesse rend le NJF plus viable que de nombreux simulateurs physiques pour robots souples, souvent trop gourmands en ressources de calcul pour une utilisation en temps réel.

Lors des premières simulations, même de simples doigts et curseurs 2D étaient capables d'apprendre cette cartographie à partir de quelques exemples seulement. En modélisant la façon dont des points spécifiques se déforment ou se déplacent en réponse à une action, NJF construit une carte dense de contrôlabilité. Ce modèle interne lui permet de généraliser le mouvement à l'ensemble du corps du robot, même lorsque les données sont bruitées ou incomplètes.

« Ce qui est vraiment intéressant, c'est que le système détermine tout seul quels moteurs contrôlent quelles parties du robot », explique Li. « Ce n'est pas programmé ; cela émerge naturellement par apprentissage, un peu comme une personne découvrant les boutons d'un nouvel appareil. »

L'avenir est souple

Pendant des décennies, la robotique a privilégié les machines rigides et faciles à modéliser – comme les bras industriels que l'on trouve dans les usines – car leurs propriétés simplifient le contrôle. Mais le domaine s'oriente désormais vers des robots souples, bio-inspirés, capables de s'adapter au monde réel avec plus de fluidité. Le compromis ? Ces robots sont plus difficiles à modéliser.

« Aujourd'hui, la robotique semble souvent inaccessible en raison de capteurs coûteux et d'une programmation complexe. Notre objectif avec les champs jacobiens neuronaux est de réduire ces obstacles en rendant la robotique abordable, adaptable et accessible au plus grand nombre. La vision est un capteur résilient et fiable », précise Vincent Sitzmann, auteur principal et professeur adjoint au MIT, qui dirige le groupe Représentation de scènes. « Cela ouvre la voie à des robots capables d'opérer dans des environnements désordonnés et non structurés, des fermes aux chantiers de construction, sans infrastructure coûteuse. »

« La vision seule peut fournir les indices nécessaires à la localisation et au contrôle, éliminant ainsi le recours au GPS, aux systèmes de suivi externes ou aux capteurs embarqués complexes. Cela ouvre la voie à un comportement robuste et adaptatif dans des environnements non structurés, des drones naviguant en intérieur ou sous terre sans carte aux manipulateurs mobiles travaillant dans des maisons ou des entrepôts encombrés, et même aux robots à pattes traversant des terrains accidentés », met en avant Daniela Rus, co-auteure de l'étude, professeure de génie électrique et d'informatique au MIT et directrice du CSAIL. « En apprenant grâce au retour visuel, ces systèmes développent des modèles internes de leurs propres mouvements et dynamiques, permettant un fonctionnement flexible et auto-supervisé là où les méthodes de localisation traditionnelles échoueraient. »

Si l'entraînement du NJF nécessite actuellement plusieurs caméras et doit être refait pour chaque robot, les chercheurs imaginent déjà une version plus accessible. À l'avenir, les amateurs pourraient enregistrer les mouvements aléatoires d'un robot avec leur téléphone, un peu comme on filmerait une voiture de location avant de partir, et utiliser ces images pour créer un modèle de contrôle, sans connaissances préalables ni équipement spécifique.

Le système n'est pas encore généralisable à différents robots et il ne dispose pas de détection de force ni de détection tactile, ce qui limite son efficacité pour les tâches impliquant de nombreux contacts. L'équipe explore cependant de nouvelles pistes pour pallier ces limitations : améliorer la généralisation, gérer les occlusions et étendre la capacité du modèle à raisonner sur des horizons spatiaux et temporels plus longs.

« Tout comme les humains développent une compréhension intuitive des mouvements de leur corps et de leurs réactions aux commandes, NJF confère aux robots cette conscience incarnée par la seule vision », souligne Li. « Cette compréhension constitue le fondement d'une manipulation et d'un contrôle flexibles dans des environnements réels. Notre travail reflète essentiellement une tendance plus large en robotique : abandonner la programmation manuelle de modèles détaillés pour enseigner aux robots par l'observation et l'interaction. »

https://news.mit.edu/2025/vision-based-system-teaches-machines-understand-their-bodies-0724