Ce bracelet permet à son utilisateur de contrôler une main robotisée par ses propres mouvements.

En bougeant leurs mains et leurs doigts, les utilisateurs peuvent demander à un robot de jouer du piano ou de tirer au basket, ou encore manipuler des objets dans un environnement virtuel.

La prochaine fois que vous utiliserez votre téléphone, prenez un instant pour apprécier cette prouesse : ce geste apparemment banal est rendu possible grâce à la coordination de 34 muscles, 27 articulations et plus de 100 tendons et ligaments dans votre main. En effet, nos mains sont les parties les plus agiles de notre corps. Reproduire leurs nombreux gestes subtils représente un défi de longue date en robotique et en réalité virtuelle.

Des ingénieurs du MIT ont conçu un bracelet à ultrasons qui suit avec précision les mouvements de la main de son utilisateur en temps réel. Ce bracelet produit des images ultrasonores des muscles, tendons et ligaments du poignet pendant les mouvements de la main et est associé à un algorithme d'intelligence artificielle qui traduit en continu ces images en positions correspondantes des cinq doigts et de la paume.

Les chercheurs peuvent entraîner le bracelet à apprendre les mouvements de la main de son utilisateur, que l'appareil peut communiquer en temps réel à un robot ou à un environnement virtuel.

Lors de démonstrations, l'équipe a prouvé qu'une personne portant le bracelet peut contrôler sans fil une main robotisée. Le robot reproduit les gestes et les points de la personne. Dans une sorte d'interaction de marionnette sans fil, l'utilisateur peut manipuler le robot pour qu'il joue un air simple au piano et marque un panier de basket sur un bureau. Avec ce même bracelet, il est également possible de manipuler des objets sur un écran d'ordinateur, par exemple en pinçant les doigts pour agrandir ou réduire un objet virtuel.

L'équipe utilise le bracelet pour recueillir des données sur les mouvements de la main auprès d'un grand nombre d'utilisateurs aux gestes, formes de doigts et tailles de mains variés. Elle envisage de constituer une vaste base de données de mouvements de la main qui pourrait servir, par exemple, à entraîner des robots humanoïdes à des tâches de dextérité, comme la réalisation de certaines interventions chirurgicales. Le bracelet à ultrasons pourrait également être utilisé pour saisir, manipuler et interagir avec des objets dans les jeux vidéo, les applications de conception ou d'autres environnements virtuels.

« Nous pensons que ces travaux ont un impact immédiat et pourraient potentiellement remplacer les techniques de suivi des mains par des bracelets à ultrasons portables dans la réalité virtuelle et augmentée », explique Xuanhe Zhao, professeur de génie mécanique au MIT. « Ils pourraient également fournir une quantité considérable de données d'entraînement pour les robots humanoïdes dextres. »

Zhao, Gengxi Lu et leurs collègues présentent le nouveau design du bracelet dans un article publié aujourd'hui dans Nature Electronics. Parmi leurs co-auteurs du MIT figurent les anciens postdoctorants Xiaoyu Chen, Shucong Li et Bolei Deng ; les doctorants SeongHyeon Kim et Dian Li ; les postdoctorants Shu Wang et Runze Li ; ainsi qu'Anantha Chandrakasan, provost du MIT et professeur titulaire de la chaire Vannevar Bush en génie électrique et informatique. Les autres co-auteurs sont les doctorants Yushun Zheng et Junhang Zhang, Baoqiang Liu, Chen Gong et le professeur Qifa Zhou de l'Université de Californie du Sud.

Voir les fils

Il existe actuellement plusieurs approches pour capturer et reproduire la dextérité de la main humaine dans les robots. Certaines utilisent des caméras pour enregistrer les mouvements de la main d'une personne manipulant des objets ou effectuant des tâches. D'autres consistent à faire porter à la personne un gant muni de capteurs qui enregistrent ses mouvements et transmettent les données à un robot. Cependant, la mise en place d'un système de caméras complexe pour différentes applications est difficilement réalisable et sujette aux obstacles visuels. De plus, les gants équipés de capteurs pourraient limiter les mouvements et les sensations naturelles de la main.

Une troisième approche utilise les signaux électriques des muscles du poignet ou de l'avant-bras, que les scientifiques corrèlent ensuite avec des mouvements spécifiques de la main. Bien que des progrès significatifs aient été réalisés dans ce domaine, ces signaux sont facilement perturbés par le bruit ambiant. De plus, leur sensibilité est insuffisante pour distinguer les variations subtiles des mouvements. Par exemple, ils peuvent détecter si le pouce et l'index sont pincés ou écartés, mais peinent à percevoir les mouvements intermédiaires.

L'équipe de Zhao s'est demandée si l'imagerie par ultrasons pourrait permettre de capturer des mouvements de la main plus précis et continus. Son groupe a développé différentes formes d'autocollants à ultrasons : des versions miniaturisées des transducteurs utilisés dans les cabinets médicaux, associées à un matériau hydrogel qui adhère sans danger à la peau.

Dans leur nouvelle étude, l'équipe a intégré le dispositif d'échographie autocollante dans un bracelet portable afin d'imager en continu les muscles et les tendons du poignet.

« Les tendons et les muscles de votre poignet sont comme des fils qui tirent sur des marionnettes, qui sont vos doigts », explique Lu. « L'idée est donc la suivante : chaque fois que vous prenez une photo de l'état de ces fils, vous connaissez l'état de votre main. »

Manipulation cartographique

L'équipe a conçu un bracelet muni d'un capteur à ultrasons de la taille d'une montre connectée, auquel elle a intégré des composants électroniques de la taille d'un téléphone portable. Elle a fixé le bracelet au poignet d'un volontaire et a confirmé que l'appareil produisait des images nettes et continues du poignet, même lorsque le volontaire effectuait différents mouvements des doigts.

Le défi consistait alors à corréler les images échographiques en noir et blanc du poignet à des positions précises de la main. Il s'avère que les doigts et le pouce possèdent 22 degrés de liberté, soit différentes manières de s'étendre ou de s'orienter. Les chercheurs ont constaté qu'ils pouvaient identifier, sur leurs images échographiques du poignet, des régions spécifiques correspondant à chacun de ces 22 degrés de liberté. Par exemple, les variations dans une région sont liées à l'extension du pouce, tandis que celles dans une autre région sont liées aux mouvements de l'index.

Pour établir ces corrélations, un volontaire portant le bracelet devait effectuer différents mouvements de la main, tandis que les chercheurs enregistraient ses gestes à l'aide de plusieurs caméras disposées autour de lui. En faisant correspondre les variations observées dans certaines zones des images ultrasonores avec les positions de la main enregistrées par les caméras, l'équipe pouvait associer les régions de l'image du poignet aux degrés de liberté correspondants de la main. Cependant, réaliser cette traduction en continu et en temps réel serait une tâche impossible pour l'être humain.

L'équipe s'est donc tournée vers l'intelligence artificielle. Elle a utilisé un algorithme d'IA capable de reconnaître des motifs d'images et de les associer à des étiquettes spécifiques, en l'occurrence les différents degrés de liberté de la main. Les chercheurs ont entraîné l'algorithme avec des images échographiques qu'ils ont minutieusement annotées, en identifiant les régions de l'image correspondant à chaque degré de liberté. Ils ont ensuite testé l'algorithme sur un nouvel ensemble d'images échographiques et ont constaté qu'il prédisait correctement les gestes de la main correspondants.

Une fois l'algorithme d'IA intégré au bracelet par les chercheurs, ces derniers ont testé le dispositif sur d'autres volontaires. Pour cette nouvelle étude, huit volontaires de tailles de mains et de poignets différentes ont porté le bracelet tout en effectuant divers gestes et préhensions, notamment les signes correspondant aux 26 lettres de la langue des signes américaine. Ils ont également tenu des objets tels qu'une balle de tennis, une bouteille en plastique, une paire de ciseaux et un crayon. Dans chaque cas, le bracelet a suivi et prédit avec précision la position de la main.

Pour démontrer les applications potentielles, l'équipe a développé un programme informatique simple, connecté sans fil au bracelet. Lorsque l'utilisateur effectuait des mouvements de pincement et de préhension, ces gestes correspondaient à un zoom avant et arrière sur un objet affiché à l'écran, permettant ainsi de le déplacer et de le manipuler virtuellement de manière fluide et continue.

Les chercheurs ont également testé le bracelet comme télécommande sans fil d'une main robotisée commerciale simple. Un volontaire, portant le bracelet, a mimé les gestes d'un clavier. Le robot a alors reproduit ces mouvements en temps réel pour jouer un morceau simple au piano. Ce même robot a également pu imiter les tapotements des doigts d'une personne pour jouer à un jeu de basketball sur ordinateur.

Zhao prévoit de miniaturiser davantage les composants du bracelet et d'entraîner le logiciel d'IA sur un plus grand nombre de gestes et de mouvements effectués par des volontaires aux mains de tailles et de formes très variées. À terme, l'équipe travaille à la création d'un dispositif de suivi des mains portable, utilisable par tous, permettant de manipuler sans fil des robots humanoïdes ou des objets virtuels avec une grande précision.

« Nous pensons qu'il s'agit de la méthode la plus avancée pour suivre les mouvements précis de la main, grâce à l'imagerie portable du poignet », explique Zhao. « Nous sommes convaincus que ces bracelets à ultrasons portables peuvent offrir des commandes intuitives et polyvalentes pour la réalité virtuelle et les mains robotisées. »

https://news.mit.edu/2026/wristband-enables-wearers-control-robotic-hand-with-own-movements-0325