Les montres connectées pourraient apprendre à lire dans vos mains.

Présentation d'EITWatch. (A) Circuit imprimé personnalisé avec huit électrodes EIT planaires disposées en anneau de 31 mm de diamètre sur une carte de 40 × 60 mm. (B) Carte montée sous un boîtier de montre standard de 40 mm. (C) Système porté au poignet lors de la saisie gestuelle. Crédit : arXiv (2026). DOI : 10.48550/arxiv.2608.29415

Des ingénieurs de l'Université Northwestern explorent de nouvelles méthodes pour analyser les mouvements des mains, notamment en observant les muscles et les tendons sous la peau. Ces nouvelles méthodes ne font appel ni à des caméras de haute technologie, ni à des scanners médicaux, ni à des techniques d'imagerie avancées. Elles utilisent une simple montre connectée.

Dans un projet, des ingénieurs ont conçu un nouveau système de montre connectée capable de recueillir des données sur les mouvements des bras et des mains. Dans un autre, des électrodes intégrées au dos d'une montre permettent de suivre des mouvements et des gestes plus subtils de la main, comme un pouce levé ou un poing serré.

En analysant ces mouvements, les chercheurs pourraient un jour contribuer à améliorer le contrôle des prothèses bioniques ou à surveiller les patients dans des structures de soins spécialisées, notamment en gériatrie. Au-delà du domaine de la santé, ces systèmes pourraient également simplifier l'utilisation des montres connectées, à l'instar de la reconnaissance faciale qui a simplifié l'accès aux smartphones, ou encore permettre de suivre les activités quotidiennes, par exemple en aidant les hygiénistes dentaires à comptabiliser le nombre de dents nettoyées par semaine.

Les chercheurs ont présenté les deux études, intitulées TransfHAR et EITWatch , le 3 novembre lors du symposium de l'Association for Computing Machinery sur les logiciels et technologies d'interface utilisateur, qui s'est tenu à Detroit. Les deux articles sont également disponibles sur le serveur de prépublication arXiv .

« Vos mains sont votre moyen d'interaction avec le monde, mais votre montre connectée ignore presque tout de leurs mouvements », explique Karan Ahuja, de l'université Northwestern, principal auteur des deux études. « Ces deux projets démontrent la richesse des informations que peut révéler le poignet à lui seul : l'un en analysant les muscles et les tendons sous la peau, l'autre en étudiant les mouvements du bras. Nous ne pouvons pas encore identifier tous les mouvements, mais c'est un excellent point de départ. »

Ahuja est professeur adjoint Lisa Wissner-Slivka et Benjamin Slivka en informatique à la McCormick School of Engineering de Northwestern, où il dirige le laboratoire Sensing, Perception, Interactive Computing and Experiences (SPICE).

TransfHAR a été co-écrit par Aidan Bradshaw, doctorant au laboratoire SPICE, Riku Arakawa de l'université Carnegie Mellon et Xin Liu, chercheur principal chez Google Health Research. EITWatch a été co-écrit par Xuanyou Liu et Novel Alam, membres du laboratoire SPICE, qui ont contribué à parts égales et dirigé les travaux.

Surveiller la main

L'EITWatch tire parti du contact permanent d'une montre connectée avec le poignet. Grâce à une technique appelée tomographie d'impédance électrique (TIE), huit petites électrodes situées au dos de la montre envoient de faibles signaux électriques à travers le poignet afin de cartographier les muscles et les tendons sous-cutanés.

Chaque geste de la main, qu'il s'agisse de pointer du doigt ou de lever le pouce, produit un schéma distinct lors du mouvement des muscles et des tendons. En apprenant à reconnaître ces schémas, EITWatch peut identifier des gestes spécifiques et les traduire en commandes pour la montre connectée. Un pouce levé, par exemple, pourrait envoyer un SMS, tandis qu'un doigt pointé pourrait activer un podomètre pendant un exercice physique.

« Ce qui m'importe le plus, c'est l'accessibilité. Les écrans tactiles excluent beaucoup de personnes », a déclaré Alam. « Un deuxième canal d'entrée intégré à l'appareil leur offre une autre possibilité d'accès. »

Puisque les mêmes signaux du poignet codent les intentions de la main, les chercheurs étudient également si ce type de détection pourrait contribuer au contrôle des prothèses de main . L'observation de l'intérieur du bras offre aussi aux scientifiques une nouvelle méthode pour suivre les mouvements de la main, sans avoir recours à des caméras.

« Actuellement, le meilleur moyen de savoir ce que font les mains est une caméra, ce qui pose un problème majeur de respect de la vie privée », a déclaré Ahuja. « De plus, cela ne fonctionne que lorsque la main est visible. Le poignet, lui, est toujours visible. »

L'EITWatch est encore un prototype de recherche. Lors de l'étude, elle a reconnu six gestes de la main courants avec une précision supérieure à 92 % et cinq mouvements des doigts plus subtils avec une précision supérieure à 91 %, mais elle fonctionne de manière optimale lorsqu'elle est calibrée pour un seul utilisateur. Par conséquent, emprunter la montre connectée d'un proche, par exemple, pourrait compliquer la reconnaissance précise des mouvements du poignet du nouvel utilisateur.

« À l'avenir, nous nous concentrerons sur deux points. Côté matériel, l'intégration des composants électroniques dans la montre est notre prochain défi », a déclaré Alam. « Ensuite, il y a la question de l'expérience utilisateur. Une seule personne portant la montre est bien plus efficace. L'objectif reste simple : que n'importe qui puisse la mettre et que les gestes fonctionnent. Aucune étape de calibration n'est nécessaire. »

En observant le bras entier

Bien que les montres connectées et les smartphones actuels puissent reconnaître certains gestes, ces mouvements sont généralement limités à une série prédéfinie. TransfHAR adopte une approche plus flexible. Le système commence par apprendre à partir de milliers d'heures de données de mouvements publiques et non étiquetées, issues d'activités quotidiennes telles que la marche et l'exercice physique. Il peut ensuite apprendre une activité entièrement nouvelle en quelques démonstrations seulement. Les utilisateurs peuvent alors associer des mouvements spécifiques à des commandes personnalisées, étendant ainsi les possibilités de leurs appareils.

« Les personnes ayant des activités, des habitudes ou des routines spécifiques sont sous-représentées dans les bases de données existantes. Les recherches sur la reconnaissance d'activités se concentrent souvent sur des catégories communes à une population, mais celles-ci ne rendent pas toujours compte de ce qui est important pour un individu », a déclaré Bradshaw. « Je suis particulièrement intéressée par la prise en compte de ces différences dans la façon dont les gens vivent et se déplacent. »

TransfHAR utilise les capteurs de mouvement intégrés de la montre connectée pour analyser l'accélération et la rotation du poignet, puis associer ces mouvements à différentes tâches. La montre enregistre les mouvements répétitifs quotidiens et les personnalise pour chaque utilisateur. Par exemple, le mouvement du bras d'un utilisateur peut correspondre à la peinture d'un mur, tandis que celui d'un autre peut correspondre au brossage des cheveux d'un client.

En dehors de l'utilisation quotidienne par le grand public, les professionnels de santé, comme les infirmières en EHPAD, pourraient exploiter ces données de mouvement pour suivre la fréquence de répétition de certaines activités par un patient. Il peut s'agir de gestes quotidiens d'hygiène personnelle ou de mouvements plus spécifiques, tels que des exercices de kinésithérapie.

« Dans les établissements pour personnes âgées, une infirmière pourrait observer discrètement si un patient se brosse les dents ou se rase, sans avoir besoin d'une caméra dans la chambre », a déclaré Ahuja. « À la salle de sport, la montre pourrait simplement enregistrer les exercices effectués. »

TransfHAR utilise des outils déjà intégrés aux montres connectées, tels que les accéléromètres et les gyroscopes, qui mesurent l'accélération et la rotation du poignet. Les chercheurs ont utilisé plus de 2 700 heures de données de mouvement accessibles au public pour pré-entraîner le système. Ensuite, les utilisateurs peuvent nommer une nouvelle activité, la démontrer à la montre et l'ajouter à leur répertoire. Lors d'une étude menée auprès de 10 participants, la montre a reconnu sept nouvelles activités avec une précision d'environ 90 % après un seul enregistrement d'une minute pour chacune.

« Grâce à notre partenariat avec Google, nous augmentons le volume de données afin que le système apprenne davantage d'activités et devienne plus précis », a déclaré Ahuja. « Cette même approche devrait être appliquée à d'autres formats, comme les bagues et les bracelets. »

https://news.northwestern.edu/stories/2026/11/smartwatches-could-learn-to-read-your-hands?fj=1

https://dx.doi.org/10.48550/arxiv.2608.15861

https://dx.doi.org/10.48550/arxiv.2608.29415