L'échographie et l'IA transforment une montre connectée standard en un traqueur corporel complet sans caméra.

Saif Mahmud, doctorant en sciences de l'information, présente EchoMotion, un système de suivi des mouvements corporels utilisant une montre connectée standard.

Pour la première fois, des chercheurs peuvent suivre les mouvements de l'ensemble du corps d'une personne grâce à des ondes ultrasonores, en utilisant simplement une montre connectée standard et un modèle d'intelligence artificielle léger, tout en garantissant la confidentialité et l'efficacité.

La nouvelle technologie, baptisée EchoMotion, a été développée par le laboratoire SciFi (Smart Computer Interfaces for Future Interactions) de l'Université Cornell, sous la direction de Cheng Zhang, professeur associé en sciences de l'information au sein du Cornell Ann S. Bowers College of Computing and Information Science. Elle utilise le haut-parleur et le microphone intégrés d'une montre connectée pour déterminer la position corporelle d'une personne grâce à un système de détection de type sonar. Une fois intégrée aux objets connectés ou aux systèmes de réalité virtuelle (RV) du commerce, EchoMotion pourrait servir au suivi des entraînements, des activités quotidiennes et des progrès en rééducation physique.

EchoMotion représente une approche évolutive qui peut utiliser l'IA pour comprendre les comportements humains dans le monde réel, a déclaré Zhang.

Il a présenté l' article intitulé «EchoMotion: Towards Full-Body Pose Tracking with a Single Smartwatch Using Active Acoustic Sensing" ou "EchoMotion : Vers un suivi complet de la posture corporelle avec une seule montre connectée grâce à la détection acoustique active » lors de la conférence conjointe internationale de l'Association for Computing Machinery sur l'informatique omniprésente et ubiquitaire et du Symposium international sur l'informatique portable ( UbiComp/ISWC ), le 13 octobre à Shanghai. L'étude est publiée dans les actes de la conférence de l'ACM sur les technologies interactives, mobiles, portables et ubiquitaires .

Crédit : Université Cornell

Suivi du corps entier sans caméras

« Il s'agit d'une avancée majeure pour le suivi corporel », a déclaré Saif Mahmud, doctorant en sciences de l'information et principal auteur de cette nouvelle étude. Les dispositifs portables actuels utilisent des capteurs tels que des accéléromètres et des gyroscopes qui déterminent uniquement les mouvements de l'appareil, a-t-il expliqué. Par conséquent, le suivi complet du corps nécessitait traditionnellement des configurations plus complexes, pouvant inclure des smartphones, des écouteurs ou des casques de réalité virtuelle.

Certains systèmes de suivi intègrent également des caméras, mais l'utilisation d'ondes sonores par EchoMotion offre de multiples avantages. Les signaux acoustiques préservent la vie privée de l'utilisateur et de son entourage (inutile d'installer une caméra à la salle de sport) et génèrent moins de données, ce qui simplifie et réduit les coûts de traitement.

« Alors que les grands modèles de langage, comme ChatGPT, ont fait la une des journaux, EchoMotion montre comment de très petits modèles fonctionnant sur des objets connectés ont également révolutionné la détection dans l'interaction homme-machine », a déclaré le co-auteur François Guimbretière, professeur de sciences de l'information à Cornell Bowers.

Cette technologie permet également de réduire la consommation de la batterie et est compatible avec les montres connectées du commerce. Le prototype consommait environ 12 milliwatts, soit près de 40 fois moins qu'une caméra portable, et une session de 30 minutes sur une Galaxy Watch 6 ne consommait que 5 à 6 % de la batterie.

« Nous avons déployé des efforts considérables pour que EchoMotion fonctionne sur les appareils commerciaux, afin de faciliter son adoption », a déclaré Mahmud.

Transformer les échos en positions corporelles

Pour développer cette technologie, les chercheurs ont d'abord créé leur propre réplique de montre imprimée en 3D, équipée d'un microphone et d'un haut-parleur de chaque côté. Les deux haut-parleurs émettent des signaux ultrasoniques qui enveloppent la personne d'une sphère d'ondes sonores inaudibles. Les deux microphones captent ensuite les échos réfléchis par les membres de la personne lorsqu'elle bouge.

Les chercheurs ont recueilli les schémas d'écho de 10 volontaires qui portaient la montre à leur poignet non dominant pendant qu'ils effectuaient 18 exercices. À partir de ces données, ils ont développé un modèle d'apprentissage profond pour traduire ces schémas en mouvements corporels. Ils ont mesuré la précision du modèle en comparant les positions prédites de 12 articulations, de la tête aux chevilles, avec les postures corporelles capturées par les caméras.

Les montres connectées standard ne possèdent qu'un seul microphone et un seul haut-parleur. C'est pourquoi les chercheurs ont testé le système EchoMotion sur une Samsung Galaxy Watch 6 non modifiée, auprès de 15 nouveaux volontaires. Lors de la première utilisation par des personnes découvrant le système, l'erreur moyenne de prédiction de la position de chaque articulation était inférieure à 10 centimètres. Un étalonnage unique de 12 minutes a permis de réduire cette erreur de plus d'un tiers, à environ 6,1 centimètres.

Le même modèle d'IA, sans aucun réentraînement, a également fonctionné sur une Samsung Galaxy Watch 7 et une Google Pixel Watch 3.

Les espaces surpeuplés restent un défi

Pour évaluer les performances d'EchoMotion en conditions réelles, les chercheurs ont demandé à 10 nouveaux participants de porter une montre connectée pendant qu'ils réalisaient les 18 exercices dans une petite pièce, dans un couloir étroit et à proximité d'une route bruyante. Le mobilier et le bruit ambiant n'ont pas interféré, mais les performances du système ont été légèrement affectées dans le couloir par les échos provenant des autres personnes.

Mahmud s'attend toutefois à ce qu'avec davantage de données — provenant de milliers d'utilisateurs au lieu de quelques dizaines — leur modèle soit capable de mieux interpréter les mouvements d'une personne, même dans des environnements bondés comme le métro.

Coaching sportif et suivi quotidien de l'activité physique

L'équipe développe actuellement cette technologie pour le suivi de la condition physique, afin qu'un assistant personnel puisse compter les répétitions d'un utilisateur et même corriger sa posture, par exemple lors d'un squat bulgare. Elle explore également l'utilisation d'EchoMotion, combinée à la vision à la première personne sur des lunettes connectées, pour suivre efficacement les objets manipulés.

« Dans un avenir très proche, grâce aux objets connectés comme les montres ou les lunettes intelligentes, un assistant personnel rédigera un compte rendu détaillé de votre journée : vos activités, vos repas, etc. », a déclaré Mahmud. « Ce projet permet de concrétiser cette vision en effectuant un suivi corporel. »

https://news.cornell.edu/stories/2026/11/researchers-track-whole-body-movement-just-smartwatch

https://dl.acm.org/doi/epdf/10.1145/3832001