Imaginez tapoter deux fois simultanément votre pouce et votre index pour passer à la chanson suivante, ou cliquer sur votre ordinateur portable ou de bureau sans souris, en utilisant des mouvements discrets des doigts. Une nouvelle technologie portable inédite, développée par des chercheurs de Cornell et de KAIST en Corée du Sud, rapproche cette vision de la réalité. Ce système, baptisé WatchHand, équipe les montres connectées du commerce d’un micro-sonar doté d’intelligence artificielle, capable de suivre les mouvements de la main.

Cette technologie pourrait révolutionner notre interaction avec nos appareils en permettant un suivi continu et en temps réel des mouvements de la main grâce aux montres connectées et à leurs haut-parleurs et microphones intégrés, expliquent les chercheurs. C’est la première fois qu’un système de détection acoustique basé sur l’IA pour le suivi des mouvements de la main est intégré à des montres connectées disponibles dans le commerce, sans matériel supplémentaire.

« À l’avenir, grâce à ce type de technologie de suivi des mains, nous pourrions être en mesure de suivre notre frappe au clavier simplement avec notre montre connectée », a déclaré Chi-Jung Lee, doctorant en sciences de l’information au Cornell Ann S. Bower College of Computing and Information Science et co-auteur principal de « WatchHand : Enabling Continuous Hand Pose Tracking On Off-the-Shelf Smartwatches », qui sera présenté à la conférence CHI de l’Association for Computing Machinery (ACM) sur les facteurs humains dans les systèmes informatiques, qui débutera le 13 avril à Barcelone. 

« Nos mains peuvent servir de périphérique d’entrée pour les ordinateurs », a-t-elle déclaré.

Selon les chercheurs, outre l’interaction gestuelle avec l’appareil, l’application directe de WatchHand pourrait prendre en charge les technologies d’assistance pour les utilisateurs à mobilité réduite ou ayant des difficultés d’élocution, et être utilisée comme contrôleur dans les environnements de réalité augmentée et de réalité virtuelle. 

Ce dispositif représente une avancée significative pour l’interaction homme-machine manuelle, a déclaré Jiwan Kim, co-auteur principal, doctorant en génie électrique à KAIST et chercheur invité au SciFi Lab l’année dernière.

« WatchHand simplifie considérablement le suivi de la position de la main », a déclaré Kim. « Notre solution est applicable à tout appareil doté d’un haut-parleur et d’un microphone. »

Les prototypes actuels de suivi des mains portables nécessitent un matériel encombrant, les rendant peu pratiques au quotidien, expliquent les chercheurs. WatchHand, quant à lui, utilise le microphone et le haut-parleur intégrés aux montres connectées standard. Grâce à WatchHand, le haut-parleur de la montre émet des ondes sonores inaudibles qui rebondissent sur la main et sont captées par le microphone, créant ainsi une image d’écho. L’algorithme d’apprentissage automatique de WatchHand, exécuté sur la montre connectée, analyse cette image d’écho et estime la position de la main en 3D et en temps réel.

Toutes les données et le traitement relatifs à la position des mains seraient effectués localement sur la montre, ce qui signifie que les données personnelles ne seraient pas partagées, ont indiqué les chercheurs. Crédit:Jason Koski/Université Cornell

WatchHand équipe les montres connectées du commerce d’un micro-sonar alimenté par l’IA capable de suivre les mouvements de la main.

L’application WatchHand a été testée auprès de 40 participants dans le cadre de quatre études,  totalisant environ 36 heures de données gestuelles . Elle a été évaluée sur différents modèles de montres connectées, sur les mains droite et gauche, et dans des conditions bruyantes, et s’est avérée capable de suivre de manière fiable les mouvements des doigts et les rotations du poignet.

Ses performances ne sont pas parfaites, ont noté les chercheurs. Tout d’abord, l’application fonctionne sur les montres connectées Android, et non sur les appareils Apple iOS. Bien qu’elle fonctionne correctement dans les environnements bruyants, WatchHand a des difficultés à enregistrer les mouvements de la main lorsque l’utilisateur marche, par exemple. 

« WatchHand reflète la vision plus large de mon laboratoire, qui consiste à transformer les objets connectés du quotidien en plateformes intelligentes de détection comportementale », a déclaré Cheng Zhang , professeur associé en sciences de l’information à Cornell Bowers et directeur du laboratoire SciFi (Smart Computer Interfaces for Future Interactions) de Cornell , qui exploite l’apprentissage automatique et l’IA pour développer des technologies capables de détecter – et d’interpréter – les données que nous produisons par nos mouvements.

Auparavant, les chercheurs du laboratoire SciFi ont conçu, développé et perfectionné des capteurs capables de suivre les mouvements du poignet, de la main, de la langue, du visage, du corps et même des dents . Ils ont intégré cette technologie à des bagues, des lunettes, des colliers et des casques audio, et l’ont même cousue dans les coutures des vêtements. Ces dernières années, le laboratoire s’est orienté vers l’utilisation de la détection acoustique sur les objets connectés en raison de sa précision et de sa faible consommation d’énergie. 

« Une simple mise à jour logicielle nous permettrait potentiellement de débloquer des fonctionnalités entièrement nouvelles sur des millions d’appareils existants », a déclaré Zhang.

https://news.cornell.edu/stories/2026/04/sonar-stock-smartwatches-leads-hand-tracking-breakthrough