Skip to main content

19 Jan, 2023

Une peau intelligente en spray lit la frappe et les gestes de la main sans caméras, claviers, gants à capteurs ou traqueurs de mouvements

Une peau intelligente en spray lit la frappe et les gestes de la main sans caméras, claviers, gants à capteurs ou traqueurs de mouvements

Une peau intelligente en spray qui lit la frappe et les gestes de la main

Un nouveau système d’apprentissage de l’IA combiné à une peau intelligente en spray peut déchiffrer les mouvements des mains humaines pour reconnaître la frappe, le langage des signes et même la forme d’objets familiers simples. La technologie reconnaît et interprète rapidement les mouvements de la main avec des données limitées et une formation minimale, et devrait fonctionner pour tous les utilisateurs, selon ses développeurs.

Outre son utilisation dans les jeux et la réalité virtuelle, la nouvelle technologie de reconnaissance des tâches manuelles pourrait permettre aux gens de communiquer avec d’autres personnes et avec des machines en utilisant des gestes. Parmi les autres applications envisagées par les technologues, citons le contrôle à distance d’appareils médicaux par des chirurgiens, ainsi qu’une nouvelle modalité de reconnaissance des objets et des mouvements pour les robots et les prothèses.

La technologie de reconnaissance des gestes mise au point jusqu’à présent repose sur des bracelets encombrants qui mesurent les signaux électriques produits par les muscles ou sur des gants portables dotés de capteurs de tension à chaque articulation. D’autres approches font appel à des caméras qui suivent les mouvements humains et les interprètent à l’aide de l’apprentissage automatique. Ces systèmes de caméras de capture du mouvement nécessitent des images prises sous plusieurs angles, ce qui signifie que plusieurs caméras sont nécessaires pour un seul système de reconnaissance des gestes.

Ces systèmes multicaméra souffrent également des limites inhérentes aux capteurs de vision, explique Sungho Jo, professeur à l’école d’informatique de l’Institut coréen des sciences et technologies avancées. Ces limites comprennent les régions d’un espace de travail qui ne sont pas couvertes par plusieurs caméras, ainsi que les erreurs qui se produisent inévitablement lorsqu’une main ou un autre objet est occulté de la vue.

Les logiciels utilisés jusqu’à présent sont également lourds. Les chercheurs se sont généralement appuyés sur des modèles d’apprentissage automatique basés sur des algorithmes d’apprentissage supervisé, qui nécessitent des calculs intensifs. Ils exigent la collecte d’une grande quantité de données pour chaque nouvel utilisateur et chaque nouvelle tâche, dont l’étiquetage nécessite l’intervention de l’homme.

Pour créer un système de reconnaissance de mouvements plus rationnel, Sungho Jo et ses collègues de l’université nationale de Séoul et de l’université de Stanford se sont attachés à rendre les capteurs et les algorithmes plus efficaces. « Nous avons essayé de créer un système de reconnaissance des gestes qui soit à la fois suffisamment léger dans sa forme et suffisamment adaptable pour fonctionner pour pratiquement tous les utilisateurs et toutes les tâches avec des données limitées », explique-t-il.

Le nouveau système, dont l’équipe a fait état dans la revue Nature Electronics, comporte deux éléments clés. L’une est un maillage composé de millions de nanofils d’argent recouverts d’or qui sont intégrés dans un revêtement en plastique polyuréthane. Ce maillage, explique-t-il, est à la fois durable et extensible et permet au capteur de coller à la peau. « Il se conforme intimement aux rides et aux plis de chaque doigt humain qui le porte », explique Sungho Jo.

La maille peut être imprimée directement sur la peau à l’aide d’une machine portable, et elle est si fine et légère qu’elle est presque imperceptible, dit-il. Il ajoute qu’il est également biocompatible et respirant et qu’il résiste à quelques jours d’utilisation quotidienne, y compris le lavage des mains, à moins qu’il ne soit frotté avec de l’eau et du savon.

L’équipe a imprimé directement le maillage sur le dos de la main d’un utilisateur en descendant l’index. Le réseau de nanofils détecte les minuscules modifications de la résistance électrique lorsque la peau en dessous s’étire. Lorsque la main bouge, le nanofil crée des signaux uniques qu’il envoie sans fil à un ordinateur pour traitement, via une unité Bluetooth légère.

C’est là que l’intelligence artificielle entre en jeu. Un système d’apprentissage automatique associe les variations de la conductivité électrique à des tâches et des gestes physiques spécifiques. Les chercheurs ont d’abord utilisé des mouvements aléatoires de la main et des doigts de trois utilisateurs différents pour aider l’IA à apprendre la corrélation générale entre les mouvements.

Puis, sur la base de ces connaissances préalables, ils entraînent le système à distinguer les modèles de signaux générés par des tâches spécifiques telles que la frappe sur un téléphone, la frappe à deux mains sur un clavier, ainsi que la prise en main et l’interaction avec six objets de formes différentes.

Chaque utilisateur a effectué cinq fois des gestes individuels liés à ces tâches afin de générer un petit ensemble de données, avec lequel les chercheurs ont entraîné le modèle. L’algorithme apprend à reconnaître quand l’utilisateur tape une lettre spécifique sur le clavier, par exemple, ou quand il trace la surface inclinée d’une pyramide. Lors de tests, le système a ensuite été capable de reconnaître des objets tenus par un nouvel utilisateur et des phrases tapées sur un clavier virtuel par ce dernier.

« Notre schéma d’apprentissage est non seulement beaucoup plus efficace sur le plan du calcul, mais aussi plus polyvalent, puisqu’il peut s’adapter rapidement à différents utilisateurs et à différentes tâches, avec peu de démonstrations », souligne Sungho Jo.

Ce dernier ajoute qu’ils prévoient maintenant d’essayer de placer des dispositifs à nanomètres sur plusieurs doigts afin de capturer un plus large éventail de mouvements de la main. Selon lui, un plus grand nombre de capteurs entraînera une plus grande quantité de données à analyser. Les chercheurs devront donc étudier attentivement l’équilibre entre la précision et des charges de travail informatiques raisonnables pour le système d’IA.

https://spectrum.ieee.org/gesture-recognition-spray-on-skin

https://www.nature.com/articles/s41928-022-00888-7