Les appareils sans fil peuvent également avoir des applications de réalité virtuelle et de réalité augmentée.
Une nouvelle étude révèle que des bagues électroniques connectées sans fil à un système d’IA sont capables de traduire plusieurs langues des signes en texte .
« Je pense qu’il s’agit d’une étape importante vers la création de systèmes de traduction en langue des signes plus pratiques, plus légers et plus utilisables dans des environnements réels », déclare Ki Jun Yu , professeur associé de génie électrique et électronique à l’université Yonsei de Séoul, en Corée .
Plus de 300 langues des signes différentes sont utilisées dans le monde, et de nombreux projets de recherche développent des outils de traduction pour communiquer avec les personnes qui ne connaissent pas de langue des signes. Cependant, ces projets ont rencontré de nombreux obstacles.
Par exemple, certains projets utilisaient des caméras et des algorithmes de vision par ordinateur pour reconnaître les gestes de la main. Mais ces projets étaient généralement limités à des environnements contrôlés avec des caméras fixes et étaient sensibles aux variations d’éclairage et à d’autres formes d’interférences.
D’autres dispositifs utilisaient des capteurs portables détectant les mouvements de la main ou les signaux électriques liés à l’activité musculaire. Cependant, les gants intelligents, un type courant de capteur portable, retenaient la chaleur et l’humidité, rendant leur utilisation prolongée inconfortable. De plus, leurs capteurs fixes ne tenaient pas compte des variations individuelles de taille de la main, de longueur des doigts et de position des articulations, ce qui réduisait leur précision.
Par ailleurs, les capteurs portables nécessitaient souvent une connexion filaire à un ordinateur, limitant ainsi les mouvements de la main. Bien que certains capteurs portables transmettent finalement leurs données sans fil à un processeur externe, ils restaient généralement connectés au même émetteur par câble.
Une vie meilleure grâce au sans fil
Des scientifiques ont mis au point des bagues électroniques qui transmettent sans fil leurs mouvements à un dispositif de traitement. L’utilisation de bagues plutôt que de gants permet un positionnement flexible des capteurs, ce qui s’adapte aux variations morphologiques des mains. La connexion sans fil offre une liberté de mouvement totale.
« Les SoC Bluetooth Low Energy [systèmes sur puce] ont atteint un point où une pile de communication sans fil complète, un circuit de gestion de l’alimentation et un module de détection peuvent tenir sur un substrat flexible suffisamment petit pour être porté comme une bague », déclare Yu.
Dans cette nouvelle étude, les chercheurs ont examiné la contribution de chaque doigt à la gestuelle et ont découvert que sept doigts jouaient un rôle majeur. De ce fait, leur système n’utilise que sept anneaux afin de réduire la quantité de matériel nécessaire.
Chaque anneau était équipé d’accéléromètres servant de capteurs inertiels. Ces derniers pouvaient détecter les postures statiques et les mouvements de la main afin de mieux appréhender la complexité des langues des signes, qui impliquent souvent des transitions entre des composantes statiques et dynamiques. De plus, les scientifiques souhaitaient éviter de recourir aux signaux bioélectriques, très spécifiques à chaque individu et nécessitant un étalonnage approfondi pour chaque utilisateur.
L’un des défis rencontrés lors du développement de ces anneaux était leur fiabilité mécanique. Au départ, les scientifiques utilisaient des interconnexions en cuivre rectilignes, qui se rompaient presque sous l’effet de flexions répétées. Ils sont donc passés à des interconnexions en forme de serpentin, plus résistantes à ces flexions.
Une IA pour unifier les anneaux
Les chercheurs ont également mis au point un système d’apprentissage profond capable de reconnaître les signes à partir des mouvements de la main. Ce système a pu identifier les signes non seulement des deux personnes ayant servi à son entraînement, mais aussi de cinq personnes n’ayant pas participé à cette phase. Cela laisse penser que ce nouveau système pourrait être d’usage général sans nécessiter d’adaptation complexe pour chaque utilisateur.
Lors d’expérimentations menées auprès de cinq personnes n’ayant pas participé à l’entraînement du système, ce dernier a pu reconnaître 100 mots courants de la langue des signes américaine et 100 mots courants de la langue des signes internationale avec une précision respective de 88,3 % et 88,5 %. À titre de comparaison, la plupart des systèmes de traduction automatique en langue des signes existants se limitaient à des vocabulaires de moins de 50 mots.
« Deux cents mots représentent un progrès significatif par rapport aux systèmes sans fil précédents, mais cela ne constitue qu’une petite fraction d’un lexique complet de langue des signes, qui peut contenir des milliers de signes », prévient Dosik Hwang , professeur de génie électrique et électronique à l’université Yonsei. « Je tiens à ne pas surestimer les capacités du système actuel dans le cadre de conversations réelles à vocabulaire ouvert. »
Le nouveau système était non seulement capable de reconnaître des mots isolés, mais aussi de traduire des phrases entières à partir de la langue des signes continue. Les scientifiques suggèrent que cela pourrait faciliter l’interprétation en temps réel.
À long terme, « notre objectif est de rendre le système compatible avec les appareils du quotidien, comme les smartphones, sans nécessiter d’équipement externe spécialisé », explique Yu. « Les bagues pourraient transmettre sans fil des signaux en langue des signes à un appareil mobile, où ils seraient automatiquement traduits et affichés en temps réel. Cette technologie serait ainsi plus portable, accessible et pratique pour la communication quotidienne. »
Toutefois, « la principale mise en garde est la suivante : notre système traduit les mouvements de la main en texte », explique Hwang. « Il ne prend pas encore en compte la grammaire faciale, la motricité des lèvres, la posture corporelle ni la syntaxe spatiale, autant d’éléments grammaticalement significatifs dans les langues des signes. » Un défi futur consistera à intégrer ces fonctionnalités « dans une architecture discrète et économe en énergie, préservant ainsi la discrétion de notre conception actuelle », ajoute Yu.
Les scientifiques prévoient maintenant d’entraîner le système avec davantage de personnes, un vocabulaire plus étendu et une plus grande variété de styles de signes et de dialectes régionaux, explique Yu. « Compte tenu de nos racines institutionnelles, la langue des signes coréenne est une suite logique », ajoute-t-il.
Les chercheurs espèrent également rendre leurs bagues portables toute la journée, contre près de 12 heures actuellement, grâce à une miniaturisation accrue et à une optimisation de la consommation d’énergie, explique Yu. « Une priorité essentielle consiste à transférer le traitement des données d’un matériel externe (comme un ordinateur portable) vers le système de calcul embarqué (comme un téléphone mobile). Cette transition est indispensable non seulement pour une véritable mobilité, mais aussi pour garantir la confidentialité des utilisateurs et réduire la latence lors des conversations. »
Hwang et ses collègues prévoient de collaborer avec des associations de personnes sourdes pour développer leurs dispositifs. « Nous sommes convaincus que la technologie sera considérablement améliorée, tant au niveau de ses performances fonctionnelles que de son intégration sociale, grâce à l’implication des utilisateurs finaux », explique-t-il.
Au-delà de la traduction en langue des signes, ces nouvelles bagues pourraient trouver des applications dans d’autres domaines gestuels, explique Hwang. « Nous entrevoyons un potentiel immédiat pour cette technologie dans le suivi de la rééducation de la main, l’évaluation de la motricité fine chez les patients atteints de troubles neurologiques, et même les interfaces immersives de réalité virtuelle et de réalité augmentée », précise-t-il. « En démontrant son efficacité dans le domaine complexe de la langue des signes, nous avons en quelque sorte testé la robustesse du système pour un large éventail d’applications biomédicales et interactives futures. »
Les scientifiques ont détaillé leurs conclusions le 1er mai dans la revue Science Advances .
