(À gauche) Exemple de détection du blanchiment par le modèle d’IA utilisé dans cette technologie. (À droite) Exemple d’utilisation de la technique : un mur sert de surface tactile pour interagir avec une interface virtuelle. Crédit : Université de Tohoku
Les casques de réalité augmentée (RA) et de réalité mixte (RM) nous permettent de voir le monde qui nous entoure avec des éléments virtuels superposés. Par exemple, de nombreux casques RA/RM modernes utilisent des caméras de suivi des mains pour détecter les gestes dans l’air, ce qui permet aux utilisateurs de taper sur un clavier virtuel qui semble flotter devant eux. Aussi séduisante que puisse paraître cette approche, elle nécessite souvent des manettes, et garder les mains en l’air pendant une période prolongée peut entraîner une fatigue des bras. De plus, ces gestes aériens ne procurent aucun retour physique, ce qui peut rendre l’interaction moins confortable.
À la recherche d’une solution innovante pour rendre la frappe plus confortable lors de l’utilisation des technologies AR/MR, des chercheurs de l’université de Tohoku ont trouvé une méthode qui transforme des surfaces ordinaires en claviers, sans équipement supplémentaire.
L’innovation repose sur une réaction naturelle de notre corps lorsque nous exerçons une pression sur le bout des doigts. Si vous appuyez sur une surface dure comme un bureau, vous remarquerez un voile blanc. Ce changement de couleur est appelé phénomène de blanchiment. En analysant les images de la caméra du casque grâce à un modèle d’intelligence artificielle, le système détecte le contact du bout des doigts avec une surface.
« Ces recherches montrent que les surfaces ordinaires qui nous entourent — murs, bureaux ou cloisons — peuvent servir de zone de saisie tactile », explique Guanghan Zhao, qui a dirigé l’étude. « De plus, cette méthode ne nécessite ni capteurs spéciaux, ni marqueurs, ni appareils supplémentaires. Elle est facile à utiliser pour tous. »
Pour concrétiser cette vision, l’équipe de recherche a entraîné un modèle d’IA capable de reconnaître avec précision le phénomène de blanchiment sur des images du bout des doigts capturées par une caméra standard intégrée au casque. Par ailleurs, un système d’interaction a été développé pour offrir une expérience utilisateur intuitive.
Des études auprès d’utilisateurs ont démontré que le système détectait avec fiabilité le contact du bout des doigts sur plusieurs matériaux de surface courants. Les participants ont pu réaliser des tâches d’interaction avec une précision d’entrée stable. L’interaction facilitée par la surface permettait également aux utilisateurs de poser leurs doigts dessus pendant son utilisation.
« Notre objectif principal était de développer une technologie permettant la saisie tactile sur des surfaces physiques du quotidien pour la RA et la RM sans avoir besoin de matériel spécial, rendant ainsi ces appareils plus faciles à utiliser et favorisant une adoption plus large des technologies de RA et de RM pour un usage quotidien », a déclaré Guanghan.
Les résultats ont été présentés lors de la 33e conférence IEEE sur la réalité virtuelle et les interfaces utilisateur 3D ( IEEE VR 2026 ), qui s’est tenue en Corée du Sud du 21 au 25 mars 2026. L’article a également été accepté pour publication dans la bibliothèque numérique de l’IEEE Computer Society.
https://www.tohoku.ac.jp/en/press/technique_turns_everyday_surfaces_into_touch_panels.html
