Une nouvelle technologie de réalité augmentée permet de transformer n'importe quelle surface en clavier.

Les claviers virtuels sont une source fréquente de frustration pour les utilisateurs de réalité augmentée (RA). Les surfaces virtuelles sont lentes et sujettes aux erreurs, et lever le bras pour taper peut provoquer des douleurs musculaires appelées « bras de gorille ».

Pour améliorer l'expérience de saisie virtuelle, des chercheurs de l'Université du Texas à Dallas ont conçu une interface unique qui permet aux utilisateurs de transformer des objets du quotidien en surfaces de frappe dans un environnement de réalité augmentée.

Cette technologie en instance de brevet, appelée PropType, superpose une surface de clavier augmentée à un objet portatif et peut s'adapter aux surfaces courbes.

Des étudiants chercheurs ont créé une vidéo démontrant l'utilisation de PropType sur des surfaces telles que des bouteilles d'eau, des tasses à café, des livres et des canettes de soda.

Dr Jin Ryong Kim

« En intégrant des objets déjà présents dans l'environnement de l'utilisateur, PropType réinvente la saisie de texte en réalité augmentée, créant une connexion fluide entre les mondes physique et virtuel », explique le Dr Jin Ryong Kim , professeur adjoint d' informatique à l' École d'ingénierie et d'informatique Erik Jonsson . « PropType tire parti du retour tactile fourni par les objets eux-mêmes, offrant une meilleure confirmation des frappes et réduisant la dépendance aux indices visuels. »

Cette technologie offre une alternative aux solutions de saisie en réalité augmentée classiques, telles que les claviers physiques externes, qui peuvent perturber une expérience immersive sans appareil.

« PropType tire parti de la familiarité des objets portables pour offrir une alternative plus intuitive et accessible aux claviers traditionnels, notamment dans les scénarios mobiles ou mains libres où les méthodes de saisie conventionnelles sont impraticables », a déclaré Kim.

En avril, des chercheurs du laboratoire d'interaction multimodale de Kim ont présenté PropType et reçu une mention honorable pour leur article lors de la conférence ACM CHI sur les facteurs humains dans les systèmes informatiques, la plus importante conférence mondiale sur l'interaction homme-machine, qui s'est tenue à Yokohama, au Japon. Ils ont ensuite présenté leurs travaux en septembre lors du 38e symposium annuel de l'ACM sur les logiciels et technologies d'interface utilisateur à Busan, en Corée du Sud.

Le développement de PropType a nécessité de relever des défis tels que l'adaptation de l'interface aux différentes formes et tailles d'objets. Les chercheurs ont étudié l'interaction de 16 participants avec des accessoires afin de comprendre les postures de préhension et les gestes de frappe. Ils ont ensuite développé des dispositions de clavier personnalisées pour chaque objet. Un outil d'édition a été intégré permettant aux utilisateurs de personnaliser les dispositions de clavier et les effets visuels.

Les recherches de Kim portent sur l'haptique, ou le toucher et le retour physique dans les systèmes numériques, qui peuvent inclure les vibrations et la chaleur.

« Le toucher véhicule beaucoup d'informations ; c'est une autre forme de communication qui est sous-exploitée dans la réalité virtuelle et augmentée », a-t-il déclaré.

Kim et ses étudiants chercheurs ont reçu des distinctions pour d'autres projets, notamment le prix de la meilleure démo à la conférence mondiale IEEE sur l'haptique 2025 et une mention honorable pour la meilleure démo au symposium IEEE sur l'haptique 2024 pour leurs travaux sur le masquage thermique et l'intégration thermotactile.

Daniel Honrales utilise des dispositifs de suivi de mouvements, des objets placés sur ses doigts et fixés à la tasse, pour capturer les mouvements sur un clavier virtuel.

Le masquage thermique est un phénomène qui trompe le cerveau en lui faisant ressentir de la chaleur ou du froid à un endroit précis du corps, même si la source de cette chaleur ou de ce froid provient d'un autre endroit. Par exemple, des chercheurs placent un actionneur thermique (un dispositif qui produit de la chaleur) sur le bras d'un utilisateur et un actionneur tactile (qui produit des vibrations) sur le même bras, à quelques centimètres de l'actionneur thermique. Lorsque les chercheurs activent les deux actionneurs, le cerveau perçoit la chaleur aux deux endroits.

Les chercheurs ont présenté un article sur le sujet lors de la conférence ACM CHI 2024 sur les facteurs humains dans les systèmes informatiques et ont créé une vidéo pour démontrer la technologie.

« En explorant comment les sensations tactiles peuvent primer sur les perceptions thermiques, nous visons à créer des interfaces utilisateur plus immersives et réactives », a déclaré Kim. « Nos travaux sont prometteurs et pourraient révolutionner les applications de réalité virtuelle, les simulations médicales et bien d'autres domaines, en créant des expériences quasi tangibles. »

https://news.utdallas.edu/science-technology/augmented-reality-tech-keyboard-2025/