La technologie EgoTouch permet aux paumes des utilisateurs de VR de servir d'interfaces à écran tactile

Dans le monde réel, vous ne voudriez pas transporter une manette portable en permanence, ni avoir des menus qui s'affichent constamment devant votre visage. Alors pourquoi supporter ces choses dans les mondes de réalité virtuelle ? Avec EgoTouch, vous n'avez pas à le faire, car il place une interface dans la paume de votre main.

Actuellement sous forme de prototype, le système EgoTouch est développé par Vimal Mollyn, doctorante, et ses collègues de l'Institut d'interaction homme-machine de l'université Carnegie Mellon. Il revisite le concept consistant à placer des interfaces tactiles de type écran tactile sur le corps virtuel des utilisateurs de réalité virtuelle.

Des études antérieures ont montré que de telles interfaces présentent des avantages significatifs en termes de vitesse, de précision et d'ergonomie par rapport aux interfaces « en vol » couramment utilisées qui se superposent à la vue de l'utilisateur sur le monde de la réalité virtuelle.

Cependant, l'un des problèmes des interfaces corporelles existantes réside dans le fait qu'elles nécessitent généralement l'utilisation de caméras spéciales de détection de profondeur. Ces caméras sont utilisées pour suivre l'emplacement de la partie du corps réelle sur laquelle l'interface est affichée dans le monde de la réalité virtuelle, ainsi que l'emplacement du doigt réel qui effectue la sélection sur cette interface.

En revanche, EgoTouch utilise simplement la caméra optique RVB existante d'un casque VR.

Lorsque le doigt de l'utilisateur appuie sur sa paume réelle, la caméra capte les ombres et les déformations de la peau qui en résultent. En mappant les emplacements de ces indicateurs visuels sur l'interface virtuelle affichée sur la paume, il est possible de déterminer quelles options sont sélectionnées dans le monde de la réalité virtuelle.

Pour entraîner l'algorithme, l'équipe de Vimal Mollyn a demandé à un groupe de volontaires d'appuyer leur index sur différents endroits de la paume de leur main tout en portant une caméra RGB montée sur la tête. Un capteur tactile, invisible à la caméra, passait sous leur doigt.

En comparant les données de la caméra avec celles du capteur, l'algorithme a appris quels visuels correspondaient à quels emplacements, intensités et durées de contact. De plus, les volontaires avaient des tons de peau et des densités de cheveux différents et ont enregistré les données dans des conditions d'éclairage variées.

Lors des tests, EgoTouch s'est avéré précis à 96 % pour détecter le toucher de la paume de la main, avec un taux de faux positifs d'environ 5 %. Il était également précis à 98 % pour déterminer si un toucher était doux ou dur, et pouvait reconnaître des actions tactiles telles qu'appuyer vers le bas, soulever et faire glisser.

« Pour la première fois, nous disposons d'un système qui utilise simplement une caméra déjà présente dans tous les casques. Nos modèles ne nécessitent aucun calibrage et fonctionnent dès leur mise en service », explique Vimal Mollyn. « Nous pouvons désormais nous appuyer sur les travaux antérieurs sur les interfaces sur la peau et les concrétiser. »

Un article sur cette recherche a récemment été publié dans les actes du 37e Symposium annuel de l'ACM sur les logiciels et technologies d'interface utilisateur . Une version de base d'EgoTouch est présentée dans la vidéo suivante.

https://hcii.cmu.edu/news/future-ar-vr-controllers-could-be-palm-your-hand