Les expressions faciales pourraient contribuer à élargir les options d’accessibilité à la réalité virtuelle et à la réalité augmentée
infohightech ·
Des chercheurs de l'Université de Glasgow et de l'Université de Saint-Gall, en Suisse, ont découvert que sept mouvements faciaux simples pouvaient être reconnus de manière fiable par le casque Quest Pro de Meta, permettant ainsi aux utilisateurs de contrôler un jeu VR et de naviguer sur des pages web dans un environnement de RA.
Ces résultats pourraient permettre aux casques VR largement disponibles d'offrir aux personnes handicapées de nouvelles façons d'interagir avec les ordinateurs, ainsi que d'élargir les possibilités de contrôle mains libres pour chaque utilisateur.
Au cours de l'étude, qui sera présentée sous forme d'article à la conférence CHI 2025 plus tard ce mois-ci, les chercheurs ont demandé à 20 volontaires non handicapés d'essayer de bouger leur visage pour correspondre aux 53 expressions déjà reconnues par le logiciel du Quest Pro.
Ces expressions, appelées unités d'action faciale ou FAU, sont généralement captées par les caméras embarquées du casque pour traduire les expressions faciales du monde réel en expressions virtuelles dans des environnements en ligne.
Les volontaires ont été invités à effectuer chaque expression trois fois, en maintenant la pose faciale pendant trois secondes à la fois. Ils ont évalué chaque expression en termes de confort, de facilité d'utilisation et de la façon dont ils pensaient l'avoir réalisée.
Les tests ont montré que sept FAU qui mettaient en évidence différentes zones du visage offraient l'équilibre optimal entre une reconnaissance fiable par le casque et le confort pour les utilisateurs de les répéter régulièrement. Il s'agissait d'ouvrir la bouche, de plisser les yeux gauche et droit, de gonfler la joue gauche et droite et de tirer les bords de la bouche de chaque côté.
Le Dr Graham Wilson, de l'École d'informatique de l'Université de Glasgow, est l'un des auteurs de l'article. Il a déclaré : « Certains ont suggéré que la RV est une technologie intrinsèquement capacitiste, car elle exige souvent des utilisateurs qu'ils effectuent des mouvements de la main avec dextérité à l'aide de manettes ou des mouvements du corps entier, ce que tout le monde ne peut pas réaliser confortablement. Cela signifie qu'à l'heure actuelle, des obstacles empêchent un accès généralisé aux expériences de RV et de RA.
» « Avec cette étude, nous souhaitions déterminer si les fonctions d'un casque de RV disponible dans le commerce pouvaient être adaptées pour aider les utilisateurs à contrôler avec précision des logiciels en utilisant uniquement leur visage. Les résultats sont encourageants et pourraient ouvrir la voie à de nouvelles utilisations de la technologie, non seulement pour les personnes en situation de handicap, mais aussi au-delà. »
Pour tester l'efficacité des sept mouvements faciaux identifiés par l'équipe, les chercheurs ont construit leur propre modèle de réseau neuronal pour lire les expressions capturées par le Quest Pro avec une précision de 97 %.
Ensuite, ils ont demandé à 10 volontaires non handicapés d'utiliser le casque pour effectuer deux tâches différentes, représentant des cas d'utilisation futurs typiques du système. Tout d'abord, les volontaires ont utilisé des expressions faciales pour se tourner, sélectionner des options et tirer avec des armes dans un environnement de jeu en réalité virtuelle. Ensuite, ils ont utilisé leur visage pour faire défiler, sélectionner et naviguer sur des pages Web dans un environnement de réalité augmentée. Dans les deux cas, ils ont également utilisé des contrôleurs VR portables traditionnels pour comparer les expériences.
Les participants ont indiqué que, si les manettes offraient des commandes plus précises pour les jeux, l'utilisation des expressions faciales fonctionnait bien, offrant un niveau de contrôle utile sans nécessiter d'effort excessif. Ils ont également trouvé l'expérience de navigation web simple et intuitive, et se sont montrés très enclins à utiliser la saisie faciale à l'avenir.
Le Dr Mark McGill, co-auteur de l'article de l'École d'informatique de l'Université de Glasgow, a déclaré : « Il s'agit d'une étude relativement restreinte, basée sur des données recueillies auprès de personnes valides. Cependant, elle montre clairement que ces sept mouvements faciaux spécifiques sont probablement les plus facilement reconnaissables par le matériel standard et se traduisent bien par deux des utilisations habituelles des méthodes de saisie VR et AR plus traditionnelles.
Cela nous donne une base sur laquelle nous appuyer pour de futures recherches. Nous prévoyons de collaborer avec des personnes souffrant de handicaps, tels que des déficiences motrices ou musculaires, dans le cadre d'études ultérieures afin de fournir aux développeurs et aux plateformes de réalité virtuelle de nouvelles suggestions pour élargir leur palette d'options d'accessibilité et les aider à s'affranchir des contraintes liées à la saisie manuelle et à la manette. »
Les applications potentielles de cette recherche vont au-delà de l'amélioration de l'accessibilité. Dans leur article, les chercheurs soulignent également comment la possibilité de contrôler les expressions faciales sur les casques pourrait améliorer le confort des utilisateurs dans diverses tâches quotidiennes. Ils suggèrent que les utilisateurs pourraient contrôler les lunettes de réalité augmentée en marchant les mains pleines, en cuisinant ou en effectuant des tâches nécessitant des mains propres. Cela pourrait également permettre un contrôle plus discret des appareils dans les espaces publics.
L'équipe a également mis son ensemble de données en libre accès en ligne afin d'encourager d'autres chercheurs à explorer leurs propres utilisations potentielles des FAU identifiées comme les plus utiles pour le contrôle facial des logiciels.
L'article de l'équipe, intitulé « InterFACE : Établissement d'un vocabulaire d'entrée d'unités d'action faciale pour les interactions en réalité étendue mains libres, des jeux en réalité virtuelle à la navigation Web en réalité augmentée », sera présenté lors de la conférence CHI à Yokohama, au Japon, le lundi 28 avril. Cette recherche a bénéficié du soutien financier de UK Research & Innovation (UKRI) et du Conseil européen de la recherche (ERC).