Cette main numérique permet une réalité virtuelle mains libres
infohightech ·
Plus qu'un simple remplaçant, l'agent doté d'IA peut accomplir des tâches en suivant de simples commandes vocales qui n'incluent pas de détails techniques.
Étude : HandProxy : étendre les possibilités des interfaces vocales dans les environnements immersifs grâce à une main proxy virtuelle (DOI : 10.1145/3749484)
Une main numérique à commande vocale pourrait améliorer le confort et l'accessibilité de la réalité virtuelle et augmentée en permettant l'utilisation mains libres de jeux et d'applications. Le prototype logiciel a été développé par des informaticiens de l'Université du Michigan.
Le logiciel des chercheurs, appelé HandProxy, permet aux utilisateurs de RV et de RA d'interagir avec les espaces numériques en commandant une main désincarnée. Les utilisateurs peuvent lui demander de saisir et de déplacer des objets virtuels, de faire glisser et de redimensionner des fenêtres, et d'effectuer des gestes, comme lever le pouce. Elle peut même gérer des tâches complexes, comme « débarrasser la table », sans être informée de chaque étape intermédiaire, grâce à la puissance d'interprétation de GPT-4o, le modèle d'IA à l'origine de ChatGPT.
La capacité de la main à analyser de manière indépendante des tâches complexes à la volée la rend plus flexible que les fonctionnalités actuelles de commande vocale VR, qui se limitent à des tâches simples au niveau du système, telles que l'ouverture et le défilement des menus, ou des commandes prédéfinies dans une application ou un jeu.
« Les appareils mobiles prennent en charge les technologies d'assistance permettant des modes de saisie alternatifs et un contrôle automatisé de l'interface utilisateur, notamment les assistants de tâches basés sur l'IA comme Siri. Mais ces fonctionnalités sont largement absentes des interactions manuelles en RV et en RA », a déclaré Anhong Guo , professeur adjoint de développement du corps professoral en informatique et ingénierie Morris Wellman.
« HandProxy est notre tentative de permettre aux utilisateurs de passer de manière fluide d'un mode d'interaction à l'autre en réalité virtuelle et augmentée, notamment les contrôleurs, les gestes de la main et la parole », a déclaré Guo, qui est également l'auteur correspondant d'une étude décrivant le logiciel, publiée dans Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies.
Les passionnés louent la réalité virtuelle pour son immersion . Les utilisateurs souhaitent être à l'intérieur d'un espace virtuel, et non simplement le contempler de l'extérieur. Les avantages, selon eux, vont de la création de jeux plus captivants à la formation des médecins et des chirurgiens sans risquer des vies.
Maximiser le réalisme physique est essentiel pour dissiper l'incrédulité. C'est pourquoi l'industrie s'est orientée vers le contrôle tactile avec des caméras de suivi des mains et des gants . Cependant, privilégier des mouvements de mains réalistes n'est pas la méthode idéale pour certaines personnes et certaines situations. Les utilisateurs de VR dans des espaces restreints peuvent manquer de place pour des gestes complexes, et les utilisateurs de RA peuvent vouloir naviguer sur de petits écrans tout en ayant les mains occupées à cuisiner ou à faire le ménage.
S'appuyer uniquement sur les gestes de la main devient encore plus contraignant pour les utilisateurs souffrant de déficiences motrices ou d'autres handicaps. Les personnes atteintes de dystrophie musculaire et de paralysie cérébrale ont des difficultés à utiliser la réalité virtuelle, selon Scientific American. Les mouvements tactiles peuvent même dissuader certains utilisateurs souffrant de maladies chroniques d'essayer la réalité virtuelle. Un utilisateur de Reddit a confié qu'une maladie chronique l'empêchait de profiter des jeux impliquant des mouvements de balancement répétitifs, et qu'il doutait que la réalité virtuelle lui convienne. HandProxy pourrait contribuer à rendre la réalité virtuelle plus confortable et accessible.
« S'il existe une physique intégrée, ce qui est le cas pour la plupart des jeux et applications de réalité virtuelle, HandProxy peut interagir avec elle », a déclaré Chen Liang, doctorant en informatique et ingénierie à l'UM et premier auteur de l'étude. « Notre main virtuelle émet le même signal numérique que celle de l'utilisateur, ce qui évite aux développeurs d'ajouter délibérément quelque chose à leurs programmes uniquement pour notre système. »
Certains utilisateurs de l'essai sont déjà enthousiasmés par le potentiel de l'outil. Dans le cadre de l'étude, 20 participants ont été invités à reproduire des tâches d'une vidéo de démonstration, puis ont exploré librement les fonctionnalités de HandProxy pendant 10 minutes. Certains participants étaient ravis d'avoir un remplaçant virtuel à qui ils pouvaient « parler normalement et intuitivement ». Mais d'autres, à la surprise des chercheurs, étaient plus enthousiastes à l'idée de confier à la main des tâches plus abstraites, « au-delà du monde physique ».
« Il pourrait agir comme un agent, où un utilisateur lui donne une commande de haut niveau, comme « organiser mon espace de travail », et il trouve un moyen de trier et de fermer toutes vos fenêtres ouvertes », a déclaré Liang.
Un obstacle à l'adoption réside dans le fait que la main interprète parfois mal les commandes de l'utilisateur. HandProxy a été sollicité pour 781 tâches au cours de l'étude, et s'il a correctement exécuté la plupart d'entre elles en une à quatre tentatives, il a échoué au bout de 64 tentatives. Par exemple, le logiciel n'a pas réalisé qu'un utilisateur faisait référence à un panier numérique lorsqu'il a prononcé « l'objet marron », et il n'a pas su appuyer sur un bouton en forme de cœur lorsqu'on lui a demandé d'« aimer la photo ».
Les chercheurs travaillent actuellement sur des moyens d'aider le logiciel à interpréter les discours ambigus, sans prendre trop de libertés. Un participant à l'étude a proposé une solution potentielle : permettre à la main de poser des questions et d'y répondre.
L’équipe a déposé une demande de protection par brevet avec l’aide d’Innovation Partnerships et recherche des partenaires pour commercialiser la technologie.
https://news.umich.edu/this-digital-hand-enables-hands-free-virtual-reality