La réalité virtuelle (RV) a continuellement repoussé les limites de notre perception, depuis les débuts de l’épée de Damoclès d’Ivan Sutherland jusqu’à nos jours. La technologie émergeant de ses premiers stades de l’équipement encombrant attaché à un seul endroit par nécessité, les chercheurs travaillent maintenant avec des possibilités accrues dérivées du matériel et des nouveaux capteurs d’entrée. Il en résulte un ensemble unique de défis qui exigent des approches novatrices pour répondre à certaines des questions les plus courantes sur ce dont la RV est capable, où la RV peut se produire et comment les humains peuvent l’expérimenter.
Il y a eu récemment des avancées majeures dans la création de nouveaux environnements immersifs qui permettent d’explorer de nouveaux lieux en dehors des limites d’une seule pièce ou d’accroître l’accessibilité pour tous, et les chercheurs de Microsoft continuent à faire des technologies qui étendent et améliorent le monde de l’informatique spatiale. Cette semaine, ils ont présenté leur plus récent et plus fantaisiste à la Nouvelle-Orléans lors du Symposium ACM sur les logiciels et technologies d’interface utilisateur (UIST) 2019.
Les chercheurs ont montré une méthode permettant aux gens de naviguer en toute sécurité sur une route donnée dans des environnements réels, comme une marche quotidienne pour se rendre au travail, tout en se voyant déambuler dans un monde de RV différent, comme dans une ville de leur choix. Ils ont également mis au point une technologie qui tire parti du nouveau système de suivi oculaire des utilisateurs pour que les détails visuels dans la RV puissent être modifiés en temps réel sans que ces changements soient détectés. Enfin, les chercheurs ont inventé un nouveau contrôleur de rétroaction haptique qui émule de façon unique le sens du toucher humain en maillant des technologies séculaires et de pointe.
DreamWalker est un système de RV qui permet aux utilisateurs de marcher d’un endroit à l’autre dans le monde réel (A) tout en expérimentant un endroit complètement différent, tel qu’une ville bondée, en RV (B). La technologie utilise la planification de trajectoire (C) pour identifier une trajectoire de RV qui s’aligne le mieux avec la trajectoire du monde réel, en tenant compte de tout obstacle connu dans le monde réel et des corrections dans le monde de la RV. Les obstacles découverts en cours de route sont gérés par des technologies de détection en temps réel.
DreamWalker : De votre porte au lieu de travail en passant par Manhattan
Et si vous pouviez explorer les rues d’un endroit lointain où vous avez toujours voulu aller tout en marchant pour vous rendre au travail ? Et si le fait d’entrer dans un endroit que vous avez toujours voulu voir était aussi simple que de sortir par la porte d’entrée ? Dans « DreamWalker : Substituting Real-World Walking Experiences with a Virtual Reality », Jackie Yang, doctorante de l’Université de Stanford et stagiaire de Microsoft Research au moment des travaux, et les chercheurs de Microsoft Eyal Ofek, Andy Wilson et Christian Holz, qui est maintenant professeur à ETH Zurich, ont créé un système de RV qui vous permet de marcher d’un endroit à l’autre du monde réel et qui est complètement différent en RV. Le système s’adapte à l’itinéraire choisi, permettant de transformer une promenade jusqu’à l’épicerie ou à un arrêt d’autobus, par exemple, en une promenade dans Times Square en VR.
Un projet précurseur, VRoamer, a permis de jouer à un jeu de RV dans un environnement intérieur incontrôlé. DreamWalker fait franchir une nouvelle étape à la technologie en fusionnant les contraintes de la visite virtuelle de la ville et le parcours réel de l’utilisateur dans le monde réel, qui peut varier, tout en gérant les difficultés complexes d’un environnement extérieur incontrôlé. Pour accomplir cette tâche, la technologie planifie d’abord les trajets des utilisateurs dans le monde virtuel, puis utilise la détection en temps réel de l’environnement, la redirection à pied et les mises à jour du monde virtuel une fois que les utilisateurs ont commencé leurs déplacements.
Avant le début de la marche, la planification du chemin trouve dans le monde virtuel un chemin qui minimise les différences avec le chemin du monde réel. Il identifiera également toutes les corrections potentielles nécessaires dans le monde virtuel afin que l’utilisateur n’entre en collision avec aucun objet connu dans le monde réel. Les différences entre le chemin réel et la visite virtuelle choisie seront corrigées par une redirection progressive pendant que les utilisateurs marchent et aussi par l’introduction de scénarios virtuels qui forceront les utilisateurs à corriger leurs propres chemins, comme les barrages routiers.
Pendant la marche, DreamWalker surveille l’environnement des utilisateurs à l’aide d’une variété de technologies de détection – suivi de l’intérieur vers l’extérieur par le biais d’un système Windows Mixed Reality, d’un capteur GPS à deux bandes et de deux caméras RVB pour détecter les obstacles rencontrés en cours de route.
Les obstacles découverts qui peuvent se déplacer ou apparaître dans le parcours des utilisateurs sont gérés en introduisant des obstacles virtuels en mouvement, ou des personnages, tels que des piétons marchant à proximité des utilisateurs, pour les bloquer de tout danger potentiel. D’autres options pour contrôler les trajets des utilisateurs peuvent inclure les animaux de compagnie et les événements dynamiques tels que le stationnement des véhicules, le déplacement des chariots et plus encore, limités uniquement par l’imagination du créateur de l’expérience.
Mise-Unseen : Profiter du regard et de l’attention des utilisateurs pour améliorer l’expérience de la RV
La technologie de détection d’environnement en temps réel guide la création de ce contenu virtuel supplémentaire avec le plus grand soin pour générer ces obstacles virtuels en dehors du champ de vision de l’utilisateur afin d’éviter tout « surgissement » non naturel d’objets dans le monde virtuel. Grâce aux progrès récents, la technologie peut le faire à l’aide du regard des utilisateurs. Voici Mise-Unseen.
Mise-Unseen utilise le suivi oculaire dans les casques VR pour masquer les changements qui se produisent dans le champ de vision de l’utilisateur en les appliquant lorsque l’attention de l’utilisateur est détournée ailleurs. Dans cet exemple, il change la scène de façon imperceptible lorsque l’utilisateur se concentre sur un mouvement du chat, faisant face aux pièces ensemble pour l’aider à résoudre ce puzzle.
Dans « Mise-Unseen : Using Eye-Tracking to Hide Virtual Reality Scene Changes in Plain Sight », Sebastian Marwecki, doctorant à l’Université de Potsdam, stagiaire de Microsoft Research au moment des travaux, et les chercheurs Andy Wilson, Eyal Ofek, Mar Gonzalez Franco et Christian Holz présentent une technologie qui permet de faire des changements secrets dans un environnement VR alors que le regard d’un utilisateur est fixe sur autre chose. Ils appellent cette technologie Mise-Unseen en hommage au terme français « mise en scène », qui est utilisé dans le cinéma et le théâtre pour décrire le décor et la mise en scène de ce qu’un public voit. Au cinéma et au théâtre, le champ de vision est contrôlé par un réalisateur, de sorte que le public voit ce que le réalisateur veut lui faire voir. Par exemple, le public ne peut pas voir les gréements de la caméra ou de l’éclairage, et c’est par dessein.
Dans la RV, cependant, les utilisateurs contrôlent leur propre champ de vision, de sorte que certaines modifications de la scène doivent être effectuées discrètement dans leur champ de vision périphérique. Mise-Unseen utilise le suivi oculaire pour identifier les points sur lesquels les utilisateurs concentrent leur attention, puis utilise un modèle de perception pour recommander les changements qui peuvent être apportés à l’environnement sans que les utilisateurs ne s’en rendent compte. Par exemple, une peinture dans une galerie d’art virtuelle peut être modifiée pour mieux refléter les goûts des utilisateurs tout en regardant ailleurs dans la pièce. « Cette[technologie] est basée sur l’idée que le regard et l’attention sont liés ; partout où vous regardez, votre attention va et cela signifie que vous ne faites pas attention aux autres parties « , dit Mar Gonzalez Franco, chercheuse principale.
Une autre application est la capacité d’évaluer la compréhension des utilisateurs. En jouant à un jeu, une personne peut avoir besoin de résoudre un puzzle pour obtenir un code qui lui permet d’aller de l’avant. Cependant, il y a une chance que la personne puisse deviner le code sans avoir résolu, ou même avoir regardé, le puzzle. Avec cette technologie, si un joueur n’a pas regardé certaines parties du puzzle avant d’entrer le code, le code et le puzzle peuvent être visuellement modifiés en temps réel de sorte que le joueur doit revenir en arrière et essayer de résoudre le puzzle.
Parmi les autres applications de Mise-Unseen, mentionnons le soutien à l’haptique passive, le contenu individualisé (comme l’exemple de la peinture ci-dessus) et la difficulté d’adaptation. Un autre aspect passionnant de cette technologie est sa capacité à réduire le champ de vision en RV d’une manière qui soulage le mal des transports pour ceux qui en souffrent. Enfin, cette technologie permet de conserver de précieuses ressources informatiques lors du rendu d’objets visuels – savoir où un utilisateur regarde permet au système de mieux disperser ses ressources.
CapstanCrunch : Un contrôleur haptique à la base de la paume de la main qui, tout comme le judo, fait appel à une force fournie par l’utilisateur.
Le contrôleur haptique CapstanCrunch supporte les forces à échelle humaine au toucher et à la préhension et peut résister à la force de préhension de l’utilisateur jusqu’à 20 newtons (2kg). Le mécanisme de frein de cabestan à friction amplifie la force du petit moteur du contrôleur, ce qui permet d’obtenir un contrôleur intégré avec mise à la terre de la paume de la main pour l’interaction. Le contrôleur peut reproduire des événements haptiques complexes présentant une rigidité et une compliance variables.
Imaginez-vous en train de saisir une balle virtuelle. Vous tendez la main pour attraper le ballon dans le système VR, mais comment savoir que vous l’avez si vous ne pouvez pas le sentir contre votre main ? C’est là que les contrôleurs haptiques entrent en jeu – ils procurent la sensation de toucher un objet dans la vie réelle lorsque vous entrez en contact avec lui dans un monde virtuel. Un défi majeur pour de tels contrôleurs, cependant, a été de produire des sensations réalistes compatibles avec les forces fortes appliquées par la main de l’homme tout en gardant les appareils portatifs petits et légers.
Dans leur article « CapstanCrunch : A Haptic VR Controller with User-supplied Force Feedback « , les chercheurs Mike Sinclair, Eyal Ofek, Mar Gonzalez Franco, et Christian Holz présentent un nouveau contrôleur haptique appelé CapstanCrunch. Bien que CapstanCrunch puisse sembler similaire à d’anciens prototypes tels que le CLAW, la magie de la nouvelle technologie réside à l’intérieur du contrôleur : un frein linéaire et directionnel qui peut soutenir des forces à l’échelle humaine et qui est léger, éconergétique et robuste.
Un élément clé du frein – et l’inspiration derrière le nom du contrôleur – est le cabestan, un dispositif mécanique vieux de plusieurs siècles utilisé à l’origine pour contrôler les cordages des voiliers. « C’est une vieille technologie que les gens utilisaient pour attacher les bateaux, mais nous l’utilisons d’une manière différente qui nous permet actuellement de multiplier la force d’un petit moteur interne « , explique Eyal Ofek, un chercheur principal.
Par le passé, les efforts de conception de contrôleurs haptiques utilisaient de gros moteurs pour résister aux forces fortes appliquées par la main humaine, mais ces moteurs coûteux, lourds et énergivores peuvent se casser lorsqu’une force trop importante est appliquée, rendant l’appareil trop cher et pas assez robuste pour être utilisé dans des scénarios de consommation. Le cabestan multiplie par 40 environ la force d’entrée, ce qui permet l’utilisation de petits moteurs économiques et économes en énergie tout en les isolant des forces extérieures du monde.
CapstanCrunch s’appuie sur cette technologie pour donner une rétroaction haptique à grain fin. Semblable à un principe important dans la pratique du judo d’arts martiaux, le mécanisme CapstanCrunch se nourrit uniquement de la force humaine et de la friction des utilisateurs pour maximiser l’efficacité et minimiser l’effort requis du moteur pour fournir un feedback. En plus de consommer peu d’énergie, CapstanCrunch est peu coûteux, robuste, sûr, silencieux et rapide par rapport à ses prédécesseurs.
