Selon Casper Harteveld, professeur de conception de jeux vidéo, les jeux immersifs en réalité virtuelle à la première personne ont le pouvoir d’accroître l’empathie. Photo : Matthew Modoono/Université Northeastern

Vous êtes dans une boîte de nuit baignée d’une lueur violette néon, entourée de silhouettes fantomatiques qui se balancent au rythme de la musique. Un inconnu au bar vous salue d’un geste charmeur : « Salut, tu es trop mignon ! » L’étincelle jaillit. 

Tout cela fait partie d’un jeu de réalité virtuelle appelé Rekindle, mais le récit est si réaliste qu’il vous donne le vertige. Vous esquissez un véritable sourire de Duchenne, celui où les commissures de vos lèvres se relèvent et vos yeux se plissent légèrement. Le logiciel biométrique du casque que vous portez scanne votre visage et compare vos mouvements musculaires aux 70 muscles impliqués dans les expressions typiques. Vous êtes heureux, et votre PC de jeu le sait. Vous vous plongez encore plus profondément dans l’histoire.

L’exploitation du paysage émotionnel et de la biométrie dans les jeux vidéo est une voie bien connue dans l’espace de la réalité virtuelle (RV), mais Rekindle, un nouveau récit numérique interactif à la première personne (IDN) né de l’imagination d’ Hector Fan , doctorant en design et médias interdisciplinaires , et des professeurs de Northeastern, Mark Sivak et Casper Harteveld , leur donne une nouvelle dimension.

Extraits vidéo de scènes de Rekindle. Avec l’aimable autorisation d’Hector Fan.

Dans un futur dystopique où des forces oppressives manipulent la mémoire pour effacer toute trace d’identité sexuelle jugée déviante, le protagoniste fictif entreprend de la retrouver, un souvenir à la fois. Au fil de son aventure, le joueur développe une empathie plus profonde pour la communauté LGBTQ+ en explorant le monde à travers le regard du héros. Si le récit est fictif, le combat, lui, est bien réel, affirme Fan, qui espère que le jeu contribuera à un changement social positif.

D’une certaine manière, les « souvenirs » sont des objets à collectionner que le joueur rassemble pour progresser dans le jeu. Cependant, contrairement aux pièces classiques de Mario ou aux points de Pac-Man, il s’agit de situations auxquelles on peut s’identifier, qui réveillent des souvenirs personnels ou rappellent des événements marquants « culturellement partagés » au sein de la communauté LGBTQ+, explique Sivak. Ces archives partagées incluent des épisodes sombres, comme la fusillade de la boîte de nuit Pulse en 2016, où un tireur a tué 49 personnes et en a blessé 58 lors de la soirée « Latin Night » de cet établissement d’Orlando, fréquenté par des membres de la communauté gay. 

Scènes de Rekindle. Dix « fragments de mémoire » sont associés à des émotions que le joueur doit exprimer pour récupérer le souvenir correspondant. Avec l’aimable autorisation d’Hector Fan.

Le récit du jeu est parsemé d’invites qui sollicitent l’utilisateur pour qu’il affiche activement des émotions correspondant à chaque « fragment de mémoire » à collectionner, afin de progresser dans l’histoire tout en tissant un lien émotionnel avec le protagoniste. 

« Une fois que vous avez le casque, vous devenez cette personne », explique Harteveld.

Dans le passé, les émotions étaient considérées comme des « entrées » plutôt que des « sorties », écrivent Fan, Sivak et Harteveld dans un article présenté récemment à l’ Augmented World Expo , un rassemblement de la communauté XR et de l’informatique spatiale qui s’est tenu en juin dernier à Long Beach, en Californie. En réagissant aux émotions des autres personnages à l’écran, le joueur « clique passivement dans le jeu ». 

Rekindle inverse les rôles en privilégiant l’immersion dans un univers fictif qui fait écho au nôtre. À un moment donné, une scène de combat évoque les émeutes de Stonewall de 1969 ou les rixes de West Hollywood de mars dernier. « Les souvenirs… sont culturellement universels », explique Fan. L’investissement émotionnel demandé renforce le sentiment d’« influence dramatique » et vous donne l’impression d’être un véritable acteur du récit. 

Vidéo montrant comment la technologie biométrique est calibrée pour chaque utilisateur. Avec l’aimable autorisation d’Hector Fan.

Graham Page, vice-président exécutif de la recherche commerciale et de l’innovation chez iMotions , qui centralise différents types de données biométriques sur une plateforme unique, confirme que le suivi des émotions des utilisateurs enrichit considérablement l’expérience de réalité virtuelle : « L’une des frustrations liées à l’utilisation des technologies est qu’elles savent ce que nous cliquons ou disons, mais pas forcément ce que nous ressentons ni la manière dont nous l’exprimons. » La capacité à créer des outils sensibles à la communication non verbale ouvre la voie à des interactions plus profondes, suggère-t-il. Une technologie qui interprète l’environnement.

Pour ce faire, les fonctionnalités biométriques du casque Samsung Galaxy XR de Rekindle suivent l’expression faciale de l’utilisateur et la mappent sur un ensemble de 6 émotions de base, telles que « heureux », « triste » ou « surpris », et 15 émotions composées, qui incluent des combinaisons telles que « heureux et surpris », « tristement en colère » ou « effrayé et dégoûté ». 

Le casque capte les mouvements musculaires et les traduit en « unités d’action » (UA) : par exemple, hausser les sourcils ou plisser les yeux sont des UA possibles. Ces informations sont ensuite transmises à un système qui attribue à chacune des 21 émotions possibles un score de 0 à 1 indiquant son intensité relative, 0 signalant l’absence totale de l’émotion à ce moment précis.

Si cette technologie enrichit l’expérience de jeu, elle ouvre aussi la voie à une complexité accrue et à des tensions potentielles. Qu’il s’agisse de flirts dans un bar gay ou de confrontations avec des violences liées à l’identité sexuelle, les situations de l’histoire de Rekindle seront perçues différemment par un membre de la communauté LGBTQ+ que par une personne ignorant la signification du drapeau arc-en-ciel. Ces différences influenceront naturellement la mesure dans laquelle les émotions ressenties par les joueurs correspondront aux intentions de l’auteur et s’intégreront au déroulement du jeu.

Mais c’est aussi là tout l’intérêt. Fan reconnaît l’intérêt de se mettre à la place d’autrui, même si cela peut être un peu déstabilisant. « Je pense que le but est de… susciter de l’empathie ou de faire évoluer les mentalités envers la communauté LGBTQ+. » En tentant de ressentir les émotions du protagoniste — une émotion que Fan avait en tête lors de la création du jeu —, le joueur devient « presque comme un acteur au sein d’une simulation », explique-t-il. Accomplir la quête du protagoniste « pourrait l’aider à adopter le point de vue d’autres personnes et à comprendre leur propre expérience, ce qui lui serait autrement impossible. »

À l’avenir, Fan prévoit d’exploiter les différences de perception et de réaction des joueurs face aux situations du jeu afin d’enrichir le récit. Par exemple, si un joueur réagit plutôt par un « Beurk ! » que par un « Salut ! » lors d’une salutation amicale au bar, l’histoire et les interactions qui s’ensuivent pourraient être modifiées en conséquence. Le résultat ? Une expérience encore plus immersive et réaliste, qui permettra également au joueur d’explorer ses propres préjugés et leurs conséquences potentielles en toute sécurité, espère Fan. 

Le casque peut détecter 70 mouvements musculaires de base impliqués dans l’expression des émotions. Illustration de Renee Zhang

À terme, cette technologie recèle un potentiel qui dépasse le simple cadre du jeu vidéo. « Les livres pourraient eux aussi être interactifs », suggère Harteveld, évoquant des textes au format non linéaire, semblables aux livres dont vous êtes le héros, qui permettent au lecteur de modifier le cours de l’histoire au fil de sa lecture.

Sivak mentionne également que la thérapie d’exposition virtuelle aide les personnes souffrant de phobies et de stress post-traumatique (SSPT). Harteveld ajoute qu’un système de suivi des émotions pourrait optimiser le traitement, par exemple en mesurant le niveau de stress du patient au lieu de se fier uniquement à ses paroles. Une caméra de suivi des émotions pourrait également améliorer la sécurité routière en déclenchant une alarme si un conducteur s’endort au volant, suggère-t-il.

Harteveld a récemment porté des lunettes de suivi oculaire lors d’un vol en parapente qui a suscité chez lui une certaine appréhension, due à sa première expérience. Bien que ces lunettes ne permettent actuellement que de suivre ses mouvements oculaires pour mesurer son niveau de stress, il imagine une version qui pourrait un jour réagir à ses émotions, à la manière d’un parachutiste virtuel à ses côtés. Une technologie capable de le guider pas à pas dans une tâche difficile après avoir détecté son anxiété pourrait s’avérer particulièrement utile, estime Harteveld.

 « Lorsqu’on se trouve dans une situation d’urgence, c’est peut-être une bonne chose qu’un système ou une alarme essaie de nous calmer » et de nous guider à travers les étapes, dit-il.

https://news.northeastern.edu/2026/07/03/virtual-reality-game-emotions