Les caméras à l’intérieur de l’appareil qui suivent les mouvements des yeux et du visage peuvent rendre les expressions d’un avatar plus réalistes, mais elles soulèvent de nouvelles questions en matière de protection de la vie privée.

En Novembre 2021, Facebook a annoncé qu’il allait supprimer les données de reconnaissance faciale extraites des images de plus d’un milliard de personnes et cesser de proposer de marquer automatiquement les personnes sur les photos et les vidéos. Luke Stark, professeur adjoint à l’université Western, au Canada, avait alors déclaré qu’il considérait ce changement de politique comme une tactique de relations publiques, car la poussée de la RV de l’entreprise entraînerait probablement l’élargissement de la collecte de données physiologiques et soulèverait de nouveaux problèmes de confidentialité.

Cette semaine, la prédiction de Luke Stark s’est avérée exacte. Meta, comme s’appelle désormais la société qui a construit Facebook, a présenté son dernier casque VR, le Quest Pro. Le nouveau modèle ajoute un ensemble de cinq caméras orientées vers l’intérieur qui observent le visage d’une personne pour suivre les mouvements des yeux et les expressions faciales, permettant à un avatar de refléter ses expressions, en souriant, en clignant de l’œil ou en haussant un sourcil en temps réel. Le casque possède également cinq caméras extérieures qui permettront à l’avenir de donner aux avatars des jambes qui copient les mouvements d’une personne dans le monde réel.

Après la présentation de Meta, Luke Stark a déclaré que le résultat était prévisible. Et il soupçonne que le paramètre par défaut « off » pour le suivi du visage ne durera pas longtemps. « Il est clair depuis quelques années que les avatars animés agissent comme des boucs émissaires de la vie privée », a-t-il déclaré. « Ces données sont beaucoup plus granulaires et beaucoup plus personnelles que l’image d’un visage dans la photographie ».

Lors de l’événement annonçant le nouveau casque, Mark Zuckerberg, le PDG de Meta, a décrit la nouvelle collecte de données intimes comme une partie nécessaire de sa vision de la réalité virtuelle. « Lorsque nous communiquons, toutes nos expressions non verbales et nos gestes sont souvent encore plus importants que ce que nous disons, et la façon dont nous nous connectons virtuellement doit également refléter cela », a-t-il déclaré.

Mark Zuckerberg a également déclaré que les caméras internes du Quest Pro, associées aux caméras des contrôleurs, permettraient de créer des avatars photoréalistes ressemblant davantage à une personne réelle qu’à un dessin animé. Aucun calendrier n’a été proposé pour la sortie de cette fonctionnalité. Un selfie VR de l’avatar caricatural de Zuckerberg, qu’il a ensuite admis être « basique », est devenu un mème cet été, incitant Meta à annoncer des changements dans ses avatars.

Des entreprises, dont Amazon, et divers projets de recherche ont déjà utilisé des photos classiques de visages pour tenter de prédire l’état émotionnel d’une personne, malgré le manque de preuves que cette technologie puisse fonctionner. Les données provenant du nouveau casque de Meta pourraient constituer un nouveau moyen de déduire les intérêts d’une personne ou ses réactions au contenu. L’entreprise expérimente le shopping en réalité virtuelle et a déposé des brevets qui envisagent des publicités personnalisées dans le métavers, ainsi qu’un contenu médiatique qui s’adapte en fonction des expressions faciales d’une personne.

Lors d’une réunion avec des journalistes la semaine dernière, Nick Ontiveros, chef de produit de Meta, a déclaré que l’entreprise n’utilisait pas ces informations pour prédire les émotions. Les images brutes et les photos utilisées pour alimenter ces fonctions sont stockées dans le casque, traitées localement sur l’appareil et supprimées après traitement, selon Meta. Les avis de confidentialité relatifs à l’oculométrie et aux expressions faciales que la société a publiés cette semaine indiquent que, bien que les images brutes soient supprimées, les informations glanées à partir de ces images peuvent être traitées et stockées sur les serveurs de Meta.

Ces données sur le visage et les mouvements oculaires d’un utilisateur de Quest Pro peuvent également être diffusées à des entreprises autres que Meta. Un nouveau kit de développement logiciel (Movement SDK) permettra aux développeurs extérieurs à l’entreprise d’accéder à des données abstraites sur le regard et les expressions faciales pour animer des avatars et des personnages. La politique de confidentialité de Meta pour ses casques indique que les données partagées avec des services extérieurs « seront soumises à leurs propres conditions et politiques de confidentialité. »

BOUTON PLAY/PAUSE

La technologie qui capture les expressions est déjà à l’œuvre dans les applications photo et les memoji de l’iPhone, mais Meta a déclaré cette semaine que la capture du langage corporel en temps réel est la clé de l’ambition de l’entreprise de faire porter aux gens des casques de réalité virtuelle pour rejoindre des réunions ou faire leur travail. Meta a annoncé qu’elle allait bientôt intégrer les logiciels de productivité de Microsoft, notamment Teams et Microsoft 365, dans sa plateforme de réalité virtuelle. Autodesk et Adobe travaillent sur des applications de RV pour les concepteurs et les ingénieurs, et une intégration avec Zoom permettra bientôt aux gens d’arriver à des réunions vidéo sous la forme de leur avatar Meta.

En ce qui concerne le dispositif Portal de Meta pour les appels vidéo à domicile, le succès du Quest Pro peut dépendre en partie de la volonté des gens d’acheter du matériel doté de nouvelles capacités de collecte de données d’une société qui a déjà échoué à protéger les données des utilisateurs ou à surveiller l’activité des développeurs tiers ayant accès à sa plateforme, comme Cambridge Analytica. Cela pourrait ajouter aux difficultés existantes pour vendre la vision de Mark Zuckerberg pour le métavers. Meta a déclaré ne pas avoir plus de 300 000 utilisateurs actifs mensuels pour sa plateforme phare de RV sociale, Horizon Worlds. Le New York Times a récemment rapporté que même les employés de Meta travaillant sur le projet utilisaient très peu Horizon Worlds.

Avi Bar-Zeev, un consultant en réalité virtuelle et augmentée qui a participé à la création du casque HoloLens de Microsoft, accorde à Meta le mérite d’avoir supprimé les images des caméras intérieures de son casque. Il a également écrit en 2020 que le prédécesseur de l’appareil, le Quest 2, présentait de « sérieux problèmes de confidentialité », et il dit penser la même chose du Quest Pro.

Avi Bar-Zeev s’inquiète du fait que les données relatives au visage et aux mouvements oculaires pourraient permettre à Meta ou à d’autres entreprises d’exploiter émotionnellement les personnes dans la RV en observant comment elles réagissent au contenu ou aux expériences. « Ma préoccupation n’est pas que l’on va nous servir un tas de publicités que nous détestons », dit-il. « Mon inquiétude est qu’ils en sachent tellement sur nous qu’ils vont nous servir un tas de publicités que nous aimons, et nous ne saurons même pas que ce sont des publicités ».

Kavya Pearlman, fondatrice de la XR Safety Initiative, un organisme à but non lucratif qui conseille les entreprises et les régulateurs gouvernementaux sur la sécurité et l’éthique dans le métavers, a également des inquiétudes. Ancienne directrice de la sécurité chez Linden Labs et créatrice de Second Life, elle a conseillé Facebook en matière de sécurité mais affirme que les précédents scandales de Meta la rendent méfiante à l’égard de l’entreprise.

Kavya Pearlman a reçu une démonstration du Quest Pro avant son lancement et a constaté que les écrans invitant les utilisateurs à activer le suivi du visage et des yeux présentaient des « motifs sombres » apparemment conçus pour inciter les gens à adopter cette technologie. Le mois dernier, la Commission fédérale du commerce des États-Unis a publié un rapport conseillant aux entreprises de ne pas utiliser de modèles qui détournent les options de confidentialité.

« Mon expérience me porte à croire que nous sommes sur une voie très dangereuse et que, si nous ne faisons pas attention, notre autonomie, notre libre arbitre et notre agence sont en danger », déclare Kavya Pearlman. Selon elle, les entreprises travaillant dans le domaine de la RV devraient discuter publiquement des données qu’elles collectent et partagent, et fixer des limites strictes aux déductions qu’elles peuvent faire sur les personnes.

https://www.wired.com/story/metas-vr-headset-quest-pro-personal-data-face/