Les fenêtres de votre âme peuvent révéler une quantité extraordinaire d’informations sur vous, surtout lorsqu’un algorithme d’apprentissage automatique vous observe.

La technologie de suivi des yeux est de plus en plus répandue. Elle permet de savoir où vous regardez et comment vos pupilles et vos iris réagissent à des fins diverses. Elle ne nécessite pas de technologie particulièrement complexe ; une caméra vidéo HD capable de regarder votre visage suffit à collecter les données.

Mais selon une étude réalisée en 2020, ces données peuvent divulguer une quantité extraordinaire d’informations sur vous lorsqu’elles sont analysées par des systèmes avancés d’analyse des données. « Notre analyse de la littérature, lit-on dans le résumé de l’article, montre que les données de suivi oculaire peuvent contenir implicitement des informations sur l’identité biométrique, le sexe, l’âge, l’origine ethnique, le poids corporel, les traits de personnalité, les habitudes de consommation de drogues, l’état émotionnel, les compétences et les capacités, les craintes, les intérêts et les préférences sexuelles d’un utilisateur. »

Ce n’est pas tout ; « Certaines mesures de suivi des yeux, précise la revue, peuvent même révéler des processus cognitifs spécifiques et peuvent être utilisées pour diagnostiquer diverses conditions de santé physique et mentale. » Selon Grandview Research, « les données analysées sont utilisées pour étudier une myriade d’affections psychiatriques et neurologiques, telles que les troubles du spectre autistique (TSA), le trouble déficitaire de l’attention avec hyperactivité (TDAH), les troubles obsessionnels compulsifs (TOC), la maladie de Parkinson, la maladie d’Alzheimer et la schizophrénie, entre autres. »

Que regardent-ils exactement ? Oui, les systèmes de suivi des yeux peuvent voir dans quelle direction vos yeux pointent pour en déduire ce que vous regardez, mais c’est loin d’être la fin de l’histoire. Ils peuvent également suivre la durée des fixations, les mouvements rapides des yeux entre les fixations, les mouvements de poursuite fluides et des éléments tels que l’accélération et la vitesse maximale de vos mouvements oculaires.

Ils peuvent analyser vos paupières, en observant le degré d’ouverture de vos yeux, la fréquence à laquelle vous clignez des yeux et la durée pendant laquelle vos yeux restent fermés lorsque vous clignez. Ils peuvent prendre note de la rougeur et voir à quel point vos yeux sont larmoyants ou secs grâce aux reflets. Ils peuvent mesurer la dilatation de vos pupilles – indice célèbre de l’intérêt ou de l’excitation sexuelle, mais également lié à la consommation de drogues, à la peur et à certains types de lésions cérébrales. Ils peuvent noter la couleur de vos yeux et la texture de votre iris.

Les dispositifs de suivi des yeux peuvent voir bien plus que ce que vous choisissez de regarder, et en déduire un grand nombre d’informations sensibles.

Ils peuvent également noter vos expressions faciales, les mouvements de vos sourcils, le nombre et la profondeur des rides autour de vos yeux, la forme de vos yeux et la couleur de votre peau. Ce n’est pas pour rien que l’on dit que les yeux sont « les fenêtres de l’âme » : ils peuvent nous en apprendre beaucoup sur la personne avec laquelle nous interagissons et, grâce à l’évolution et à la reconnaissance des formes, nous apprenons tous à glaner une grande quantité d’informations sur les gens à travers leurs yeux.

L’identité biométrique peut être établie en utilisant une combinaison de choses. Les couleurs et les motifs de vos iris, pour commencer, peuvent être utilisés presque comme une empreinte digitale. Il en va de même pour la réactivité de vos pupilles, la vitesse de votre regard et les trajectoires que prennent vos yeux lorsqu’ils suivent un objet en mouvement ; des différences mécaniques et des différences dans le fonctionnement du cerveau rendent ces éléments uniques.

Ensuite, il y a la charge mentale – un domaine dans lequel l’oculométrie est parfois plus performante que l’EEG. La dilatation des pupilles peut être utilisée pour mesurer la difficulté d’une tâche et l’effort mental. Le taux de clignement des yeux est en corrélation avec les niveaux de dopamine, ce qui indique un apprentissage et un comportement orienté vers un objectif.

Certains de ces phénomènes peuvent être évidents pour un observateur humain ; nous pouvons savoir quand quelqu’un pense, accède à ses souvenirs ou fait preuve d’imagination en observant les mouvements oculaires des autres. Mais une grande partie de ce phénomène implique le monde étrangement opaque de l’IA et de l’apprentissage profond.

La façon dont nos yeux bougent dans la vie de tous les jours s’avère être un prédicteur étonnamment fort de notre personnalité lorsqu’on la passe au crible de ces algorithmes d’apprentissage automatique. Une étude fascinante a révélé qu’il était possible de prédire de manière fiable la fourchette de score d’un sujet pour quatre des « cinq grands » traits de personnalité (névrosisme, extraversion, agréabilité, conscience), ainsi que la curiosité. D’autres ont été en mesure d’identifier vos phobies, vos préférences en matière d’accouplement, vos intérêts et vos domaines d’expertise.

Les données émotionnelles provenant des yeux sont très détaillées, allant bien au-delà des simples valeurs positives, neutres et négatives pour atteindre des spécificités comme le bonheur, l’enthousiasme, le stress, l’inquiétude, les humeurs humoristiques, le dégoût, la curiosité, la détresse, la nervosité, l’hostilité, la peur, la colère, la tristesse et la surprise. L’intensité émotionnelle peut être mesurée et, fait intéressant, les chercheurs ont démontré qu’ils pouvaient distinguer les réactions émotionnelles instinctives des réactions rationnelles.

La liste est longue, mais vous avez compris : dans les bonnes conditions, n’importe quel dispositif capable d’observer attentivement vos yeux peut apprendre une quantité déconcertante d’informations sur vous – et si vous pouvez délibérément choisir où vous regardez, dans une certaine mesure, il y a d’autres choses que vous ne pouvez pas vous empêcher de donner.

Pour atténuer ces inquiétudes, les chercheurs soulignent que de nombreux indices oculaires peuvent avoir des significations confuses ou contradictoires, et que la plupart des recherches publiques menées à ce jour ont été effectuées en laboratoire, où elles sont peu coûteuses et bien contrôlées, plutôt que dans le chaos du monde réel.

D’autre part, cette étude ne couvre que les recherches accessibles au public ; « on peut raisonnablement supposer », écrivent les auteurs de l’étude, « que certaines des entreprises ayant accès aux données de suivi oculaire des appareils grand public (par exemple, les fabricants d’appareils, les fournisseurs d’écosystèmes) possèdent des ensembles plus importants de données de formation, une plus grande expertise technique et davantage de ressources financières que les chercheurs cités dans cet article. Facebook, par exemple, pionnier de la réalité virtuelle et de la technologie de suivi oculaire, est également l’une des entreprises les plus riches et les plus rentables au monde, avec un budget de plusieurs milliards de dollars pour la recherche et le développement et une base d’utilisateurs de plus de 2,3 milliards de personnes. »

Les avantages de ce type de technologie sont clairs, en particulier lorsqu’elle est associée à la technologie de réalité virtuelle ou de réalité augmentée ; les appareils et les applications peuvent devenir extrêmement personnalisés et adaptés à votre état actuel et à vos intérêts. Cette technologie offre aux spécialistes du marketing des possibilités extraordinaires de vous cibler, non seulement avec les bons produits, mais aussi avec les bonnes approches, les bons messagers et le bon moment pour vous rendre le plus réceptif possible.

Comme il est peu probable que les entreprises s’abstiennent volontairement d’utiliser ou de vendre des informations personnelles pouvant être extraites de données déjà collectées, il convient de mettre en place des incitations et des contrôles réglementaires forts.

Et bien sûr, avec autant de retours d’information en temps réel, les chances de vous surveiller, de vous manipuler et de vous contraindre seront plus élevées que jamais. Les conséquences sur la vie privée seront bien pires que si le monde entier (ou un employeur potentiel, ou un assureur potentiel) voyait votre historique Internet.

Afin de préserver les avantages tout en minimisant les risques, les chercheurs suggèrent des mesures telles que la conservation des données brutes uniquement pour une utilisation temporaire sur l’appareil lui-même, et leur transmission aux fabricants d’applications et d’appareils sous des formes agrégées et pré-calculées ou avec des bruits statistiques aléatoires ajoutés pour « brouiller » les données.

Mais comme ces données s’inscrivent dans un contexte plus large, où nous pouvons être compromis par une analyse avancée de toutes sortes de flux de données collectés sur nous 24 heures sur 24 et 7 jours sur 7, les gouvernements devront prendre de l’avance sur la protection de la vie privée. « Comme il est peu probable, disent les auteurs, que les entreprises s’abstiennent volontairement d’utiliser ou de vendre des informations personnelles qui peuvent être extraites de données déjà collectées, il devrait y avoir des incitations et des contrôles réglementaires forts. »

Il y a certainement matière à réflexion, en particulier alors que nous nous dirigeons vers la commodité magique de la réalité augmentée nerveuse et que Facebook pousse en avant le développement d’avatars VR hyperréalistes qui permettent aux gens de s’exprimer avec des gammes toujours plus complètes d’indices de langage facial et corporel.

https://rd.springer.com/chapter/10.1007/978-3-030-42504-3_15#enumeration

https://uploadvr.com/zuckerberg-quest-3-4-eye-face-tracking/