Skip to main content

15 Avr, 2024

Des lunettes étranges suivent vos yeux et vos expressions faciales sans caméra

Des lunettes étranges suivent vos yeux et vos expressions faciales sans caméra

Ke Li, spécialiste des sciences de la tête, présente un prototype de lunettes équipées des systèmes GazeTrak et EyeEcho.

Deux nouvelles technologies permettent à une seule paire de lunettes de suivre les mouvements des yeux et de lire les expressions faciales du porteur, respectivement. Les systèmes utilisent un sonar au lieu de caméras, pour une meilleure autonomie de la batterie et une plus grande protection de la vie privée de l’utilisateur.

Connues sous le nom de GazeTrak et EyeEcho, ces technologies sont développées à l’université Cornell aux Etats-Unis par une équipe dirigée par Ke Li, doctorant en sciences de l’information.

Les deux dispositifs pourraient être intégrés dans des lunettes intelligentes ou des casques VR de tiers, où ils consommeraient beaucoup moins d’énergie que les systèmes basés sur des caméras. Ils ne captureraient pas non plus d’images du visage de l’utilisateur.

GazeTrak utilise actuellement un haut-parleur et quatre microphones disposés à l’intérieur de chaque monture de lentille d’une paire de lunettes (pour un total de deux haut-parleurs et huit microphones). Les haut-parleurs émettent des ondes sonores inaudibles pulsées qui se répercutent sur le globe oculaire et sont captées par les microphones.

Les globes oculaires humains n’étant pas des sphères parfaitement rondes, chaque écho met un temps différent à atteindre chacun des micros, en fonction de l’orientation du globe oculaire.

Par conséquent, en utilisant un logiciel basé sur l’IA sur un smartphone ou un ordinateur portable relié sans fil (qui analyse en permanence ces différences de l’ordre de la milliseconde), il est possible de suivre la direction du regard de l’utilisateur. Et surtout, la technologie n’est pas affectée par les bruits de fond.

Il convient de noter que, dans sa forme actuelle de validation de concept, GazeTrak n’est pas aussi précis que les dispositifs portables de suivi du regard basés sur des caméras conventionnelles. Cela dit, il ne consomme que 5 % de l’énergie consommée par ces dispositifs. Les scientifiques affirment que si un système GazeTrak utilisait une batterie de même capacité que celle des lunettes Tobii Pro Glasses 3 existantes, il pourrait fonctionner pendant 38,5 heures, contre 1,75 heure pour les Tobii.

En outre, les chercheurs affirment que la précision du système devrait s’améliorer considérablement au fur et à mesure du développement de la technologie.

Outre leur utilisation dans la RV, GazeTrak et EyeEcho pourraient également être utilisés pour aider à diagnostiquer ou à surveiller les maladies neurodégénératives

EyeEcho émet également des ondes sonores et reçoit leurs échos, mais en utilisant un haut-parleur et un microphone situés à côté de chacune des deux charnières des lunettes (pour un total de deux haut-parleurs et de deux microphones).

Dans ce cas, ce sont les subtils mouvements de la peau du visage qui influencent le temps qui s’écoule entre l’émission de chaque impulsion et la détection de son écho. Le logiciel d’IA associe ces différences de temps à des mouvements spécifiques de la peau, qui correspondent à leur tour à des expressions faciales spécifiques.

Après seulement quatre minutes d’entraînement sur le visage de chacun des 12 sujets testés, le système s’est avéré très précis dans la lecture de leurs expressions, même lorsqu’ils effectuaient une variété d’activités quotidiennes dans des environnements différents.

On ne sait pas encore quand ces technologies pourront être commercialisées

Ke Li et ses collègues avaient déjà mis au point un système de lecture d’expressions similaire, appelé EarIO, dans lequel les haut-parleurs et les micros sont intégrés dans des écouteurs. Par rapport à cette configuration, EyeEcho est censé offrir de meilleures performances en utilisant moins de données d’entraînement, et sa précision reste stable sur une plus longue période.

« Il existe de nombreux systèmes basés sur des caméras dans ce domaine de recherche ou même sur des produits commerciaux pour suivre les expressions faciales ou les mouvements du regard, comme Vision Pro ou Oculus », assure Ke Li. « Mais tout le monde ne souhaite pas que des caméras soient installées sur des vêtements pour vous filmer, vous et votre environnement, en permanence.

Les articles sur GazeTrak et EyeEcho seront présentés dans le courant de l’année et peuvent être consultés sur Arxiv.

Et comme si ces systèmes ne suffisaient pas, les scientifiques de Cornell ont créé une autre technologie de sonar à lecture faciale qui pourrait être intégrée dans des lunettes intelligentes. Baptisée EchoSpeech, cette technologie surveille les lèvres du porteur pour lire les mots qu’il prononce silencieusement.

https://news.cornell.edu/stories/2024/04/ai-powered-sonar-smartglasses-tracks-gaze-and-facial-expressions