Les dispositifs de réalité augmentée (RA), comme les lunettes intelligentes, pourraient bientôt être capables de prédire où un utilisateur va regarder et de fournir une expérience interactive améliorée.

Fiona Ryan , doctorante à l’École d’informatique interactive de Georgia Tech, mène des recherches novatrices sur le suivi et la prédiction du regard de l’utilisateur en vue subjective dans des environnements 3D.

Actuellement, la plupart des appareils de réalité augmentée réagissent à la direction du regard de l’utilisateur, mais avec un certain décalage. La méthode de Ryan pourrait permettre à ces appareils d’anticiper les mouvements de l’utilisateur et de rendre l’expérience plus fluide.

« Cela permet à un système de réalité augmentée d’anticiper ce avec quoi la personne interagira ensuite et où elle portera son regard, afin de pouvoir proposer une expérience proactive », a-t-elle déclaré.

Ryan est l’auteure principale de l’article intitulé « Forecasting 3D Scanpaths in Egocentric Video » ou « Prévision des trajectoires de balayage 3D dans la vidéo égocentrique », qu’elle présentera la semaine prochaine à la  conférence IEEE sur la vision par ordinateur et la reconnaissance des formes (CVPR) à Denver.

Bien qu’il existe des recherches sur la prédiction du regard de l’utilisateur à partir d’images fixes 2D, son travail est le premier à aborder la question à travers un cadre 3D.

« Puisque nous vivons dans un monde en 3D et que les individus se déplacent constamment selon de multiples points de vue, nous devons prédire le regard en 3D et non en 2D », a-t-elle expliqué. « Ce que nous observons, c’est le parcours de l’attention d’une personne dans l’espace, en 3D. Notre article est le premier à tenter de modéliser ce phénomène. »

Ryan a mené la majeure partie de ses recherches lors de son stage chez Meta, où elle a utilisé les données de  l’ensemble de données Aria Digital Twin de Meta . Cet ensemble de données contient des séquences vidéo subjectives d’utilisateurs interagissant avec des objets dans un appartement.

« Nous avons choisi cet ensemble de données car il contient une reconstruction 3D haute fidélité d’un environnement complet, ce qui nous permet d’obtenir une représentation 3D précise du regard », a-t-elle expliqué. « Nous pouvons ainsi suivre les mouvements oculaires et observer comment ils interagissent avec l’environnement. »

Une vidéo de démonstration du travail de Ryan montre son logiciel suivant le parcours d’un utilisateur vers une table sur laquelle se trouve une tasse. Une fois la tasse prise, le logiciel prédit correctement la direction que l’utilisateur prendra ensuite.

« Quand on regarde une scène, on ne perçoit pas tout en détail d’un seul coup », explique-t-elle. « On se concentre sur certaines zones, et notre regard est une succession de fixations, qui peuvent dépendre de ce qu’on essaie de faire. Si on veut prendre une tasse, on regarde d’abord dans cette direction, puis l’étape suivante consiste à regarder où on va la poser. »

Ryan a expliqué que le logiciel peut prédire, en moyenne, jusqu’à trois secondes à l’avance, et jusqu’à dix secondes dans certains cas. C’est suffisant pour que le système de réalité augmentée puisse générer de manière proactive un environnement plus détaillé.

« Nous ne nous projetons pas aussi loin dans le futur pour l’instant, mais il serait intéressant d’explorer des horizons de prévision plus longs », a-t-elle déclaré. « Je pense que les futurs possibles divergeraient assez rapidement, c’est pourquoi nous essayons d’explorer ce qui peut être raisonnablement prédit à partir d’un court segment de l’évolution d’une personne observant et se déplaçant dans l’espace. »

Ryan a indiqué que son article servait de preuve de concept et qu’il restait encore beaucoup de travail à accomplir. Elle a déjà quelques idées.

« Je pense que les modèles futurs pourront inclure différents scénarios afin de mieux cerner les possibilités. Il arrive qu’une personne fixe son regard sur un point précis pendant longtemps. Si nous savons ce qu’elle essaie de faire, nous aurons une meilleure idée du chemin probable que suivra son attention. »

Cela pourrait également avoir des implications futures pour ses travaux de recherche en robotique.

« Cela pourrait potentiellement servir à entraîner des algorithmes permettant aux robots d’imiter la perception humaine active. Si nous parvenons à comprendre ce qu’une personne regarde lorsqu’elle effectue une tâche, nous pourrions utiliser ces informations pour faciliter l’apprentissage d’un robot capable d’accomplir cette même tâche. » 

https://research.gatech.edu/new-framework-enhances-ar-experience-predicting-where-users-will-look