Un nouvel outil permet d'analyser les performances des pilotes et leur charge de travail mentale en réalité augmentée
infohightech ·
Dans le monde de l'aviation où les enjeux sont élevés, la capacité d'un pilote à gérer le stress peut faire la différence entre un vol sûr et une catastrophe. Une formation complète et précise est essentielle pour doter les pilotes des compétences nécessaires pour gérer ces situations difficiles.
Les formateurs de pilotes s'appuient sur des systèmes de réalité augmentée (RA) pour l'enseignement, en guidant les pilotes à travers différents scénarios afin qu'ils apprennent les actions appropriées. Mais ces systèmes fonctionnent mieux lorsqu'ils sont adaptés aux états mentaux de chaque sujet.
Découvrez HuBar, un nouvel outil d'analyse visuelle conçu pour résumer et comparer les sessions de performance de tâches en AR - telles que les vols simulés guidés par AR - grâce à l'analyse du comportement de l'interprète et de la charge de travail cognitive.
En fournissant des informations approfondies sur le comportement et les états mentaux des pilotes, HuBar permet aux chercheurs et aux formateurs d'identifier des modèles, de repérer les zones de difficulté et d'optimiser les programmes de formation assistés par AR pour améliorer les résultats d'apprentissage et les performances dans le monde réel.
HuBar a été développé par une équipe de recherche de la NYU Tandon School of Engineering qui le présentera lors de la conférence IEEE Visualization and Visual Analytics 2024 le 17 octobre 2024.
« Bien que la formation des pilotes soit un cas d’utilisation potentiel, HuBar ne s’applique pas uniquement à l’aviation », explique Claudio Silva , professeur au département d’informatique et d’ingénierie (CSE) de l’Institut Tandon de l’Université de New York, qui a dirigé la recherche en collaboration avec Northrop Grumman Corporation (NGC). « HuBar visualise diverses données issues de tâches assistées par réalité augmentée, et cette analyse complète conduit à des performances et des résultats d’apprentissage améliorés dans divers scénarios complexes. »
« HuBar pourrait aider à améliorer la formation en chirurgie, en opérations militaires et en tâches industrielles », a déclaré Claudio Silva, qui est également codirecteur du Centre de recherche sur la visualisation et l'analyse des données (VIDA) de l'Université de New York.
L'équipe a présenté HuBar dans un article qui démontre ses capacités en utilisant l'aviation comme étude de cas, en analysant les données de plusieurs copilotes d'hélicoptère dans une simulation de vol en réalité augmentée. L'équipe a également produit une vidéo sur le système.
En se concentrant sur deux sujets pilotes, le système a révélé des différences frappantes : un sujet maintenait des états d’attention principalement optimaux avec peu d’erreurs, tandis que l’autre connaissait des états de sous-charge et faisait des erreurs fréquentes.
L'analyse détaillée de HuBar, comprenant des séquences vidéo, a montré que le copilote peu performant consultait souvent un manuel, ce qui indique une moindre familiarité avec la tâche. En fin de compte, HuBar peut permettre aux formateurs d'identifier les domaines spécifiques dans lesquels les copilotes ont des difficultés et de comprendre pourquoi, fournissant ainsi des informations pour améliorer les programmes de formation assistée par réalité augmentée.
Ce qui rend HuBar unique est sa capacité à analyser des tâches non linéaires où différentes séquences d'étapes peuvent conduire au succès, tout en intégrant et en visualisant simultanément plusieurs flux de données complexes.
Cela comprend l'activité cérébrale (fNIRS), les mouvements du corps (IMU : Inertial Measurement Unit), le suivi du regard, les procédures de tâches, les erreurs et les classifications de la charge de travail mentale. L'approche globale de HuBar permet une analyse holistique du comportement des exécutants dans les tâches assistées par AR, permettant aux chercheurs et aux formateurs d'identifier les corrélations entre les états cognitifs, les actions physiques et les performances des tâches sur différents chemins d'achèvement des tâches.
La fNIRS permet une mesure indirecte de l'activité neuronale, par détection des changements relatifs des concentrations sanguines locales en oxy-hémoglobine (oxyHb) et déoxy-hémoglobine (déoxyHb)
Le système de visualisation interactif de HuBar facilite également la comparaison entre différentes sessions et différents interprètes, ce qui permet de discerner des modèles et des anomalies dans des procédures complexes et non séquentielles qui pourraient autrement passer inaperçues dans les méthodes d'analyse traditionnelles.
« Nous pouvons désormais voir exactement quand et pourquoi une personne peut être surchargée mentalement ou dangereusement sous-chargée pendant une tâche », a déclaré Sonia Castelo, ingénieure de recherche VIDA, doctorante à VIDA et auteure principale de l'article de HuBar. « Ce type d'analyse détaillée n'a jamais été possible auparavant dans un si large éventail d'applications. C'est comme avoir une vision aux rayons X de l'esprit et du corps d'une personne pendant une tâche, fournissant des informations permettant d'adapter les systèmes d'assistance AR aux besoins d'un utilisateur individuel. »
À mesure que les systèmes de réalité augmentée (AR), notamment les casques comme Microsoft Hololens, Meta Quest et Apple Vision Pro, deviennent plus sophistiqués et omniprésents, des outils comme HuBar seront essentiels pour comprendre comment ces technologies affectent les performances humaines et la charge cognitive.
« La prochaine génération de systèmes de formation en réalité augmentée pourrait s'adapter en temps réel en fonction de l'état mental de l'utilisateur », a déclaré Joao Rulff, doctorant au VIDA qui a travaillé sur le projet. « HuBar nous aide à comprendre exactement comment cela pourrait fonctionner dans diverses applications et structures de tâches complexes. »
HuBar fait partie des recherches menées par Claudio Silva dans le cadre du programme Perceptually-enabled Task Guidance (PTG) de la Defense Advanced Research Projects Agency (DARPA) . Avec le soutien d'un contrat DARPA de 5 millions de dollars , le groupe de l'Université de New York vise à développer des technologies d'IA pour aider les gens à effectuer des tâches complexes tout en rendant ces utilisateurs plus polyvalents en élargissant leurs compétences - et plus compétents en réduisant leurs erreurs. Les données pilotes de cette étude proviennent du NGC dans le cadre du PTG de la DARPA