Une nouvelle application permet de capturer en temps réel les mouvements de tout le corps à l'aide d'un appareil mobile

Les ingénieurs de l’Université Northwestern aux Etats-Unis ont développé un nouveau système de capture de mouvements du corps entier, qui ne nécessite pas de salles spécialisées, d'équipements coûteux, de caméras encombrantes ou d'une multitude de capteurs.

Au lieu de cela, il nécessite un simple appareil mobile.

Baptisé MobilePoser, le nouveau système exploite des capteurs déjà intégrés dans les appareils mobiles grand public, notamment les smartphones, les montres intelligentes et les écouteurs sans fil. En utilisant une combinaison de données de capteurs, d'apprentissage automatique et de physique, MobilePoser suit avec précision la pose du corps entier d'une personne et sa translation globale dans l'espace en temps réel.

« Fonctionnant en temps réel sur des appareils mobiles, MobilePoser atteint une précision de pointe grâce à un apprentissage automatique avancé et à une optimisation basée sur la physique, ouvrant de nouvelles possibilités dans les domaines du jeu, du fitness et de la navigation en intérieur sans avoir besoin d'équipement spécialisé », a déclaré Karan Ahuja de Northwestern , qui a dirigé l'étude. « Cette technologie marque un bond en avant significatif vers la capture de mouvement mobile, rendant les expériences immersives plus accessibles et ouvrant la voie à des applications innovantes dans divers secteurs. »

Expert en interaction homme-machine, Karan Ahuja est professeur adjoint d'informatique Lisa Wissner-Slivka et Benjamin Slivka à la McCormick School of Engineering de Northwestern , où il dirige le laboratoire Sensing, Perception, Interactive Computing and Experience (SPICE) .

L'équipe d'Ahuja a dévoilé MobilePoser lors du Symposium ACM 2024 sur les logiciels et technologies d'interface utilisateur à Pittsburgh.

Limites des systèmes actuels

La plupart des cinéphiles connaissent les techniques de capture de mouvement, qui sont souvent révélées dans les images tournées en coulisses. Pour créer des personnages en images de synthèse, comme Gollum dans « Le Seigneur des anneaux » ou les Na'vi dans « Avatar », les acteurs portent des costumes moulants recouverts de capteurs, alors qu'ils rôdent dans des salles spécialisées. Un ordinateur capture les données des capteurs et affiche ensuite les mouvements et les expressions subtiles de l'acteur.

« C’est la référence absolue en matière de capture de mouvement, mais il faut compter plus de 100 000 dollars pour exploiter cette configuration », lance Karan Ahuja. « Nous voulions développer une version accessible et démocratisée que tout le monde peut utiliser avec l’équipement dont il dispose déjà. »

D'autres systèmes de détection de mouvement, comme Microsoft Kinect, par exemple, s'appuient sur des caméras fixes qui enregistrent les mouvements du corps. Si une personne se trouve dans le champ de vision de la caméra, ces systèmes fonctionnent bien, mais ils ne sont pas pratiques pour les applications mobiles ou en déplacement.

Prédire les poses, aucun appareil photo requis

Pour surmonter ces limitations, l’équipe de Karan Ahuja s’est tournée vers les unités de mesure inertielles (IMU), un système qui utilise une combinaison de capteurs (accéléromètres, gyroscopes et magnétomètres) pour mesurer le mouvement et l’orientation d’un corps. Ces capteurs sont déjà présents dans les smartphones et autres appareils, mais leur fidélité est trop faible pour des applications de capture de mouvement précises. Pour améliorer leurs performances, l’équipe de Karan Ahuja a ajouté un algorithme d’intelligence artificielle (IA) multi-étapes personnalisé, qu’elle a formé à l’aide d’un vaste ensemble de données de mesures IMU synthétisées et accessibles au public, générées à partir de données de capture de mouvement de haute qualité.

Grâce aux données du capteur, MobilePoser obtient des informations sur l'accélération et l'orientation du corps. Il transmet ensuite ces données à un algorithme d'IA, qui estime la position et la rotation des articulations, la vitesse et la direction de la marche, ainsi que le contact entre les pieds de l'utilisateur et le sol.

Enfin, MobilePoser utilise un optimiseur basé sur la physique pour affiner les mouvements prédits afin de garantir qu'ils correspondent aux mouvements du corps réels. Dans la vie réelle, par exemple, les articulations ne peuvent pas se plier vers l'arrière et une tête ne peut pas pivoter à 360 degrés. L'optimiseur physique garantit que les mouvements capturés ne peuvent pas non plus se déplacer de manière physiquement impossible.

Le système obtenu présente une erreur de suivi de seulement 8 à 10 centimètres. À titre de comparaison, le Kinect de Microsoft présente une erreur de suivi de 4 à 5 centimètres, en supposant que l'utilisateur reste dans le champ de vision de la caméra. Avec MobilePoser, l'utilisateur a la liberté de se déplacer.

« La précision est meilleure lorsqu'une personne porte plus d'un appareil, comme une montre connectée au poignet et un smartphone dans sa poche », assure Karan Ahuja. « Mais un élément clé du système est qu'il est adaptatif. Même si vous n'avez pas votre montre un jour et que vous n'avez que votre téléphone, il peut s'adapter pour déterminer la posture de votre corps entier. »

Utilisations potentielles : Un assistant proactif

Si MobilePoser pourrait offrir aux joueurs des expériences plus immersives, la nouvelle application présente également de nouvelles possibilités en matière de santé et de remise en forme. Elle va au-delà du simple comptage des pas pour permettre à l'utilisateur de visualiser la posture de son corps entier, afin qu'il puisse s'assurer que sa posture est correcte pendant l'exercice. La nouvelle application pourrait également aider les médecins à analyser la mobilité, le niveau d'activité et la démarche des patients. Karan Ahuja imagine également que la technologie pourrait être utilisée pour la navigation en intérieur, une faiblesse actuelle du GPS, qui ne fonctionne qu'à l'extérieur.

« À l’heure actuelle, les médecins suivent la mobilité des patients grâce à un compteur de pas », explique Karan Ahuja. « C’est un peu triste, n’est-ce pas ? Nos téléphones peuvent calculer la température à Rome. Ils en savent plus sur le monde extérieur que sur notre propre corps. Nous aimerions que les téléphones deviennent plus que de simples compteurs de pas intelligents. Un téléphone devrait être capable de détecter différentes activités, de déterminer vos postures et d’être un assistant plus proactif. »

Pour encourager d'autres chercheurs à s'appuyer sur ces travaux, l'équipe d'Ahuja a publié ses modèles pré-entraînés, ses scripts de prétraitement des données et son code d'entraînement de modèles sous forme de logiciel open source. Karan Ahuja indique également que l'application sera bientôt disponible pour iPhone, AirPods et Apple Watch.

https://news.northwestern.edu/stories/2024/10/app-performs-motion-capture-with-a-smartphone