MAMMA (Markerless Accurate Multi-person Motion Acquisition) utilise la vidéo multicaméra, estime des marqueurs virtuels dans tous les champs de vision, puis ajuste un modèle de corps humain (SMPL-X) à ces marqueurs. Crédit : MPI-IS
Pendant des décennies, la méthode de référence pour capturer les mouvements humains et les numériser a consisté à faire porter aux acteurs des combinaisons munies de marqueurs physiques suivis par des caméras dans un studio spécialisé. Bien que précise, cette technique est longue et coûteuse. Les marqueurs doivent être placés manuellement, ils peuvent se détacher, et si deux personnes se rapprochent trop – par exemple lors d’une étreinte ou d’une danse – le système ne parvient pas à suivre tous les marqueurs, car l’une des personnes masque l’autre dans le champ de la caméra, ce qui réduit considérablement la précision. Un post-traitement important est alors nécessaire pour récupérer le mouvement dans ces séquences complexes. Les créateurs des superproductions hollywoodiennes « Avatar » ou « Le Seigneur des Anneaux » comprendront de quoi nous parlons.
Des systèmes commerciaux sans marqueurs existent ; cependant, ils restent coûteux et sont généralement considérés comme moins précis que les systèmes à marqueurs. Ce problème a incité des chercheurs de l’Institut Max Planck pour les systèmes intelligents (MPI-IS) et de l’Université Carnegie Mellon à développer une technologie de vision par ordinateur qui atteint une précision comparable à celle des systèmes commerciaux à marqueurs, sans le fastidieux nettoyage manuel, et qui, de surcroît, résout le problème complexe de l’interaction rapprochée entre les personnes.
Ces travaux de recherche ont été présentés lors de la conférence CVPR 2026 en juin à Denver. L’article est également disponible sur le serveur de prépublications arXiv .
MAMMA (Markerless Accurate Multi-person Motion Acquisition) utilise la vidéo multicaméra, estime des marqueurs virtuels dans tous les champs de vision et ajuste ensuite un modèle de corps humain ( SMPL-X ) à ces marqueurs. Ainsi, le réseau peut « voir » 512 points de suivi virtuels directement sur la peau des personnes à partir d’images vidéo classiques. Il peut également prédire des poses qu’il n’a jamais vues lors de l’entraînement.
Contrairement aux tentatives précédentes de capture sans marqueurs, qui échouent souvent à restituer fidèlement toutes les formes corporelles et ne sont pas accessibles au public, MAMMA est spécifiquement conçu pour fonctionner avec les appareils photo de smartphones standard et gérer les interactions sociales complexes et les contacts physiques. Les avatars pratiquant les arts martiaux ou deux personnes numériques dansant la salsa sont aussi réalistes que de véritables athlètes ou danseurs.
« La différence de précision de la pose entre notre technologie et les systèmes utilisant des combinaisons et des marqueurs était inférieure à un millimètre. Pourtant, MAMMA peut traiter les données près de trois fois plus vite que le flux de travail manuel requis par les systèmes traditionnels. Elle est même compatible avec des appareils grand public, comme des iPhones », explique Hanz Cuevas Velasquez, chercheur au département des systèmes de perception de l’Institut Max Planck des sciences et technologies (MPI-IS) et premier auteur de l’article sur MAMMA.
Crédit : MPI-IS
Industries en transformation
Les chercheurs prévoient que cette technologie aura un impact profond sur des secteurs tels que la médecine et la biomécanique, la réalité virtuelle et le métavers, les sciences du sport, ainsi que les industries du cinéma et du jeu vidéo.
Anastasios Yiannakidis, ingénieur de recherche au sein du même département, a déclaré : « Ce système peut être utilisé pour suivre les mouvements des patients dans le cadre de la physiothérapie ou de la recherche biomécanique. Comme il ne nécessite aucun marqueur, il est beaucoup moins intrusif pour les patients et peut être utilisé dans des environnements plus naturels qu’en laboratoire clinique. »
En reconstituant avec précision la forme et la pose du corps et des mains d’une personne, MAMMA peut créer des avatars numériques réalistes pour les environnements de réalité virtuelle sociale, rendant les interactions virtuelles plus humaines et expressives.
Les entraîneurs sportifs pourraient utiliser cette technologie pour analyser simultanément la forme et la technique de plusieurs athlètes lors des séances d’entraînement, sans perturber leurs mouvements avec un équipement encombrant.
Acteurs portant des combinaisons moulantes de capture de mouvement avec marqueurs physiques. Crédit : MPI-IS / W. Scheible
« MAMMA change la donne à bien des égards. Cette technologie permet aux développeurs de jeux de capturer des animations réalistes et riches en interactions, comme des combats de lutte ou de danse, sans les coûts exorbitants d’un studio de capture de mouvement de grande envergure. Elle permettra aux studios indépendants et aux équipes de recherche de plus petite taille de créer des mouvements de personnages aussi aboutis que ceux des superproductions cinématographiques », explique Tsvetelina Alexiadis, responsable de l’équipe de données et co-auteure de l’article.
En mettant leurs données et leurs outils à la disposition de la communauté universitaire, l’équipe de scientifiques espère susciter une nouvelle vague d’innovation dans la manière dont les mouvements de plusieurs personnes sont enregistrés afin de mieux reproduire et comprendre le mouvement humain.
https://techxplore.com/news/2026-09-virtual-markers-smartphone-cameras-reconstruct.html
