Crédit : Pavel Danilyuk de Pexels
Comme tout athlète vous le dira, c’est en s’entraînant parfaitement qu’on atteint la perfection. Mais pour ceux qui n’ont pas accès régulièrement à un entraîneur, maintenir une bonne technique peut s’avérer complexe. D’ailleurs, pendant la pandémie de COVID-19, alors que beaucoup faisaient du sport à domicile, la Commission américaine de la sécurité des produits de consommation a constaté une augmentation de 48 % des blessures liées à la pratique d’exercices à domicile.
Dans l’espoir de prévenir certaines de ces blessures et d’optimiser l’expertise des entraîneurs, des chercheurs des universités Drexel et Michigan State ont développé un prototype de programme utilisant l’intelligence artificielle et la vision par ordinateur pour analyser les vidéos et fournir des conseils techniques en temps réel. L’article est disponible sur le serveur de prépublication arXiv .
Ce programme, qui intègre la modélisation biomécanique à la vision par ordinateur et à un modèle vision-langage, est conçu pour fournir en temps réel des retours d’information personnalisés ainsi que des explications sur les conseils prodigués pendant un exercice – une prouesse qui s’est avérée complexe pour la plupart des applications de coaching sportif. Les chercheurs ont publié leurs travaux avant de présenter leur prototype, baptisé BioCoach, lors de la Conférence sur la vision par ordinateur et la reconnaissance des formes , organisée par l’IEEE et la Computer Vision Foundation en juin.
Crédit : Université Drexel
« Nombreux sont ceux qui s’entraînent à domicile avec des vidéos et des applications sans bénéficier d’une évaluation précise de leurs mouvements », explique Feng Liu, docteur en philosophie et professeur adjoint à la faculté d’ingénierie et d’informatique de Drexel, qui a dirigé la recherche. « Les retours sont souvent trop génériques ou se limitent à des encouragements, sans véritable accompagnement. Avec BioCoach, notre objectif est de fournir des indications précises et opportunes, basées sur l’analyse des mouvements corporels, à l’image des conseils qu’un coach sportif compétent pourrait donner. »
Le laboratoire d’intelligence visuelle de Feng à Drexel applique des techniques avancées de vision par ordinateur, d’apprentissage automatique et de modélisation 3D du corps humain pour étudier les problèmes liés à l’entraînement physique, à l’évaluation clinique de la démarche et à l’enseignement en classe.
Pour préparer BioCoach, l’équipe a commencé par un référentiel de coaching vidéo d’exercices : le Qualcomm Exercise Video Dataset (QEVD), disponible publiquement, qui comprend des centaines d’heures de séquences d’exercices ainsi que des commentaires de coaching horodatés.
Les commentaires initiaux se limitaient à de brèves indications, comme « abaissez davantage votre corps ». Les chercheurs ont donc créé une nouvelle version en y ajoutant des annotations plus détaillées, par exemple : « augmentez la flexion du coude à 90 degrés en position basse ». Ils ont également ajouté une brève explication, telle que : « augmentez la flexion de la hanche et du genou pour mieux répartir la charge ».
Au total, l’équipe a ajouté plus de 2 400 notes à plus de 200 vidéos utilisées pour l’entraînement et les tests de BioCoach. Ces annotations ont permis de préparer le vaste modèle de langage qui fournit un accompagnement et des conseils à l’utilisateur. Grâce à la conservation des horodatages dans leur ensemble de données annotées, ce nouveau référentiel permettra aux chercheurs d’évaluer non seulement la qualité des conseils prodigués par le système, mais aussi sa capacité à réagir au moment opportun.
Grâce à cet ensemble de données amélioré sur les retours d’information vidéo des exercices, l’équipe a conçu BioCoach pour analyser chaque vidéo à travers deux flux d’informations complémentaires afin d’accéder aux conseils appropriés et de les fournir à l’utilisateur.
Un flux de données capture l’apparence visuelle et les schémas de mouvement grâce à un réseau neuronal convolutif 3D, un programme d’apprentissage profond capable d’identifier des objets individuels dans des images et des vidéos. L’autre flux permet à BioCoach d’estimer les mouvements squelettiques 3D et la morphologie corporelle, donnant ainsi au programme accès à des informations sur les angles articulaires, les amplitudes de mouvement et les phases de l’exercice.
Grâce à l’accès à ces flux d’informations, BioCoach peut accéder à des données biomécaniques structurées et spécifiques à chaque articulation. Ainsi, avant de fournir un retour d’information, il identifie d’abord les articulations les plus pertinentes pour chaque exercice (par exemple, les hanches, les genoux et les chevilles pour les squats, ou les épaules, les coudes et les poignets pour les pompes), afin de proposer un accompagnement plus précis.
Grâce à ce processus, le programme est également capable d’utiliser des informations sur la morphologie corporelle et l’analyse de la qualité des mouvements pour fournir les informations structurées que son modèle de langage traduit en un retour d’information spécifique basé sur la biomécanique.
« Notre objectif était de créer un système qui aille au-delà de la simple analyse de pixels et de la génération d’un commentaire générique », a déclaré Liu. « BioCoach soumet le modèle aux mouvements 3D, aux angles articulaires et aux contraintes spécifiques à l’exercice, afin que le retour d’information puisse pointer vers un problème de mouvement concret et expliquer son importance. »
Après avoir préparé le programme, l’équipe s’est mise en quête de le tester face à la concurrence de haut niveau : les programmes d’IA de langage vidéo développés par les équipes de recherche et développement de NVIDIA, ByteDance, Alibaba, Salesforce, OpenAI, l’université Jiao Tong de Shanghai, l’université chinoise de Hong Kong, l’université de Pékin et le laboratoire Peng Cheng en Chine, ainsi que le Massachusetts Institute of Technology.
Les programmes ont été testés en leur présentant plusieurs vidéos d’exercices, certaines issues de la base de données QEVD originale et d’autres annotées par l’équipe. Les réponses de chaque programme ont été comparées à celles de la base de données QEVD originale ainsi qu’à celles ajoutées par les chercheurs, la notation étant basée sur la pertinence, l’exactitude et la précision des réponses.
En répondant aux vidéos de l’ensemble de données original, BioCoach a surpassé son concurrent le plus proche, Stream-VLM — un programme créé par des chercheurs du MIT et de NVIDIA — en termes de qualité du texte et d’exactitude jugée, tandis que son score de temps était proche mais légèrement inférieur.
Mais il a surpassé Stream-VLM sur tous les plans lorsque ses commentaires ont été comparés à ceux de l’ensemble de données comportant des annotations plus spécifiques, démontrant des améliorations particulières en matière d’exactitude biomécanique et de commentaires détaillés et spécifiques à l’anatomie.
Les chercheurs suggèrent que ces résultats montrent que l’ajout d’une cinématique 3D explicite et d’un contexte biomécanique peut améliorer la qualité et l’interprétabilité du retour d’information en temps réel sur l’exercice sans réduire sensiblement la réactivité.
« Il est encourageant de constater que BioCoach a obtenu d’aussi bons résultats face aux programmes conçus par certains des chercheurs et entreprises les plus réputés dans le domaine de l’IA », a déclaré Feng. « Bien qu’il s’agisse encore d’un prototype, il démontre comment l’association de la vision par ordinateur et d’un raisonnement biomécanique structuré peut rendre les systèmes de coaching par IA plus utiles et plus faciles à évaluer. »
L’équipe prévoit de poursuivre ses travaux en améliorant le programme afin qu’il puisse estimer les forces de réaction articulaire et les schémas d’activation musculaire à partir de vidéos, dans le but de détecter de légers mouvements compensatoires susceptibles d’entraîner des blessures pendant l’exercice.
« Nous pensons que ces travaux pourraient à terme permettre le développement d’applications d’exercice et de physiothérapie qui prolongent l’expertise des coachs et entraîneurs entre les séances en présentiel », a déclaré Liu. « Un futur système pourrait aider les utilisateurs à recevoir des retours plus précis et plus opportuns lors de leurs entraînements individuels, tout en maintenant l’expertise humaine au cœur du processus. »
https://drexel.edu/news/archive/2026/June/BioCoach-AI-CV-exercise-form-coaching
