L'IA aide les humains numériques à se déplacer plus naturellement lorsqu'ils parlent.

La rédaction ·

DynaConTalk associe des indices multimodaux de la parole à un mouvement 3D holistique accompagnant la parole dans un espace d'ondelettes aligné. Crédit : arXiv DOI : 10.48550/arxiv.2610.09846

La communication humaine ne se limite pas aux mots. Lever la main, changer de posture ou exprimer une émotion contribuent à transmettre sens et émotions. Des chercheurs ont mis au point un système d'intelligence artificielle (IA) capable de traduire la parole en mouvements coordonnés du corps, des mains et du visage, ce qui pourrait rendre les personnages numériques et les présentateurs virtuels plus expressifs et réalistes.

Développé par des chercheurs de l'Université de Tohoku et de l'Université de Hong Kong, DynaConTalk génère des mouvements humains tridimensionnels (3D) qui correspondent au contenu parlé.

Contrairement aux systèmes qui génèrent uniquement des gestes isolés, ce système coordonne différentes parties du corps tout en assurant une fluidité des mouvements lors de discours plus longs. L'utilisateur peut également guider le mouvement généré en spécifiant des poses ou en fournissant des exemples de référence.

Les résultats ont été publiés dans ACM Transactions on Graphics . Ces travaux de recherche seront également présentés lors de SIGGRAPH Asia 2026, qui se tiendra à Kuala Lumpur, en Malaisie, du 1er au 4 décembre.

Séquence de postures générées par DynaConTalk à partir de la parole. L'évolution de la posture, des gestes des mains et des expressions faciales illustre la coordination des mouvements du corps par le système au fil du temps. Crédit : Yifei Zhu et al.

Coordination des mouvements amples et subtils

Générer des mouvements corporels complets réalistes à partir de la parole présente plusieurs défis. Les changements importants de posture peuvent masquer les mouvements plus subtils, comme les gestes des doigts et les expressions faciales, ce qui complique leur apprentissage par les modèles d'IA. Il peut en résulter des gestes répétitifs ou des tremblements artificiels. Un autre problème survient lors de l'assemblage de segments de mouvement générés séparément, ce qui peut parfois engendrer des variations notables de vitesse ou de rythme.

Pour résoudre ces problèmes, DynaConTalk décompose le mouvement en composantes plus lentes et plus rapides tout en les maintenant synchronisées. Ceci est comparable à la décomposition du son en composantes de basses et hautes fréquences.

En apprenant simultanément ces différents types de mouvements, le système peut saisir aussi bien les changements posturaux importants que les gestes subtils et brefs. Il ajuste également de manière dynamique son recours aux différentes caractéristiques de la parole, telles que le rythme, les particularités de la voix et les mots prononcés, lors de la génération du mouvement.

Le système utilise également les informations issues des mouvements précédemment générés pour guider le segment suivant. Cela lui permet de maintenir la continuité sur les séquences plus longues, de réduire les transitions abruptes et de produire des mouvements plus naturels lors des discours prolongés.

Crédit : Université de Tohoku

Des notes plus élevées dans quatre catégories

Les chercheurs ont évalué DynaConTalk à l'aide de deux ensembles de données publics de parole et de mouvements humains, BEAT2 et SHOW. Ils ont également mené une étude auprès de 30 participants qui ont comparé des vidéos générées par trois systèmes différents sur 15 exemples de parole.

DynaConTalk a obtenu les meilleures notes moyennes dans les quatre catégories d'évaluation : naturel, correspondance avec le contenu oral, synchronisation et diversité des mouvements. Les évaluations automatisées ont par ailleurs démontré que les mouvements générés se rapprochaient davantage de la distribution des mouvements humains enregistrés.

Des personnages animés à la marche

Cette technologie pourrait trouver des applications dans l'animation de personnages pour les jeux vidéo et les films, les présentateurs virtuels, l'enseignement en ligne et la communication à distance. Par exemple, les créateurs pourraient spécifier la pose initiale d'un personnage ou fournir un mouvement de référence, puis laisser l'IA générer les gestes et expressions environnants. Cela offre une méthode plus flexible pour créer des personnages animés dont les mouvements complètent leurs paroles.

L'équipe espère étendre cette approche à une plus grande variété de mouvements corporels, notamment la marche. Cependant, les ensembles de données existants contiennent des exemples relativement limités de mouvements à grande échelle, et la parole seule ne fournit pas suffisamment d'informations pour déterminer comment une personne se déplace dans l'espace. Les chercheurs prévoient d'explorer des ensembles de données de mouvement plus importants et des indications supplémentaires sur les trajectoires de déplacement afin de pallier ces limitations.

https://www.tohoku.ac.jp/en/press/ai_helps_digital_humans_move_more_naturally_as_they_speak.html

https://dx.doi.org/10.1145/3842553

https://dx.doi.org/10.48550/arxiv.2610.09846

 

Source : tohoku.ac.jp

Cet article vous a été utile ? Partagez-le.