Le modèle d'IA restitue avec précision les mouvements des vêtements des avatars
infohightech ·
L'ère a commencé où l'IA va au-delà du simple « dessin plausible » pour comprendre pourquoi les vêtements flottent et pourquoi les plis se forment.
Une équipe de recherche du KAIST a développé une nouvelle IA générative capable d'apprendre les mouvements et les interactions dans l'espace 3D en suivant les lois de la physique. Cette technologie, qui surmonte les limites de l'IA vidéo 2D existante , devrait améliorer le réalisme des avatars dans les films, le métavers et les jeux vidéo, et réduire considérablement le recours à la capture de mouvement ou au travail graphique 3D manuel.
Le travail est publié sur le serveur de pré-impression arXiv .
Une équipe de recherche dirigée par le professeur Tae-Kyun (TK) Kim de l'École d'informatique a développé « MPMAvatar », un modèle d'IA générative basé sur l'espace et la physique qui surmonte les limites de la technologie existante de génération de vidéo 2D basée sur les pixels.
Pour résoudre les problèmes de la technologie 2D conventionnelle, l'équipe de recherche a proposé une nouvelle méthode qui reconstruit des images multi-vues dans un espace 3D en utilisant le gaussian splatting et la combine avec la méthode du point matériel (MPM), une technique de simulation physique.
En d’autres termes, l’IA a été entraînée à apprendre les lois physiques par elle-même en reconstruisant de manière stéréoscopique des vidéos prises à partir de plusieurs points de vue et en permettant aux objets dans cet espace de se déplacer et d’interagir comme s’ils étaient dans le monde physique réel.
Crédit : Institut coréen avancé des sciences et technologies (KAIST)
Cela permet à l'IA de calculer le mouvement en fonction du matériau, de la forme et des forces externes des objets, puis d'apprendre les lois physiques en comparant les résultats avec des vidéos réelles.
L'équipe de recherche a représenté l'espace 3D à l'aide d'unités ponctuelles et, en appliquant à la fois la méthode gaussienne et la méthode MPM à chaque point, elle a obtenu simultanément un mouvement physiquement naturel et un rendu vidéo réaliste.
Autrement dit, ils ont divisé l'espace 3D en de nombreux petits points, faisant bouger et déformer chaque point comme un objet réel, réalisant ainsi une vidéo naturelle presque impossible à distinguer de la réalité.
En particulier, pour exprimer avec précision l'interaction d'objets minces et complexes comme les vêtements, ils ont calculé à la fois la surface de l'objet (maille) et sa structure unitaire en particules (point), et ont utilisé la méthode du point matériel (MPM), qui calcule le mouvement et la déformation de l'objet dans l'espace 3D selon les lois physiques.
De plus, ils ont développé une nouvelle technologie de gestion des collisions pour reproduire de manière réaliste des scènes dans lesquelles des vêtements ou des objets bougent et entrent en collision les uns avec les autres à plusieurs endroits et de manière complexe.
Modélisation de nouvelles poses humaines et de dynamiques vestimentaires à partir d'entrées vidéo multi-vues, et génération d'interactions physiques inédites. Crédit : arXiv (2025). DOI : 10.48550/arxiv.2510.01619
Le modèle d'IA générative MPMAvatar, auquel cette technologie est appliquée, a reproduit avec succès le mouvement et l'interaction réalistes d'une personne portant des vêtements amples, et a également réussi la génération zéro coup, où l'IA traite des données qu'elle n'a jamais vues pendant le processus d'apprentissage en déduisant par elle-même.
La méthode proposée est applicable à diverses propriétés physiques, telles que les corps rigides, les objets déformables et les fluides, ce qui lui permet d'être utilisée non seulement pour les avatars mais également pour la génération de scènes complexes générales.
Le professeur Tae-Kyun (TK) Kim a expliqué : « Cette technologie va au-delà du simple dessin d'une image par l'IA ; elle lui permet de comprendre pourquoi le monde qui l'entoure est tel qu'il est. Cette recherche démontre le potentiel de l'IA physique, capable de comprendre et de prédire les lois de la physique, marquant ainsi un tournant important vers l'IAG (Intelligence Artificielle Générale). »
Il ajoute : « On s'attend à ce qu'il soit appliqué concrètement à l'ensemble du secteur du contenu immersif, y compris la production virtuelle, les films, le contenu de courte durée et les publicités, créant ainsi des changements significatifs. »
L'équipe de recherche étend actuellement cette technologie pour développer un modèle capable de générer des vidéos 3D physiquement cohérentes simplement à partir de la saisie de texte d'un utilisateur.