En quelques clics, les acteurs peuvent paraître plus jeunes ou plus vieux sans avoir recours à des effets visuels coûteux.

Démontrant une nouvelle fois la puissance de l’intelligence artificielle lorsqu’il s’agit de modifier des séquences de manière photoréaliste, des chercheurs de Disney ont révélé un nouvel outil de vieillissement/dé-vieillissement capable de donner à un acteur une apparence plus ou moins jeune et convaincante, sans nécessiter des semaines de travail complexe et coûteux en effets visuels.

Lorsqu’ils regardent un film à succès comme Ant-Man et la Guêpe (The Wasp) de 2018, la plupart des spectateurs peuvent facilement repérer le travail des nombreux studios d’effets visuels qui contribuent à ces films, qu’il s’agisse des moments flashy où Ant-Man rétrécit ou grandit dans des proportions gigantesques.

Mais c’est parfois le travail d’effets visuels plus subtil qui est le plus difficile à réaliser de manière photoréaliste, comme les plans mettant en scène des versions plus jeunes des acteurs Michelle Pfeiffer et Michael Douglas. Pour obtenir des résultats comme ceux que l’on voit dans le film, des artistes talentueux doivent soit passer des semaines à effacer les rides et autres signes révélateurs de l’âge du visage d’un acteur, soit le remplacer entièrement par un double généré par ordinateur.

Les effets visuels sont un outil cinématographique puissant, mais il existe de nombreuses raisons de trouver des moyens de les rendre plus faciles à créer, qu’il s’agisse d’alléger la charge de travail d’artistes déjà surchargés et sous-payés ou de rendre les outils accessibles aux cinéastes qui ne travaillent pas avec d’immenses budgets hollywoodiens. Bien sûr, même pour les grands studios, il y a un intérêt à pouvoir automatiser ce type de travail.

C’est pourquoi des sociétés comme Disney investissent dans la recherche pour faire progresser l’art des effets visuels. Ces dernières années, ces chercheurs ont également étudié comment l’intelligence artificielle pouvait simplifier le travail des effets visuels. Il y a deux ans, les studios de recherche Disney ont mis au point des outils alimentés par l’intelligence artificielle capables de générer des vidéos d’échange de visages d’une qualité et d’une résolution suffisantes pour être utilisées dans le cadre de la réalisation de films professionnels (et non sous la forme de GIF d’une qualité douteuse partagés sur Internet).

Cette année, les chercheurs font la démonstration d’un nouvel outil qui exploite les astuces de l’IA pour faire paraître les acteurs plus vieux ou plus jeunes, sans les semaines de travail habituellement nécessaires pour perfectionner ce type de plans.

Le re-vieillissement des visages prêt pour la production d’effets visuels

L’utilisation de réseaux neuronaux et de l’apprentissage automatique pour vieillir ou rajeunir une personne a déjà été testée. Si les résultats sont assez convaincants lorsqu’ils sont appliqués à des images fixes, ils ne permettent pas d’obtenir des résultats photoréalistes sur des vidéos en mouvement, avec des artefacts temporels qui apparaissent et disparaissent d’une image à l’autre, et l’apparence de la personne qui devient parfois méconnaissable au fur et à mesure que la vidéo est modifiée.

Pour créer un outil d’intelligence artificielle capable de modifier l’âge des personnes, qui soit prêt à répondre aux exigences d’Hollywood et suffisamment souple pour fonctionner sur des séquences en mouvement ou des plans où l’acteur ne regarde pas toujours directement la caméra, les chercheurs de Disney, comme l’explique un article récemment publié, ont d’abord créé une base de données de milliers de visages synthétiques générés de manière aléatoire. Des outils existants d’apprentissage automatique du vieillissement ont ensuite été utilisés pour vieillir et dé-vieillir ces milliers de sujets de test inexistants, et ces résultats ont ensuite été utilisés pour entraîner un nouveau réseau neuronal appelé FRAN (face re-aging network).

Une illustration étape par étape de la façon dont FRAN génère des changements de vieillissement/dé-vieillissement qui sont appliqués au visage d’entrée original.

Lorsque FRAN reçoit un cliché d’entrée, au lieu de générer un cliché modifié, il prédit les parties du visage qui seraient modifiées par l’âge, comme l’ajout ou la suppression de rides, et ces résultats sont ensuite superposés au visage original comme un canal supplémentaire d’informations visuelles. Cette approche préserve avec précision l’apparence et l’identité de l’interprète, même lorsque sa tête bouge, lorsque son visage regarde autour de lui ou lorsque les conditions d’éclairage d’un plan changent au fil du temps. Elle permet également à l’artiste d’ajuster et de modifier les changements générés par l’IA, ce qui constitue une partie importante du travail VFX : faire en sorte que les modifications se fondent parfaitement dans un plan afin qu’elles soient invisibles pour le public.

https://studios.disneyresearch.com/2022/11/30/production-ready-face-re-aging-for-visual-effects/