Mona Lisa prend vie grâce à la recherche sur les réseaux adverses génératifs de Samsung (Crédit : Samsung AI Center, Moscou/Skolkovo Institute of Science and TEchnology)
Utilisant la dernière tendance de l’intelligence artificielle – l’apprentissage adverse (1) – le Centre d’IA de Samsung à Moscou a démontré qu’il peut prendre une seule image d’une personne et la transformer en une tête qui parle. Et si le fait de voir Mona Lisa prendre vie ne vous donne pas des frissons dans le dos, vous devez vérifier votre pouls.
Le système prend un certain nombre d’images d’une personne – et ce nombre pourrait n’être qu’un ou plusieurs pour obtenir de meilleurs résultats – et les fait passer dans un » traceur de repère de visage » prêt à l’emploi pour déterminer où se trouvent les yeux, les sourcils, le nez, les lèvres et la mâchoire. Il en va de même pour une autre vidéo source « pilote », allant image par image pour suivre le mouvement de ces repères faciaux.
Il y a une étape distincte de méta-apprentissage, au cours de laquelle différents réseaux d’IA sont formés pour effectuer différents travaux, en utilisant un énorme ensemble de données vidéo de têtes parlantes. Un réseau Embedder prend les trames sources et leurs données de suivi de points de repère pour créer des vecteurs, tandis qu’un réseau Generator apprend à prendre des vecteurs et des images, et génère de courtes vidéos dans lesquelles les faces fixes sont animées pour se déplacer en fonction du mouvement vectoriel.
La technologie peut prendre une vidéo d’une personne qui parle, et la mettre en correspondance avec celle d’une autre personne.
Le troisième réseau « Discriminator » met en place la relation contradictoire ou adverse- il apprend à regarder des vidéos de visages en mouvement, et à dire lesquelles sont de vraies vidéos, et lesquelles ont été truquées par le réseau Generator. Il y a donc deux réseaux qui s’opposent l’un à l’autre, l’un essayant de tromper l’autre, l’autre de repérer les faux.
Ces réseaux commencent vraiment mal dans leur travail, mais comme ils le font des millions de fois, ils commencent à s’améliorer, et la concurrence entre les deux réseaux est ce qui les pousse à s’améliorer. Le réseau Discriminator ne cherche pas les mêmes choses qu’un faux observateur humain, mais cela n’a pas d’importance – quoi qu’il cherche, il s’améliore sans cesse dans la discrimination, donc le réseau Generator doit continuer à s’améliorer pour continuer à le tromper.
C’est un autre aperçu du potentiel très excitant des Réseaux Adverses Génératifs, qui font leur apparition partout dans le monde de l’IA. Mais pour vraiment l’apprécier, vous devez regarder la vidéo ci-dessous. Passez directement à 4:16 si vous voulez voir comment le modèle se comporte avec les photos de Marilyn Monroe, Salvador Dali, Raspoutine et Einstein, puis avec les peintures.
Conduit par trois vidéos de conduite différentes, chaque visage montre trois personnalités très différentes – c’est un clin d’œil à quel point un acteur peut changer sa personnalité perçue en apprenant à utiliser ses muscles du visage et du corps de différentes manières. Et voir la Joconde prendre vie pourrait vous faire sourire – jusqu’à ce que vous réfléchissiez à ce que de tels développements signifient pour toujours plus de réalisme et de facilité à produire des imitations profondes.
- En intelligence artificielle, les réseaux adverses génératifs sont une classe d’algorithmes d’apprentissage non-supervisé. Ces algorithmes ont été introduits par Goodfellow et al. 2014. Ils permettent de générer des images avec un fort degré de réalisme
