Les clones IA de Synthesia sont plus expressifs que jamais. Bientôt, ils pourront répondre.
infohightech ·
Plus tôt cet été, j'ai traversé le hall vitré d'un bureau chic à Londres, pris un ascenseur, puis un couloir menant à une pièce propre et moquettée. La lumière naturelle inondait la pièce par les fenêtres, et deux grands systèmes d'éclairage en forme de parapluies rendaient la pièce encore plus lumineuse. J'ai essayé de ne pas plisser les yeux en prenant place devant un trépied équipé d'une grande caméra et d'un ordinateur portable affichant un téléprompteur. J'ai pris une grande inspiration et commencé à lire le script.
Je ne suis ni un présentateur de journal télévisé ni un acteur en audition pour un film. J'étais en visite chez Synthesia, une entreprise spécialisée dans l'IA, afin de lui donner les moyens de créer un avatar hyperréaliste de moi-même, généré par l'IA. Les avatars de l'entreprise sont un bon indicateur des progrès fulgurants de l'IA ces dernières années. J'étais donc curieux de savoir avec quelle précision son dernier modèle d'IA, présenté le mois dernier, pouvait me reproduire.
Lors de son lancement en 2017, Synthesia avait pour objectif principal de faire correspondre des versions IA de vrais visages humains – par exemple, celui de l'ancien footballeur David Beckham – avec des voix doublées parlant différentes langues. Quelques années plus tard, en 2020, Synthesia a commencé à offrir aux entreprises qui souscrivaient à ses services la possibilité de réaliser des vidéos de présentation de qualité professionnelle mettant en scène soit des versions IA de membres du personnel, soit des acteurs consentants. Mais la technologie n'était pas parfaite. Les mouvements corporels des avatars pouvaient être saccadés et peu naturels, leur accent parfois flou, et les émotions exprimées par leurs voix ne correspondaient pas toujours à leurs expressions faciales.
Les avatars de Synthesia ont été mis à jour avec des gestes et des mouvements plus naturels, ainsi que des voix expressives qui préservent mieux l'accent de l'orateur, lui conférant une apparence plus humaine que jamais. Pour les entreprises clientes de Synthesia, ces avatars permettront de présenter avec plus d'aisance leurs résultats financiers, leurs communications internes ou leurs vidéos de formation.
J'ai trouvé la vidéo de présentation de mon avatar aussi déconcertante qu'impressionnante techniquement. Elle est suffisamment aboutie pour ressembler à l'enregistrement haute définition d'un discours d'entreprise enjoué, et si vous ne me connaissiez pas, vous penseriez probablement que c'est exactement ce que c'est. Cette démonstration montre à quel point il devient difficile de distinguer l'artificiel du réel. Et bientôt, ces avatars pourront même nous répondre. Mais jusqu'où peuvent-ils aller ? Et quel impact pourrait avoir l'interaction avec des clones d'IA sur nous ?
Le processus de création
Lorsque mon ancienne collègue Melissa s'est rendue au studio londonien de Synthesia pour créer son avatar l'année dernière , elle a dû passer par un long processus de calibrage du système, de lecture d'un script dans différents états émotionnels et de prononciation des sons nécessaires à la formation des voyelles et des consonnes. Quinze mois plus tard, dans la pièce lumineuse, je suis soulagée d'apprendre que le processus de création a été considérablement simplifié. Josh Baker-Mendoza, superviseur technique de Synthesia, m'encourage à faire des gestes et à bouger les mains comme je le ferais lors d'une conversation naturelle, tout en me mettant en garde contre les mouvements excessifs. Je répète comme il se doit un script trop enthousiaste, conçu pour m'encourager à parler avec émotion et enthousiasme. Le résultat est un peu comme si Steve Jobs avait été ressuscité sous les traits d'une Britannique blonde à la voix grave et monotone.
Cela a aussi le regret de me faire passer pour un employé de Synthesia. « Je suis ravi d'être parmi vous aujourd'hui pour vous présenter nos projets. Nous sommes à la pointe de l'innovation et les possibilités sont infinies », je répète avec enthousiasme, en essayant de paraître dynamique plutôt que surexcité. « Alors préparez-vous à participer à quelque chose qui vous fera dire "Waouh !" Cette opportunité n'est pas seulement immense, elle est monumentale. »
Une heure plus tard, l'équipe disposait de toutes les images nécessaires. Quelques semaines plus tard, je recevais deux avatars de moi-même : l'un utilisant l'ancien modèle Express-1, l'autre la dernière technologie Express-2. Cette dernière, affirme Synthesia, rend ses humains synthétiques plus réalistes et plus fidèles aux personnes qu'ils modélisent, avec des gestes, des mouvements du visage et des paroles plus expressifs. Vous pouvez constater le résultat ci-dessous.
AVEC L'AIMABLE AUTORISATION DE SYNTHESIA
L'année dernière, Melissa a constaté que son avatar, doté d'Express-1, ne correspondait pas à son accent transatlantique. Sa palette d'émotions était également limitée : lorsqu'elle demandait à son avatar de lire un texte avec colère, il semblait plus plaintif que furieux. Depuis, Synthesia a amélioré Express-1, mais la version de mon avatar, créée avec la même technologie, cligne furieusement des yeux et peine toujours à synchroniser ses mouvements corporels avec la parole.
En revanche, je suis frappé par la ressemblance de mon nouvel avatar Express-2 : ses traits du visage reflètent parfaitement les miens. Sa voix est d'une précision étrange, et bien qu'il gesticule plus que moi, ses mouvements de mains correspondent généralement à ce que je dis.
Mais les minuscules signes révélateurs de la génération d'IA sont toujours là, si l'on sait où regarder. Les paumes de mes mains sont d'un rose vif et lisses comme du mastic. Des mèches de cheveux pendent raides sur mes épaules au lieu de bouger avec moi. Ses yeux fixent droit devant eux, sans cligner des yeux. Et bien que sa voix soit incontestablement la mienne, il y a quelque chose de légèrement étrange dans les intonations et le ton de mon clone numérique. « C'est génial ! » déclare mon avatar au hasard, avant de retomber dans un registre plus raisonnable.
Anna Eiserbeck, chercheuse postdoctorale en psychologie à l'Université Humboldt de Berlin, qui a étudié la façon dont les humains réagissent aux visages perçus comme deepfake, dit qu'elle n'est pas sûre d'avoir pu identifier mon avatar comme un deepfake au premier coup d'œil.
Mais elle a dû finir par remarquer quelque chose d'anormal. Ce ne sont pas seulement les petits détails qui le trahissent – ma boucle d'oreille étrangement statique, la façon dont mon corps bouge parfois par petits soubresauts. C'est quelque chose de bien plus profond, explique-t-elle.
« Quelque chose semblait un peu vide. Je sais qu'il n'y a aucune émotion réelle derrière – ce n'est pas un être conscient. Il ne ressent rien », dit-elle. Regarder la vidéo lui a procuré « une sensation étrange ».
Mon clone numérique et la réaction d'Eiserbeck à son égard me font me demander à quel point ces avatars doivent vraiment être réalistes.
Je me rends compte que si mon avatar me déconcerte, c'est en partie parce qu'il se comporte d'une manière que j'ai rarement à adopter. Son ton étrangement optimiste contraste totalement avec ma façon habituelle de parler ; je suis un Britannique cynique et endurci qui a du mal à exprimer son enthousiasme, même lorsque je suis sincèrement ravi ou excité. C'est comme ça. De plus, regarder les vidéos en boucle me fait me demander si j'agite vraiment les mains de cette façon, ou si je bouge la bouche d'une manière aussi étrange. Si vous pensiez qu'être confronté à votre propre visage lors d'une visioconférence Zoom était une leçon d'humilité, attendez de voir un avatar de vous-même.
Lorsque Facebook a commencé à décoller au Royaume-Uni il y a près de 20 ans, mes amis et moi pensions que se connecter illégalement aux comptes des autres et publier les statuts les plus scandaleux ou les plus rageurs était le summum de l'humour. Je me demande si l'équivalent ne sera pas bientôt de faire dire à l'avatar de quelqu'un d'autre quelque chose de vraiment embarrassant : exprimer son soutien à un homme politique tombé en disgrâce ou (dans mon cas) admettre aimer la musique d'Ed Sheeran.
Express-2 transforme chaque personne qu'il rencontre en un orateur professionnel raffiné, avec le langage corporel d'un animateur hyperactif. Et si cela semble parfaitement logique pour une entreprise axée sur la création de vidéos professionnelles soignées, regarder mon avatar ne donne pas du tout l'impression de me regarder. C'est une toute autre impression.
Comment ça marche
Le véritable défi technique actuel réside moins dans la création d'avatars qui correspondent à notre apparence que dans leur capacité à reproduire notre comportement, explique Björn Schuller, professeur d'intelligence artificielle à l'Imperial College de Londres. « Il y a beaucoup de choses à prendre en compte pour réussir ; il faut avoir le bon micro-geste, la bonne intonation, le bon son de voix et le bon mot », explique-t-il. « Je ne veux pas qu'un avatar IA fronce les sourcils au mauvais moment ; cela pourrait envoyer un message totalement différent. »
Pour atteindre un niveau de réalisme accru, Synthesia a développé plusieurs nouveaux modèles d'IA audio et vidéo. L'équipe a créé un modèle de clonage vocal préservant l'accent, l'intonation et l'expressivité du locuteur humain, contrairement à d'autres modèles vocaux, qui aplatissent les accents distinctifs des locuteurs pour leur donner des voix typiquement américaines.
Pour certains, les clones numériques représentent l'avenir de l'influence et de la productivité : des visages, des voix et des personnalités à l'infini. Mon clone était décevant.
Lorsqu'un utilisateur télécharge un script sur Express-1, son système analyse les mots pour en déduire le ton correct. Ces informations sont ensuite intégrées à un modèle de diffusion, qui reproduit les expressions faciales et les mouvements de l'avatar en fonction du discours.
Outre le modèle vocal, Express-2 utilise trois autres modèles pour créer et animer les avatars. Le premier génère les gestes de l'avatar pour accompagner la parole transmise par le modèle Express-Voice. Un second évalue la cohérence entre le signal audio d'entrée et les différentes versions du mouvement généré avant de sélectionner la meilleure. Enfin, un modèle final restitue l'avatar avec le mouvement choisi.
Ce troisième modèle de rendu est nettement plus performant que son prédécesseur, Express-1. Alors que le modèle précédent comptait quelques centaines de millions de paramètres, celui d'Express-2 se compte en milliards. Cela signifie que la création de l'avatar est plus rapide, explique Youssef Alami Mejjati, responsable de la recherche et du développement chez Synthesia :
Avec Express-1, il fallait d'abord voir quelqu'un exprimer des émotions pour pouvoir les restituer. Maintenant, grâce à l'entraînement sur des données beaucoup plus diversifiées et des ensembles de données beaucoup plus vastes, avec des capacités de calcul bien plus importantes, il apprend automatiquement ces associations sans avoir besoin de les voir.
Rétrécir la vallée de l'étrange
Bien que les avatars générés par l'IA, d'apparence humaine, existent depuis des années, l'essor récent de l'IA générative rend la création d'humains synthétiques réalistes de plus en plus facile et abordable, et ils sont déjà utilisés. Synthesia n'est pas la seule : des entreprises d'avatars IA comme Yuzu Labs , Creatify, Arcdads et Vidyard offrent aux entreprises les outils nécessaires pour générer et monter rapidement des vidéos mettant en scène des acteurs IA ou des versions artificielles de membres du personnel, promettant ainsi des solutions économiques pour créer des publicités percutantes auxquelles le public s'identifie. De même, les clones de streamers en direct générés par l'IA ont connu un essor fulgurant en Chine ces dernières années, notamment parce qu'ils peuvent vendre des produits 24 h/24 et 7 j/7 sans se fatiguer ni être payés.
Pour l'instant du moins, Synthesia se concentre sur le monde de l'entreprise. Mais elle n'exclut pas de s'étendre à de nouveaux secteurs comme le divertissement ou l'éducation, déclare Peter Hill, directeur technique de l'entreprise. Dans ce sens, Synthesia s'est récemment associée à Google pour intégrer Veo 3, son nouveau modèle de vidéo générative performant, à sa plateforme. Les utilisateurs peuvent ainsi générer et intégrer directement des clips dans leurs vidéos. Cela laisse présager qu'à l'avenir, ces humains artificiels hyperréalistes pourraient tenir les premiers rôles dans des univers détaillés aux décors en constante évolution.
Actuellement, cela pourrait par exemple impliquer l'utilisation de Veo 3 pour générer une vidéo de machines de transformation de la viande, avec un avatar Synthesia à côté des machines expliquant comment les utiliser en toute sécurité. Mais les futures versions de la technologie Synthesia pourraient donner lieu à des vidéos éducatives personnalisables selon le niveau de connaissances de chacun, explique Alex Voica, responsable des affaires générales et de la politique chez Synthesia. Par exemple, une vidéo sur l'évolution de la vie sur Terre pourrait être adaptée à un diplômé en biologie ou à un niveau de niveau lycée. « Ce sera une façon beaucoup plus engageante et personnalisée de diffuser du contenu, et j'en suis vraiment ravi », dit-il.
La prochaine frontière, selon Synthesia, sera celle des avatars capables de répondre, de « comprendre » les conversations avec les utilisateurs et de répondre en temps réel. Pensez à ChatGPT, mais avec un humain numérique réaliste attaché.
Synthesia a déjà ajouté un élément interactif en permettant aux utilisateurs de cliquer sur les questions à l'écran lors des quiz présentés par ses avatars. Mais l'entreprise étudie également la possibilité de les rendre véritablement interactifs : les futurs utilisateurs pourraient demander à leur avatar de marquer une pause pour développer un point, ou de lui poser une question. « Nous souhaitons vraiment offrir la meilleure expérience d'apprentissage possible, grâce à des vidéos divertissantes, personnalisées et interactives », explique Alami Mejjati. « C'est, à mon avis, le manque dans les expériences d'apprentissage en ligne actuelles. Et je sais que nous sommes sur le point de résoudre ce problème. »
Nous savons déjà que les humains peuvent nouer – et forment effectivement – des liens émotionnels profonds avec les systèmes d'IA, même avec des chatbots textuels basiques. Combiner la technologie agentique – déjà capable de naviguer sur le web, de coder et de jouer à des jeux vidéo sans surveillance – avec un visage humain réaliste pourrait donner naissance à un tout nouveau type d'addiction à l'IA, explique Pat Pataranutaporn, professeur adjoint au MIT Media Lab.
« Si le système est trop réaliste, les gens pourraient commencer à nouer des relations avec ces personnages », explique-t-il. « Nous avons constaté de nombreux cas où des compagnons IA ont influencé des comportements dangereux, même lorsqu'ils étaient simplement en train d'envoyer des SMS. Si un avatar avait une tête parlante, ce serait encore plus addictif. »
Schuller convient que les avatars du futur proche seront parfaitement optimisés pour ajuster leurs niveaux d'émotion et de charisme projetés afin que leur public humain reste engagé le plus longtemps possible. « Il sera très difficile [pour les humains] de rivaliser avec l'IA charismatique du futur ; elle est toujours présente, toujours à l'écoute et toujours compréhensive », dit-il. « L'IA va transformer cette relation interhumaine. »
Tandis que je fais une pause et repasse mon avatar Express-2, je m'imagine en train de discuter avec lui – ce produit étrange, toujours optimiste, perpétuellement disponible, fait de pixels et d'algorithmes, qui me ressemble et me parle comme moi, mais qui, fondamentalement, n'est pas moi. Rhiannon virtuelle n'a jamais ri avant d'avoir pleuré, d'être tombée amoureuse, d'avoir couru un marathon ou d'avoir vu le soleil se coucher dans un autre pays.
Mais, je l'admets, elle pourrait faire une sacrée démonstration des raisons pour lesquelles Ed Sheeran est le plus grand musicien britannique de tous les temps. Et seuls mes amis les plus proches et ma famille sauraient que ce n'est pas moi.