Un robot apprend à faire du playback.
infohightech ·
Lors d'une conversation en face à face, près de la moitié de notre attention se porte sur les mouvements des lèvres. Pourtant, les robots peinent encore à les mouvoir correctement. Même les humanoïdes les plus avancés se contentent de mouvements de bouche figés, comme ceux d'une marionnette, quand ils ont un visage.
Nous, les humains, accordons une importance démesurée aux expressions faciales en général, et aux mouvements des lèvres en particulier. Si nous pouvons pardonner une démarche étrange ou un geste maladroit, nous restons inflexibles face à la moindre expression faciale incorrecte. Ce seuil élevé est connu sous le nom de « vallée de l'étrange ». Les robots paraissent souvent inanimés, voire inquiétants, car leurs lèvres ne bougent pas. Mais cela est sur le point de changer.
Une équipe d'ingénieurs de l'université Columbia a annoncé aujourd'hui avoir créé un robot capable, pour la première fois, d'apprendre les mouvements des lèvres pour des tâches telles que la parole et le chant. Dans une nouvelle étude publiée dans Science Robotics, les chercheurs démontrent comment leur robot a utilisé ses capacités pour articuler des mots dans diverses langues, et même chanter une chanson de son premier album généré par intelligence artificielle, « hello world_ ».
Le robot a acquis cette capacité par apprentissage par observation plutôt que par l'application de règles. Il a d'abord appris à utiliser ses 26 moteurs faciaux en observant son propre reflet dans le miroir, avant d'apprendre à imiter les mouvements des lèvres humaines en visionnant des heures de vidéos YouTube.
« Plus il interagira avec les humains, meilleur il deviendra », a promis Hod Lipson , professeur d'innovation James et Sally Scapa au département de génie mécanique et directeur du Creative Machines Lab de Columbia, où les travaux ont été réalisés.
Crédit : Yuhang Hu/Creative Machines Lab
Le robot se regarde parler
Obtenir des mouvements de lèvres réalistes pour un robot est complexe pour deux raisons : d’une part, cela nécessite un matériel spécialisé comprenant une peau faciale flexible actionnée par de nombreux micromoteurs fonctionnant rapidement et silencieusement de concert ; d’autre part, la dynamique des lèvres est une fonction complexe dictée par des séquences de sons et de phonèmes vocaux.
Les visages humains sont animés par des dizaines de muscles situés juste sous une peau souple et qui se synchronisent naturellement avec les cordes vocales et les mouvements des lèvres. À l'inverse, les visages humanoïdes sont majoritairement rigides, avec une mobilité relativement limitée, et leurs mouvements labiaux sont chorégraphiés selon des règles strictes et prédéfinies. Le résultat est un mouvement saccadé, artificiel et inquiétant.
Dans cette étude, les chercheurs ont surmonté ces obstacles en développant un visage flexible et richement motorisé, puis en permettant au robot d'apprendre à l'utiliser directement par observation humaine. Ils ont d'abord placé un visage robotique équipé de 26 moteurs devant un miroir afin que le robot puisse apprendre comment son propre visage réagit à l'activité musculaire.
À l'instar d'un enfant qui fait des grimaces devant un miroir pour la première fois, le robot a produit des milliers d'expressions faciales et de mouvements des lèvres aléatoires. Au fil du temps, il a appris à actionner ses moteurs pour reproduire des expressions faciales spécifiques, une approche appelée modèle de langage « vision-action » (VLA).
Les chercheurs ont ensuite placé le robot devant des vidéos enregistrées de personnes parlant et chantant, permettant ainsi à l'IA qui le pilote d'apprendre précisément les mouvements de la bouche en fonction des différents sons émis. Grâce à ces deux modèles, l'IA du robot peut désormais traduire directement le signal audio en mouvements des lèvres.
Les chercheurs ont testé cette capacité en utilisant divers sons, langues et contextes, ainsi que des chansons. Sans aucune connaissance précise de la signification des extraits audio, le robot a ensuite été capable de synchroniser ses lèvres avec les mouvements de ses lèvres.
Les chercheurs reconnaissent que le mouvement des lèvres est loin d'être parfait. « Nous avons rencontré des difficultés particulières avec les sons durs comme le "B" et avec les sons impliquant une contraction des lèvres, comme le "W". Mais ces capacités s'amélioreront probablement avec le temps et la pratique », a déclaré Lipson.
Plus important encore, il s'agit de considérer la synchronisation labiale comme faisant partie intégrante d'une capacité de communication robotique plus globale.
« Lorsque la synchronisation labiale est combinée à une intelligence artificielle conversationnelle comme ChatGPT ou Gemini, l’effet confère une toute nouvelle dimension à la connexion que le robot tisse avec l’humain », explique Yuhang Hu, qui a dirigé l’étude dans le cadre de sa thèse de doctorat. « Plus le robot observe des conversations humaines, plus il perfectionne son imitation des expressions faciales nuancées auxquelles nous pouvons nous identifier émotionnellement. »
« Plus la fenêtre de contexte de la conversation est longue, plus ces gestes seront sensibles au contexte », a-t-il ajouté.
Le chaînon manquant des capacités robotiques
Les chercheurs estiment que les expressions faciales constituent le « chaînon manquant » de la robotique.
« La robotique humanoïde actuelle se concentre principalement sur les mouvements des jambes et des mains, pour des activités comme la marche et la préhension », a déclaré Lipson. « Mais l’expression du visage est tout aussi importante pour toute application robotique impliquant une interaction humaine. »
Lipson et Hu prévoient que les visages chaleureux et réalistes deviendront de plus en plus importants à mesure que les robots humanoïdes trouveront des applications dans des domaines tels que le divertissement, l'éducation, la médecine et même les soins aux personnes âgées. Certains économistes prévoient que plus d'un milliard d'humanoïdes seront fabriqués au cours de la prochaine décennie.
« Il n'y a pas d'avenir où tous ces robots humanoïdes n'auront pas de visage. Et lorsqu'ils en auront enfin un, ils devront pouvoir bouger leurs yeux et leurs lèvres correctement, sinon ils resteront à jamais étranges », estime Lipson.
« Nous, les humains, sommes tout simplement faits comme ça, et nous n'y pouvons rien. Nous sommes sur le point de franchir le seuil de la vallée de l'étrange », a ajouté Hu.
Risques et limites
Ce travail s'inscrit dans la quête menée par Lipson depuis une décennie pour trouver des moyens de rendre les robots plus efficaces dans leurs interactions avec les humains, notamment en leur permettant de maîtriser les expressions faciales telles que le sourire, le regard et la parole. Il insiste sur le fait que ces capacités doivent être acquises par l'apprentissage, et non programmées selon des règles rigides.
« Il se passe quelque chose de magique lorsqu'un robot apprend à sourire ou à parler simplement en observant et en écoutant les humains », a-t-il déclaré. « Je suis un roboticien blasé, mais je ne peux m'empêcher de sourire en retour à un robot qui me sourit spontanément. »
Hu a expliqué que les visages humains constituent l'interface ultime de la communication, et que nous commençons à percer leurs secrets.
« Les robots dotés de cette capacité auront clairement une bien meilleure aptitude à communiquer avec les humains, car une part importante de notre communication repose sur le langage corporel facial, et ce canal reste encore totalement inexploité », a déclaré Hu.
Les chercheurs sont conscients des risques et des controverses liés au fait d'accorder aux robots une plus grande capacité à interagir avec les humains.
« Ce sera une technologie puissante. Nous devons procéder lentement et avec prudence, afin de pouvoir en récolter les fruits tout en minimisant les risques », a déclaré Lipson.
https://www.engineering.columbia.edu/about/news/robot-learns-lip-sync