Il n’y a pas si longtemps, Andy Wood, président d’une société britannique d’infographie baptisée Cubic Motion, participait à une réunion pour présenter sa technologie à un grand studio de jeux à Los Angeles. Pour montrer ce dont ils étaient capables, l’équipe de Cubic Motion avait créé une scène animée en utilisant l’une des propriétés du studio de jeu : un personnage féminin stylisé mi-homme, mi-animal.
La démo s’était bien passée, la cinématique pré-rendue de façon convaincante en livrant le script du studio. Puis l’équipe de Cubic Motion a exécuté son coup de maître convenu ; le coup qu’ils espéraient pour mériter le contrat.
Après avoir livré ses lignes pré-écrites, le personnage de l’animation (cutscene ou cinématique) a brisé le quatrième mur. Il s’est tourné vers la caméra, semblant regarder les chefs d’entreprise présents dans la salle, et a commencé à s’adresser à eux individuellement. Ce n’était pas non plus un tour préprogrammé. Il s’est avéré que la scène de réduction pré-rendue n’a pas été pré-rendue du tout.
Elle a été jouée en direct par un acteur à Manchester, à l’autre bout du monde, qui était en train de se transformer en temps réel en personnage du studio de jeu. Lorsque le personnage est devenu « hors scénario » et a commencé à interagir avec les personnes présentes dans la pièce, l’effet a été stupéfiant.
« Je n’ai jamais vu une telle réaction », a dit Andy Wood. « Il y avait un souffle audible de tout le monde dans la pièce. Quelqu’un m’a attrapé le bras parce qu’il n’arrivait pas à croire ce qui se passait. » Cubic Motion a remporté le contrat.
Pour comprendre pourquoi c’est si important, vous devez en savoir un peu plus sur la façon dont les caractères de capture de mouvement sont généralement « capturés ». Les acteurs de capture de mouvement sont normalement enregistrés longtemps à l’avance. Ils portent des combinaisons moulantes qui sont recouvertes de dizaines de petits points, soit des LEDs ou des choses qui ressemblent à des balles de ping-pong miniatures.
Ces marqueurs sont utilisés pour fournir aux animateurs des points de référence pour suivre le mouvement d’un corps dans le temps et l’espace en trois dimensions. Une fois ce processus effectué, les animateurs peuvent se mettre au travail en étoffant les graphismes finis : en joignant littéralement les points jusqu’à ce qu’ils aient quelque chose qui ressemble au personnage qu’ils souhaitent créer.
L’approche de Cubic Motion est différente. La société a développé une technologie sans marqueur pour le suivi en temps réel des modèles/acteurs, conçue pour les transformer instantanément en rendus complets robustes, fonctionnant à une vitesse de 60 images par seconde. Il s’agit d’algorithmes d’apprentissage machine impressionnants, capables de prendre une image d’un visage et de séparer ses composantes, de scanner numériquement les différents éléments et de lui permettre d’être capturé avec un niveau de détail presque sans précédent.
« Pour autant que nous le sachions, il n’y a personne au monde qui puisse réaliser la capture faciale via la vision par ordinateur de la même manière que Cubic Motion, » poursuit Andy Wood.
Bien qu’il y ait de fortes chances que vous n’ayez jamais entendu le nom Cubic Motion auparavant, vous connaissez certainement son travail. Sa technologie d’animation faciale révolutionnaire a été utilisée dans des jeux tels que God of War, Insomniac’s Spider-Man, Anthem et Blood & Truth. Et il y a encore beaucoup d’autres choses à venir.
Le problème avec Gollum
Pour de nombreuses personnes qui lisent ces lignes, Gollum de la trilogie de films du Seigneur des Anneaux, primée par l’Académie Peter Jackson, demeure un point culminant pour les performances captées par le mouvement. C’est l’une des premières fois que le public a vu un personnage de CGI (images créées par ordinateur) qui a donné un spectacle tout aussi chargé d’émotion que n’importe lequel des personnages humains les plus connus de la trilogie cinématographique.
« J’utilise souvent Gollum (tiré de la trilogie Le Seigneur des anneaux) comme point de repère d’un personnage crédible qui capte le mouvement « , précise Andy Wood. « Mais quand Andy Serkis a joué Gollum, il a été suivi à l’aide de la capture de mouvement qui l’a obligé à porter plusieurs marqueurs sur son visage. L’équipe a fait un travail remarquable, mais il y a des limites. On ne peut pas mettre des points pour marquer les yeux des gens, par exemple.
Vous ne pouvez pas suivre les langues (dans la bouche), et ainsi de suite. Pour obtenir l’effet final, une énorme équipe d’artistes a été nécessaire pour faire des choses comme animer à la main ses mouvements oculaires parce que ceux-ci ne pouvaient pas être suivis. Grâce à notre suivi sans marqueur, chaque expression, du clignement des yeux à la dilatation de la pupille, peut être enregistrée – et, en outre, en temps réel. »
Cubic Motion ne fait pas tout cela isolément, bien sûr. Il travaille avec d’autres sociétés leaders de l’industrie telles que Epic Games, Tencent, 3Lateral et Vicon, qui ont tout développé, des scanners haute définition au moteur de jeu Unreal. Mais la contribution de Cubic Motion est profonde. Sa technologie fournit les bases qui rassemblent toutes les autres parties. Aucune quantité de fossettes haute définition, de peau parfaitement ombragée ou de duvet de pêche magnifiquement rendu sur un visage humain ne pourrait compenser un mouvement qui semble rigide et contre nature.
« Si vous pouvez capturer l’essence d’un être humain et la transférer numériquement sur un personnage numérique ou un double, c’est comme un transfert de l’âme « , poursuit Andy Wood. « Il vous permet de prendre toutes les caractéristiques d’un humain et de les transférer sur quelque chose de non-humain d’une manière convaincante et tout à fait reconnaissable. »
L’âme est un concept qui surprend quand il s’agit de reproduction technologique. Il y a des rapports d’anthropologues sur des tribus indigènes, rencontrant pour la première fois des explorateurs occidentaux, qui ne voulaient pas être photographiés parce qu’ils croyaient que ce processus photographique leur volerait en quelque sorte l’âme. Ils n’avaient pas à s’inquiéter, puisque des centaines d’années plus tard, nous luttons encore avec la technologie pour y arriver.
Cubic Motion croit qu’elle est sur la bonne voie pour aider cela. La capacité de suivre instantanément le mouvement d’un visage humain et de le transférer immédiatement à un personnage CGI, photo-réaliste ou autre, change la donne. Il permet de capturer les performances incroyablement nuancées d’un acteur d’une manière inimaginable il y a quelques années seulement.
En 2018, la société a présenté sa technologie en lançant une reproduction photoréaliste d’une jeune Chinoise, Siren, dont les véritables traits faciaux ont été suivis dans plus de 200 endroits et reproduits numériquement sans aucun délai perceptible. Vous pourriez ne pas l’appeler transfert d’âme, mais il n’y a aucun doute que les résultats ont une énergie réaliste et réaliste pour eux. Aucun dessinateur de globe oculaire n’est requis.
Comment cela sera-t-il utilisé ?
Il ne s’agit pas seulement d’économiser du temps aux animateurs en termes de coûts. Il laisse entrevoir un avenir dans lequel nous pourrons tous être scannés et reproduits avec une fidélité étonnante et placés dans des mondes numériques avec un niveau de détail sans pareil. Ceci pourrait être utilisé pour des fonctions de jeu permettant aux joueurs d’être scannés et insérés dans un jeu avec des niveaux inimaginables de précision de photo jusqu’à présent.
Mais il y a beaucoup d’autres scénarios dans lesquels cette technologie pourrait trouver sa place. Envisagez, par exemple, la possibilité d’interagir avec un avatar virtuel de votre médecin, peut-être via la réalité augmentée ou virtuelle, pour un rendez-vous virtuel. Ou imaginez que vous avez un enfant de 8 ans qui a du mal avec les maths. Que se passerait-il s’ils recevaient un soutien scolaire supplémentaire de la part d’un avatar à l’écran ressemblant à une version photoréaliste d’eux-mêmes à 12 ans, après s’être attelé à la tâche et avoir pris le sujet en main ?
Nous, les adultes, pourrions accéder à une application de conditionnement physique présentée par un avatar réaliste qui nous ressemblerait en 18 mois, si seulement nous prenions au sérieux le fait de manger sainement et de faire du sport trois jours par semaine. « Vous pourriez créer une prophétie auto-réalisatrice pour vous donner confiance en vous « , suggère Andy Wood.
Cela ressemble à de la science-fiction en ce moment, mais ce n’est pas aussi futuriste qu’on pourrait le croire. Par exemple, une société japonaise baptisée Gatebox commercialise des appareils similaires à un Amazon Echo ou à Google Home – avec de minuscules assistants animés conçus pour interagir avec leurs propriétaires. Il se trouve que les effets d’avoir des avatars inspirants modelés sur les utilisateurs ont également été étudiés.
À l’Université de New York, une étude sur la prise de décision à long terme a révélé que les utilisateurs qui interagissaient avec un avatar personnalisé, artificiellement vieilli pour paraître plus vieux, réfléchissaient plus attentivement aux décisions qui auraient une incidence sur leur avenir. Ils étaient plus susceptibles d’épargner de l’argent pour la retraite que ceux qui voyaient un avatar du même âge qu’eux.
Bien sûr, de tels avatars n’ont pas besoin de nous rappeler la main rampante de la mort sur notre épaule. Une telle technologie pourrait tout aussi bien nous transformer en une version plus jeune et plus belle de nous-mêmes. Ou en une personne d’un autre sexe – ou même d’une autre espèce, réelle ou imaginaire. Il n’y a pas de limite.
La technologie de capture faciale en temps réel de Cubic Motion est, à l’heure actuelle, loin des mains des consommateurs quotidiens. Andy Wood lui-même possède un scan facial 3D complet, capturé à l’aide de la technologie de numérisation à 360 degrés à la fine pointe de la technologie de l’entreprise, qu’il montre lors de démonstrations de produits.
Ce qui n’est pas très pratique, c’est qu’il doit se raser la barbe avant chaque démo pour s’assurer que son être humain correspond parfaitement à la fidélité de son double numérique. Tels sont les sacrifices que les pionniers doivent faire. Mais pour la plupart d’entre nous, ce n’est pas une option. L’appareil photo Cubic Motion, qui n’est qu’une partie de l’ensemble, vous coûterait, à vous ou à moi, des centaines de milliers de dollars.
Cependant, la technologie de scan, à une fidélité beaucoup plus faible, se retrouve sur les smartphones d’aujourd’hui. Les modèles de la série X de l’iPhone, par exemple, ont quelque chose de semblable pour rendre possible des Animojis et des Memojis basés sur le mouvement des visages de l’utilisateur.
Cubic Motion a également lancé récemment Persona, son système exclusif de capture monté sur la tête, qui peut maintenant être utilisé sous licence par d’autres sociétés. Persona dispose de toute la technologie, comme l’éclairage infrarouge intégré, pour permettre aux autres de faire ce travail par eux-mêmes.
Comme l’a souligné l’auteur de science-fiction William Gibson : l’avenir est là, mais il n’est pas encore très bien réparti. Mais à mesure que les composants deviennent moins chers et que la technologie continue de progresser, il faut s’attendre à ce que cela change. Probablement plus vite que prévu.
Traverser la vallée de l’étrange
En 1970, le professeur de robotique japonais Masahiro Mori a fait cette observation que nous appelons aujourd’hui « The uncanny valley » ou « l’étrange vallée ». C’est l’idée qu’en construisant des robots ou en développant des animations informatiques 3D qui ressemblent beaucoup à des humains, une légère divergence par rapport à la réalité peut provoquer des sentiments d’étrangeté ou même de répulsion chez les spectateurs. Il y a de bonnes raisons à cela.
Une grande partie de notre cerveau est consacrée au codage des visages. Dès l’âge de trois mois, les enfants apprennent à catégoriser les visages, bien avant de pouvoir distinguer les autres catégories d’objets. Par conséquent, un visage qui ne ressemble pas tout à fait à un visage nous dérange plus que, disons, une feuille générée par ordinateur qui n’a pas l’air entièrement exacte.
Le travail d’un réalisme impressionnant de Cubic Motion signifie-t-il qu’il a surmonté cet étrange effet de vallée ? Andy Wood est optimiste, mais il n’est pas encore prêt à proclamer la victoire. « C’est au public de décider si nous sommes arrivés de l’autre côté de l’étrange vallée, a-t-il dit.
Pour paraphraser une phrase de l’essayiste américain Ralph Waldo Emerson, traverser l’étrange vallée est plus un voyage qu’une destination. Tout comme l’objectif des chercheurs en intelligence artificielle est de répliquer l' »intelligence » dans un ordinateur, la création d’un être humain numérique totalement réaliste est un point de référence stimulant et non un objectif à atteindre.
« Tout ce que nous considérons comme numériquement réel aujourd’hui, nous le verrons probablement d’un œil différent d’ici quelques années et nous serons en mesure de repérer ce que nous pouvons améliorer « , a expliqué Andy Wood. « Si vous retournez à des films comme Jason et les Argonautes ou King Kong, lorsque les gens les ont vus pour la première fois, ils avaient l’air plutôt crédibles. Les gens sont partis en pensant que les effets spéciaux étaient remarquables. »
Malgré tout le charme de l’animation en stop-motion, aucun de ces effets n’est aujourd’hui tout à fait convaincant. Nous ne disposons pas non plus, pourrait-on dire, des nombreuses méthodes photographiques dont nous disposons pour enregistrer les portraits humains. Le portrait en noir et blanc adouci d’un acteur dans un film des années 1940, avec tous les défauts de caractère du celluloïd, semble abstrait à côté de la HD impitoyable d’une émission de télévision moderne. Et la HD moderne, aussi folle qu’elle puisse paraître, aura un jour l’air datée elle aussi ; très probablement face à un divertissement entièrement tridimensionnel.
« Mais le voyage est si avancé maintenant qu’il est très évident qu’il y parviendra « , conclut Andy Wood. Et quand nous le ferons, Cubic Motion espère vraiment être sur la ligne d’arrivée. Sûrement avec nos doubles humains numérisés qui l’encouragent.
https://www.digitaltrends.com/cool-tech/cubic-motion-scanning-technology/
https://www.digitaltrends.com/cool-tech/affordable-motion-capture-suit/
https://www.npr.org/2012/04/11/150424912/your-virtual-future-self-wants-you-to-save-up
