Hyperreal développe des « identités numériques » extrêmement détaillées qui peuvent être utilisées dans toute une série de projets – jusqu’à des IA entièrement conversationnelles.
Le gourou de la capture de mouvement Remington Scott construit actuellement des « jumeaux numériques » hyperréalistes que les acteurs et les interprètes peuvent louer pour des concerts de cinéma, de musique, de RV ou de jeux vidéo – ainsi que des partenaires de conversation dotés d’une IA formée à partir des pensées et des mots d’une star, avec lesquels les fans peuvent parler individuellement.
Le CV de Remington Scott dans le cinéma hollywoodien est extraordinaire, le plaçant à la pointe de la capture de mouvements dans certains des projets les plus transformateurs de l’histoire du cinéma. Il a supervisé et dirigé la capture de mouvements pour Gollum/Smeagol dans Le Seigneur des Anneaux de Peter Jackson : Manhattan dans Watchmen, plusieurs personnages principaux dans Spider-Man 2 et 3 et Superman Returns, et bien d’autres encore.
Il a dirigé l’équipe de capture de mouvements pour Final Fantasy : The Spirits Within – la première sortie en salle à utiliser un casting entièrement numérique et capturé par le mouvement – et a supervisé et dirigé des scènes avec Anthony Hopkins, Angelina Jolie, John Malkovich et d’autres pour Beowulf, en utilisant de nouveaux systèmes de détection du mouvement des yeux qu’il a mis au point avec ses collègues.
Dans le monde des jeux vidéo, il a été le responsable de l’animation et le co-créateur de WWF : SuperStars of Wrestling pour l’Atari ST en 1986 – le premier jeu vidéo de salon à utiliser des graphiques numérisés plutôt que des sprites dessinés à la main. Pour vous donner une idée de l’époque, Double Dragon n’a été lancé qu’en 1987. Depuis, il a dirigé Kevin Spacey dans Call of Duty : Advanced Warfare et a travaillé sur Just Cause 4, The Order : 1886, Killzone : Shadow Fall, The Amazing Spider-Man et bien d’autres.
Tout cela pour dire que cet homme sait de quoi il parle et qu’il a déjà joué un rôle déterminant dans plusieurs projets technologiques qui ont changé la donne dans l’industrie du divertissement. Le fait qu’il ait tout plaqué pour travailler sur « l’avenir de l’identité numérique » devrait donc faire sourciller.
Bande-annonce officielle de Call of Duty : Advanced Warfare
« Lorsque j’ai commencé au début des années 90 », raconte-t-il, « j’étais l’une des rares personnes à travailler avec cette technologie de capture de mouvements. À l’époque, elle était utilisée dans les laboratoires médicaux pour l’analyse de la démarche. Les sujets marchaient sur un tapis roulant avec ces grosses balles de ping-pong sur les hanches et les jambes, afin de capturer la façon dont la boule du fémur tournait dans la hanche. La précision était telle qu’elle permettait de voir sous la peau et les muscles, et d’examiner la biomécanique du système squelettique ».
« Mais nous étions dans l’industrie du divertissement », poursuit-il. « Nous numérisions des personnes en 2D pour des jeux comme Mortal Kombat, mais nous commencions à voir apparaître toute une série de jeux en 3D, et nous savions que nous devions commencer à créer ces animations en 3D. Les outils étaient très rudimentaires et difficiles à utiliser. C’est donc en construisant le premier studio de capture de mouvements au monde dédié au divertissement que j’ai fait mes débuts. J’y étais directeur. Nous avons commencé à recevoir des spécialistes des effets visuels qui venaient tourner quelques plans pour un ou deux films, et j’ai réalisé que cette technologie pouvait être appliquée à la création d’êtres humains numériques dans les films.
Après la sortie de Jurassic Park, il était clair pour Remington Scott qu’Hollywood était prêt à étendre son utilisation de la modélisation 3D de haute qualité. « Hollywood sait comment les rendre, dit-il, nous pouvons les déplacer. J’ai eu la chance d’être réalisateur sur le premier long métrage qui a utilisé la capture de mouvement pour créer toute l’animation, Final Fantasy : The Spirits Within. J’ai ensuite été superviseur chez Weta Digital, où j’ai supervisé la création de Gollum et Smeagol.
Le Seigneur des Anneaux : Les Deux Tours (2002) – Gollum attaque Frodon et Sam | Movieclips
« C’était le point culminant de ce que je voulais réaliser en introduisant la capture de mouvement dans le cinéma. Andy Serkis est un acteur incroyable, il a donné vie à ces personnages numériques comme personne ne l’avait fait avant lui, il a vraiment adopté la technologie. Il s’agissait d’une production en prise de vue réelle – nous la faisions en temps réel, en regardant un moniteur et en parlant à Gollum, et Gollum nous répondait. C’était un bond en avant fondamental par rapport à la manière dont l’animation avait été réalisée au cours du siècle précédent dans des studios comme Disney ».
En 2020, Remington Scott a fondé Hyperreal à Los Angeles, une entreprise spécialisée dans la création d' »hypermodèles » – des recréations numériques ultraréalistes de l’ensemble du corps, du visage, de la voix et des comportements d’une personne capturés par le mouvement.
« Je travaillais avec des talents de premier plan sur ces jeux et ces films, et nous créions ces avatars de haut niveau, ces humains numériques », explique-t-il. « Mais à la fin du projet, ces humains numériques ne pouvaient plus fonctionner. L’acteur ne pouvait pas prendre son propre jumeau numérique et l’utiliser dans un autre projet, il n’en avait pas les droits. Et le producteur n’avait pas non plus le droit de l’utiliser dans d’autres projets. Il fallait changer fondamentalement les choses ».
Hyperreal travaille donc pour les artistes, en créant des hypermodèles compatibles avec une série de moteurs de rendu 3D différents et dont un acteur ou un interprète peut faire plus ou moins ce qu’il veut.
« De cette manière, les artistes possèdent leur propre identité numérique », précise le créateur. « Il y a trois composantes : votre image, votre style de mouvement caractéristique et votre voix. Nous enregistrons ces données et les plaçons dans notre coffre-fort. Ces copies numériques peuvent être utilisées pour des projets sous licence, mais cela ne les empêche pas d’être utilisées pour d’autres projets. C’est un actif qui peut avoir plusieurs vies ».
Le groupe Hypermodel de Madison Beer se produit dans un Sony Music Hall virtuel
Les hypermodèles peuvent être utilisés à peu près partout. Vous pouvez les habiller, les styliser et les modifier pour les adapter à un projet donné. Ils sont capturés à une résolution qui permet de réaliser des gros plans dans un film IMAX, mais ce sont aussi des actifs 3D volumétriques, de sorte qu’une fois le film sorti, le même actif peut devenir un personnage contrôlable dans le jeu vidéo. Ou dans l’expérience de réalité virtuelle, d’ailleurs. Ou encore dans un Tik Tok.
L’idée a mis un certain temps à faire son chemin.
« Cela fait partie de l’éducation de l’industrie, qui n’a pas besoin de créer de nouveaux actifs pour toutes ces propriétés différentes », précise Remington Scott. « Si vous avez un double numérique dans le film, vous pouvez utiliser le même actif dans le jeu vidéo. Au début, il n’y avait pas vraiment de débouchés pour ces films. Les talents et la direction disaient : « Ils sont magnifiques, mais qu’est-ce qu’on va en faire ? Vous dites qu’il y aura tant d’opportunités – mais quelles sont-elles ? Nous devions donc les créer ! Nous ne pouvions pas nous contenter de nous concentrer sur la plateforme technologique, nous devions créer des opportunités.
L’exemple récent le plus impressionnant est probablement le concert virtuel qu’Hyperreal a réalisé pour la popstar Madison Beer. Présenté dans une version virtuellement recréée du Sony Hall de New York et rendu à l’aide d’Unreal Engine, il s’agit d’un concert de 10 minutes au cours duquel l’Hypermodel de Madison Beer interprète un pot-pourri de ses chansons avec des effets numériques en 3D autour d’elle. Vous pouvez le voir sous sa forme la moins intéressante, une vidéo YouTube en 2D, ci-dessous.
Madison Beer – Life Support (expérience de concert en réalité immersive)
Comme vous pouvez le constater, le modèle est absolument remarquable. Sans y regarder de plus près, on pourrait croire qu’il s’agit d’un spectacle en direct. Il y a encore des améliorations à apporter, notamment dans la façon dont la bouche bouge, qui a encore un côté NPC (Non Player Character : il s’agit des personnages contrôlés par la machine avec lesquels le joueur interagit. On en trouve fréquemment dans les jeux de rôle et d’aventure. On utilise également son équivalent francophone PNJ) de jeu vidéo. Tout comme le modèle, Madison Beer est certainement d’une certaine manière) plus belle et plus expressive en direct. Mais les progrès démontrés ici sont extraordinaires et incessants.
« Cet hypermodèle a ensuite participé à une multitude de nouvelles opportunités dans tout un éventail de technologies », explique Remington Scott. « Elle a donné un concert virtuel en temps réel. C’était une matinée pour elle. Ce concert a d’abord fait l’objet d’un ray-tracing et d’un rendu sur le cloud, puis d’un pixel-streaming en temps réel via la 5G sur votre appareil mobile en tant qu’expérience XR. Vous pouvez être où vous voulez à l’intérieur du Sony Music Call, et vous pouvez vous déplacer. Vous êtes sur scène à côté d’elle, ou vous êtes dans le public en train de la regarder sur votre téléphone. Le projet est ensuite transmis à Tik Tok, où il est distribué sous forme de concert en direct. Ensuite, il est transmis à l’équipe de développement de Sony, qui prépare le PSVR2 et l’utilise pour le présenter, de sorte que nous pourrons la voir en VR. Sony a mis au point une nouvelle technologie appelée « réalité spatiale ». Il s’agit d’un écran holographique en 3D pour lequel il n’est pas nécessaire de porter des lunettes. Ce concert a également été l’occasion de présenter cette technologie.
Il y a aussi le service Fountain de la société. Dans le cadre d’un autre projet récent, Hyperreal a créé un modèle de Paul McCartney, l’a rajeuni numériquement et l’a utilisé dans un clip vidéo pour une chanson que McCartney a composée avec Beck.
« Fountain est l’endroit où l’on rajeunit l’artiste, et c’est ce que nous avons fait pour Paul », assure Remington Scott. « Nous trouvons une époque et un look que l’artiste considère comme intemporels, et nous reconstruisons le modèle en fonction de cette époque. Cela demande plus de travail !
Paul McCartney, Beck – Find My Way
Et puis il y a Phoenix, où la société travaille avec la succession d’un artiste décédé pour construire le meilleur modèle possible avec les matériaux disponibles.
« Phoenix a pour but de ranimer le pouvoir d’une superstar », lance Remington Scott. « C’est là que nous revenons sur des images et des vidéos, de vieux films, des vidéos VHS, tout ce que nous pouvons utiliser comme matériel de base. Nous les superposons à l’aide de la technologie Phoenix et nous les reconstruisons numériquement. Nous avons fait cela pour le Notorious BIG, et son Hypermodel a joué dans un concert de réalité mixte d’une heure pour Meta sur leur système VR, se produisant avec des personnes qui ont fait partie de sa vie, ainsi qu’avec de nouveaux artistes. Il s’agissait d’un événement narratif, avec une histoire qui se déroulait. Meta travaille actuellement sur un projet intitulé The Brook, un monde Metaverse situé à Brooklyn dans les années 90, là où il a grandi. Vous pourrez donc entrer dans ce monde en RV et le regarder faire de la musique.
Bien entendu, une fois que vous disposez d’un modèle 3D et d’un modèle vocal, les possibilités deviennent beaucoup plus intéressantes lorsque vous commencez à les associer à des modèles de langage IA tels que ChatGPT. Nous parlons ici de personnages de jeux vidéo avec lesquels vous pouvez discuter dans l’univers du jeu, chacun ayant sa propre voix, sa propre histoire, son propre niveau de connaissance et sa propre façon de s’exprimer. Ou encore de la possibilité de passer du temps avec des célébrités, des enseignants ou n’importe qui d’autre, en utilisant des personnages numériques formés avec les propres mots de cette personne.
« Nous travaillons avec un auteur de best-sellers », explique Remington Scott. « Il a eu plus de 20 livres sur la liste du New York Times. C’est un homme de talent. Il souhaite créer une IA conversationnelle : vous lui parlez, il vous parle. Le modèle d’entraînement que nous avons utilisé pour son cerveau conversationnel est donc entièrement le fruit de son travail. Il n’a pas été croisé avec d’autres éléments comme ChatGPT, ce sont ses propres mots. Vous parlez donc directement aux mots qu’il prononce, ainsi qu’aux pensées et aux sentiments qu’il a recueillis. Nous faisons des tests en lui posant les mêmes questions qu’à l’IA. Il ne peut pas voir les réponses de l’IA, mais les deux répondent presque exactement de la même manière. C’est aussi authentique que possible. »
« Et ces choses vont se retrouver partout », ajoute-t-il. « Il y aura un barista IA qui prendra votre commande, il y aura un agent IA à la gare qui vous aidera à obtenir le bon billet ou à trouver votre train. Alors pourquoi pas une IA conversationnelle de votre auteur préféré ? Vous pourriez lui parler de vos livres ou lui demander d’agir comme un mentor. Il existe une énorme opportunité pour les gens de s’adapter au point d’avoir ces interactions personnelles avec des fans individuels. C’est de cela qu’il s’agit en fait – d’une nouvelle façon de se développer.
Remington Scott a mené une carrière remarquable dans les secteurs du cinéma et des jeux vidéo. Aujourd’hui, il espère être le fer de lance d’un nouveau mouvement en faveur de l’identité numérique
Si les services de jumeaux numériques d’Hyperreal ne sont pour l’instant accessibles que sur invitation et principalement aux célébrités qui pourront ainsi rentabiliser leur investissement dans leurs hypermodèles, l’entreprise envisage clairement d’ouvrir les choses aux masses non averties si la RV et le concept de métavers décollent.
« Nous avons commencé avec des talents de premier plan, parce que franchement, nous construisons une marque, et les talents de premier plan peuvent monétiser ces actifs », explique Scott. « Nous pouvons travailler avec les talents et les aider à se développer, mais en tant qu’entreprise en pleine croissance, c’est un peu limité. La prochaine partie de la feuille de route consiste à créer des identités numériques pour les entreprises, des êtres humains synthétiques qui n’existent pas dans le monde réel. Des ambassadeurs de marque, des influenceurs virtuels, quel que soit le nom qu’on leur donne. C’est ce que nous sommes en train de construire.
« La prochaine étape de notre feuille de route consistera à créer des hypermodèles personnalisables pour tout le monde. Il existe de nombreuses démonstrations technologiques très intéressantes qui vous permettent de prendre votre téléphone, de le déplacer autour de votre visage et de créer une vue d’avatar en quelques instants. Mais pour nous, l’essentiel est la qualité. Nous n’allons pas sortir un avatar de vous avec des yeux morts qui a l’air bizarre et qui n’a pas l’air d’être vivant. J’applaudis les démonstrations techniques, mais nous n’en sommes pas encore là. Nous y arriverons quand le moment sera venu ».
D’ici à ce qu’il atteigne le stade du consommateur, l’ambition de Scott est que votre Hypermodel personnel soit rapidement et facilement exportable dans des formats compatibles avec, eh bien, tout ce pour quoi vous pourriez avoir besoin d’un avatar. Votre compte PlayStation. Votre présence sur Meta VR. Votre compte Netflix.
« Nos identités numériques sont multiplateformes et interopérables », conclut Scott. « Une seule identité pour tout. Vous la possédez, vous la contrôlez. Il n’y a pas de sociétés qui viennent prendre votre identité, la possèdent, la contrôlent et collectent les données. Vous possédez ces données et vous leur accordez des licences en conséquence. De cette façon, vous pouvez les monétiser pour l’utilisation des données. C’est vraiment l’avenir qu’il nous faut ».
