L’entreprise tire parti de sa technologie pour aider ses clients à créer des « jumeaux numériques», des copies virtuelles d’objets, d’environnements et même de personnes réels.

Dans les jeux vidéo, les personnages non jouables (PNJ) peuvent être quelque peu désemparés. Un PNJ peut errer dans un pâté de maisons et se planter dans un réverbère, puis peut-être disparaître au pâté de maisons suivant. Les PNJ sautent dans les coups de poing des personnages-joueurs ou s’engagent à frapper un mur 400 fois, sans jamais apprendre que le mur ne reculera pas.

Unity Technologies est dans le domaine des PNJ. Fondé en 2004, Unity fabrique un moteur de jeu éponyme qui fournit l’architecture de centaines de jeux vidéo en utilisant sa technologie d’infographie 3D en temps réel. Unity fournit également d’innombrables outils intégrés à ce moteur de jeu, y compris des outils d’IA. Dans le moteur de jeu Unity, les développeurs conçoivent leurs pâtés de maisons et lampadaires en 3D, modélisent leurs PNJ, animent leurs coups de poing, et peut-être, grâce à la technologie d’intelligence artificielle d’Unity, leur apprennent quand arrêter de donner des coups de pied.

Il y a cinq ans, les dirigeants d’Unity ont pris conscience que dans le monde réel, il existe de nombreuses situations qui bénéficieraient énormément des PNJ. Pensez à concevoir des montagnes russes. Les ingénieurs ne peuvent pas demander aux humains de se tenir debout sur des montagnes russes avant un virage en épingle à cheveux pour tester s’ils s’envoleraient. Et ils ne peuvent certainement pas leur demander de le faire 100 ou 1 000 fois, juste pour être sûrs.

Mais si un PNJ avait toutes les qualités pertinentes d’un être humain – poids, mouvement, même un peu d’impulsivité – l’ingénieur pourrait le faire tourner 100 000 fois, comme un enfant fou jouant à RollerCoaster Tycoon ., pour discerner dans quelles circonstances ils seraient éjectés. Les montagnes russes, bien sûr, seraient également numériques, avec leur métal qui se plie au fil du temps et la vitesse de ses voitures qui descendent et montent en fonction du nombre de passagers.

Unity a transformé cette idée en une branche de son activité et exploite désormais sa technologie de moteur de jeu pour aider les clients à créer des « jumeaux numériques» d’objets, d’environnements et, récemment, de personnes.

« Le monde réel est tellement limité », a déclaré Danny Lange, vice-président senior de l’intelligence artificielle chez Unity, au siège de Unity à San Francisco en octobre dernier. S’adressant à WIRED en 2020, il m’avait dit: «Dans un monde synthétique, vous pouvez essentiellement recréer un monde meilleur que le monde réel pour les systèmes de formation. Et je peux créer de nombreux autres scénarios avec ces données dans Unity. »

Les jumeaux numériques sont des clones virtuels de choses réelles, agissant et réagissant dans l’espace virtuel de la même manière que leurs homologues physiques. Ou du moins, c’est ce que le terme implique. Le mot « jumeau » fait beaucoup de travail lourd. Il faudra longtemps avant que les simulations ne se vantent d’une vraisemblance univoque de leurs références ; et ces « jumeaux » demandent une montagne de travail humain pour créer.

À l’heure actuelle, cependant, des dizaines d’entreprises utilisent Unity pour modéliser des jumeaux numériques de robots, de lignes de fabrication, de bâtiments et même d’éoliennes pour les concevoir, les exploiter, les surveiller, les optimiser et les former virtuellement. Ces jumeaux rouillent sous la pluie et s’accélèrent avec du lubrifiant. Ils apprennent à éviter une bosse ou à identifier un engrenage cassé. Avec un jumeau numérique suffisamment précis, précise Danny Lange,

« Nous sommes en fait une énorme entreprise de données », déclare Danny Lange. « Nous avons très tôt réalisé qu’en fin de compte, la 3D en temps réel concerne les données et rien que les données. »

Les principaux clients jumeaux numériques de Unity se trouvent dans le monde des machines industrielles, où ils peuvent utiliser des simulations numériques à la place de modèles physiques plus coûteux. Les dirigeants d’Unity estiment que la technologie 3D en temps réel et les capacités d’intelligence artificielle de l’entreprise les positionnent pour rivaliser avec les nombreuses autres entreprises entrant dans l’espace de 3,2 milliards de dollars, notamment IBM, Oracle et Microsoft.

David Rhodes, vice-président senior d’Unity en charge des jumeaux numériques, a déclaré que son objectif était qu’Unity héberge un jour « un jumeau numérique du monde ».

De l’autre côté d’une table de conférence au siège de Unity, Danny Lange a partagé qu’il ne s’était jamais vu devenir un élément essentiel d’une société de jeux. Après avoir occupé le poste de directeur général d’Amazon Machine Learning et de responsable de l’apprentissage automatique chez Uber, il s’est rendu compte qu’un moteur de jeu pourrait être la solution à certains des problèmes de données les plus épineux qu’il ait rencontrés dans le domaine de la technologie.

Chez Uber, Danny Lange regardait les ingénieurs lancer encore et encore des mannequins devant des voitures autonomes pour tester la capacité des véhicules à freiner pour les humains. La voiture devrait identifier que l’objet était de forme humaine.

« Vous pouvez le faire plusieurs fois », explique Danny Lange. « Mais combien de fois faut-il [pour entraîner l’IA] ? Un millier ? Dans un moteur de jeu, vous pouvez avoir un PNJ essayant de se faire tuer devant une voiture, et vous pouvez voir si la voiture peut réellement l’empêcher. Dans Unity, a-t-il dit, un ingénieur pourrait générer une quantité de données correspondant à la conduite d’un véhicule Uber sur 500 millions de miles toutes les 24 heures. (Uber a vendu son unité de véhicules autonomes en 2020, deux ans après qu’un véhicule Uber autonome a tué un piéton ).

Simuler le monde réel, ou quoi que ce soit d’autre, nécessite beaucoup de données. Les clients d’Unity peuvent brancher un nombre illimité de systèmes basés sur des capteurs dans le moteur de jeu : données de localisation, données de CAO, données de vision par ordinateur, données de traitement du langage naturel. Un client de l’immobilier de luxe, par exemple, a conçu ce qu’il appelle la carte la plus détaillée de Londres à l’intérieur d’Unity en faisant voler des avions au-dessus de la ville et en collectant des tonnes d’informations visuelles. (Sa simulation 3D zoome sur des pixels de 5 centimètres).

Télécharger le monde physique dans le métaverse n’est pas une mince affaire. « Je ne veux pas dire que c’est de la sueur, du sang et des larmes, mais c’est du travail manuel. À l’heure actuelle, les jumeaux numériques sont construits par des personnes », déclare Adrien Gaidon, cadre supérieur de la division d’apprentissage automatique du Toyota Research Institute.

En 2014, avant que Unity ne se penche vraiment sur le secteur des jumeaux numériques, Adrien Gaidon a eu l’idée de créer un jumeau numérique d’une ville en Allemagne – des arbres, des voitures, des routes et des piétons – pour développer un logiciel pour les voitures autonomes. Un petit jumeau numérique utilisé et réutilisé 100 000 fois est un cas d’utilisation parfait pour la technologie, dit-il, du moins en ce moment. « C’est un objectif ambitieux, comprendre le monde à travers un jumeau numérique du monde », déclare Adrien Gaidon, « et je pense que personne n’en est même proche. »

Les jumeaux numériques reposent sur une quantité et une variété énormes de sources de données ; sinon, ils ne sont pas exacts. Et si les jumeaux ne sont pas précis, les clients de Unity ne peuvent pas compter sur eux pour générer des données synthétiques précises sur leurs homologues réels. Dans le même temps, l’aspiration de toutes ces données soulève des questions importantes sur la surveillance et la confidentialité, surtout maintenant que Unity commence à créer des jumeaux numériques de populations humaines, ce qui n’est pas une utilisation traditionnelle de la technologie des jumeaux numériques.

En décembre 2021, Unity a publié un article intitulé «PeopleSansPeople: A Synthetic Data Generator for Human-Centric Computer Vision». Alors qu’Unity présente son moteur de jeu comme un endroit pour simuler des foules de personnes, il s’avère maintenant un moyen d’essentiellement PNJ-ifier leurs homologues réels. Essentiellement, dit Unity, PeopleSansPeople aidera à anonymiser les données collectées sur les humains qui vivent leur vie, et les opérateurs du logiciel peuvent moduler les apparences de ces personnes virtuelles pour créer des ensembles de données plus personnalisables.

Citant «des préoccupations sérieuses et importantes en matière de confidentialité, de droit, de sécurité et d’éthique» qui «limitent la capture de données humaines», Unity présente sa technologie de jumeau numérique comme une «alternative émergente aux données du monde réel qui atténue certains de ces problèmes».

« Il faut notre expérience de jeu pour créer des PNJ dans les jeux, la rendre disponible pour créer des systèmes de vision par ordinateur qui ont cette capacité à interagir avec les humains – à comprendre la pose humaine. Nous le faisons sans utiliser de vraies personnes, nous contrôlons donc totalement le biais », a déclaré Danny Lange. Confus, j’ai fait remarquer qu’il semblait que les clients d’Unity avaient besoin de données provenant de personnes réelles pour que cela fonctionne. Lange a ajouté que « Bien sûr, nous modélisons avec de vraies personnes, mais en fin de compte, il y a un artiste qui y va. Vous ne pourriez reconnaître aucune de ces personnes. Ce sont des modèles.

Unity travaille en étroite collaboration avec plusieurs aéroports pour simuler leurs environnements et les flux de trafic humain en temps réel, notamment l’aéroport international de Hong Kong et l’aéroport international de Vancouver. Dans son bureau de San Francisco, Unity a fait la démonstration d’un jumeau numérique de l’aéroport international de Vancouver, qui s’est présenté sous la forme d’une carte détaillée. Au bas de l’écran se trouvaient le mot « En direct » et des étiquettes pour « Connexions », « Contrôle pré-embarquement » et « Douanes ».

« Tous les différents capteurs – informations sur les compagnies aériennes, informations sur les flux de trafic, traiteurs apportant de la nourriture, sécurité – c’est une quantité extrêmement dense d’informations », a déclaré Timoni West, responsable de XR chez Unity début 2020. « Et il doit être pris en compte localement, pour savoir ce qui se passe dans une partie spécifique de l’aéroport. Unity peut tout intégrer et nous pouvons produire ces informations. » Grâce à Unity, un gestionnaire d’aéroport peut voir ce qui se passe à la porte A-32 et même avoir accès à l’audio localisé.

« Singapour [Changi Airport] est vraiment génial parce qu’ils travaillent sur la gamification de l’expérience, comme accumuler des points grâce à la vente au détail », déclare Crystal Garcia, directeur principal du développement stratégique des affaires pour la division des marchés industriels d’Unity.

À bien des égards, la technologie d’Unity est un marteau. C’est un outil puissant qui, entre de mauvaises mains, pourrait briser certaines haies de confidentialité. « Nous mettons notre logiciel à la disposition de tous tant qu’il n’enfreint pas la loi », déclare Rhodes. « En d’autres termes, il n’y a pas grand-chose que nous puissions faire, ni peut-être devrions-nous faire, pour empêcher les gens d’acheter notre logiciel. » Dans le même temps, ajoute-t-il, Unity dispose d’un comité d’éthique pour évaluer certains clients potentiels.

Et parfois, l’entreprise décide qu’elle ne veut pas travailler avec quelqu’un en fonction de son cas d’utilisation de la technologie. Il y a des années, Unity a décidé de ne pas prendre comme client la société chinoise d’intelligence artificielle SenseTime, qui développe une technologie de reconnaissance faciale. (Le gouvernement américain a imposé des sanctions contre SenseTime pour son rôle dans la surveillance de la population ouïghoure de Chine.)

Lorsqu’on lui a demandé si Unity faisait de la reconnaissance faciale, Rhodes a déclaré : « Nos clients ont la possibilité d’utiliser Unity, ainsi que des systèmes basés sur des capteurs, pour se connecter à des systèmes physiques qui effectuent la reconnaissance faciale. » Dans le cas de SenseTime, a-t-il ajouté, « nous avons fermé l’accès à notre logiciel parce que nous ne nous sentions pas à l’aise avec le cas d’utilisation ». Unity dit qu’elle ne collecte pas de données démographiques ou personnelles et qu’elle anonymise les données qu’elle collecte.

Même lorsque les humains sont traduits en PNJ, il y a des problèmes de confidentialité, explique Ryan Calo, professeur de droit à l’Université de Washington et cofondateur des Tech Policy Labs. Il demande si les sujets sont suffisamment conscients et consentent à entrer dans un modèle. Beaucoup de gens, dit-il, « se hérissent contre l’idée d’essayer de prédire notre comportement ou nos traits sur la base des données disponibles ».

Dans le même temps, dit-il, il peut être difficile d’évaluer si les données collectées sont correctement anonymisées ou si, grâce à l’IA, elles sont rendues anonymes. « L’intelligence artificielle est de plus en plus capable de déduire l’intime du disponible. Les systèmes sont très bons pour extrapoler sur la base de modèles.

Unity passe également des contrats avec l’armée américaine, ce dont certains employés d’Unity ont exprimé leur frustration, selon un article paru dans Vice l’année dernière. Une note de service interne intitulée « Projets GovTech – Protocole de communication » demandait aux employés de ne pas « discuter de projets impliquant l’utilisation d’armes simulées ou virtuelles ou une formation pour blesser une autre personne ».

Selon un message de Slack obtenu par Vice, le PDG d’Unity, John Riccitiello, a déclaré aux employés préoccupés par les applications gouvernementales pour la technologie qu’il existe un « processus d’examen approfondi, et nous n’avons pas soutenu et ne soutiendrons pas les programmes où nous violons sciemment nos principes ou nos valeurs ».

L’armée utilise le logiciel Unity pour remplacer un programme de formation réel impliquant le largage de munitions réelles sur les pistes d’avion. Lorsqu’on lui a demandé d’expliquer comment, Lange a déclaré: «Pendant une crise, les opposants aimeraient faire sauter quelques pistes pour que les avions ne puissent pas décoller. Et quand ils font cela, ils larguent des munitions sur la piste et ils laissent des munitions non explosées parce qu’alors vous ne pouvez pas sortir et réparer votre piste. Ce projet a essentiellement généré des images de piste avec… des munitions non explosées.

La défense a utilisé des données synthétiques pour former un modèle informatique afin de détecter les munitions non explosées. Ainsi, lorsqu’ils font voler un drone au-dessus de la piste, il peut identifier où se trouvent ces munitions. Quand les soldats sortent, ils savent où ne pas aller. Normalement, dit-il, ils bombardaient leurs propres pistes et en prenaient des photos – et ils ne le faisaient pas très souvent.

Danny Lange a précisé que la technologie d’intelligence artificielle d’Unity n’avait pas été utilisée dans le but d’identifier des terroristes présumés ou de les distinguer des civils. Il a ajouté que Unity est «une entreprise 3D en temps réel. Nous sommes une société de jeux. Nous sommes très loin d’une entreprise qui a construit ce logiciel… Nous ne sommes pas une entreprise de drones.

La décision d’Unity suscite des questions sur le numérique bénin. Est-il acceptable de collecter de nombreuses données sur des personnes si, à la fin, ces personnes se matérialisent en tant que PNJ ? Si la personne qui utilise la technologie Unity ne les connaît qu’en tant que PNJ, est-il important qu’ils aient été humains autrefois ? Et enfin, combien pouvez-vous vraiment savoir sur le monde réel grâce à une version simulée de celui-ci et de ses données simulées ?

Le grand pas d’Unity dans des domaines auparavant considérés comme trop ambitieux pour une société de jeux laisse présager un avenir dans lequel les sociétés de jeux rejoindront les rangs des sociétés technologiques plus larges. Et lorsque cela se produira, les spectateurs commenceront à se rendre compte que derrière tout PNJ se cache un cerveau insondable aux motivations insondables.

https://www.wired.com/story/gaming-giant-unity-wants-to-digitally-clone-the-world/

https://blog.unity.com/technology/human-centric-computer-vision-with-unity-synthetic-data