Simulation du multivers : L'IA robotique est sur le point de connaître une forte accélération

infohightech ·

Des données visuelles simulées comme celles-ci, construites sur des moteurs sophistiqués de physique du monde réel et converties en vidéos photoréalistes, devraient accélérer rapidement le développement d'IA physiques qui contrôlent la robotique, les humanoïdes et les véhicules autonomes.

Les modèles de comportement de l'IA qui contrôlent la manière dont les robots interagissent avec le monde physique n'ont pas progressé au même rythme que les modèles de langage de type GPT, mais les nouveaux « simulateurs de monde » multiversels de Nvidia et de Google pourraient rapidement changer la donne.

En effet, les grands modèles de langage (LLM) ont bénéficié d'une masse considérable de données pour s'entraîner, puisque l'internet contient déjà une quantité extraordinaire de textes, d'images, de vidéos et de données audio.

En revanche, les grands modèles de comportement (LBM) disposent de beaucoup moins de données pour s'entraîner. Les robots et les véhicules autonomes sont coûteux et physiquement ennuyeux, de sorte qu'il faut beaucoup plus de temps pour collecter les données relatives aux représentations 3D de situations physiques réelles et les incorporer dans les modèles d'IA.

C'est l'une des raisons pour lesquelles Tesla tenait tant à équiper le plus grand nombre possible de ses voitures de matériel de conduite autonome, le plus tôt possible, afin de prendre une longueur d'avance sur la collecte de données susceptibles de la positionner en tant que leader dans le domaine des véhicules autonomes.

Mais les récentes annonces de Nvidia et de Google Deepmind suggèrent que ce goulot d'étranglement des données sera bientôt éliminé, ce qui permettra d'accélérer massivement le développement de l'IA physique.

Les simulations de type multivers permettent d'analyser les effets d'un nombre théoriquement infini de voies de décision pour les robots d'IA.

Accélération de l'IA multiverselle grâce à la simulation de données réelles

L'idée est de générer d'énormes quantités de données d'entraînement fiables grâce à l'utilisation de simulateurs de monde de type multivers qui peuvent prendre une seule situation du monde réel - ou même une simple invite textuelle -, en créer un modèle virtuel, puis la diviser en un nombre théoriquement infini de situations légèrement différentes.

Ainsi, si vous disposez de données provenant de six caméras d'une voiture autonome, par exemple, circulant dans une rue par une belle journée d'été, vous pouvez prendre ces données, les virtualiser pour créer une représentation du monde en 3D, puis les utiliser pour générer un très grand nombre de situations légèrement différentes. Vous pourriez recréer la même situation à 100 heures différentes du jour et de la nuit, dans 100 conditions météorologiques différentes (pluie, neige, vent fort ou brouillard épais).

Vous pourriez ensuite créer des mondes virtuels pour chacun de ces scénarios temporels et météorologiques, dans lesquels les autres véhicules sur la route, les piétons, les animaux ou les objets agiraient légèrement différemment, créant ainsi une situation entièrement nouvelle à laquelle votre voiture autonome devrait réagir. Si un objet tombe, vous pouvez simuler qu'il rebondit dans 100 directions différentes. Vous pouvez simuler toutes sortes de cas limites qui sont incroyablement improbables dans le monde réel.

Et bien sûr, vous pouvez séparer différents mondes à partir de chacun d'eux, dans lesquels la voiture autonome elle-même réagit et choisit différents plans d'action.

Vous pouvez ensuite prendre cette représentation simulée du monde en 3D et travailler à rebours pour générer des flux vidéo simulés de haute qualité pour les six caméras de votre voiture d'origine, ainsi que des flux de données pour tous les autres capteurs dont votre système robotique pourrait être équipé.

Et voilà : votre unique morceau de données d'origine peut se transformer en milliers, voire en millions de scénarios d'entraînement similaires, mais légèrement différents, tous générés à l'aide de simulateurs de physique et de matériaux avancés.

« Le moment ChatGPT pour la robotique arrive », a déclaré Jensen Huang, fondateur et PDG de Nvidia, en annonçant le lancement du modèle de simulation du monde Cosmos de l'entreprise lors de son discours d'ouverture au CES. « Comme les grands modèles de langage, les modèles de fondation du monde sont fondamentaux pour faire progresser le développement des robots et des appareils audiovisuels, mais tous les développeurs ne disposent pas de l'expertise et des ressources nécessaires pour former leurs propres modèles. Nous avons créé Cosmos pour démocratiser l'IA physique et mettre la robotique générale à la portée de tous les développeurs ».

Le modèle Cosmos peut également fonctionner en temps réel, selon la vidéo ci-dessous, « apportant la puissance de la prospective et de la simulation de multivers aux modèles d'IA, générant tous les futurs possibles pour aider le modèle à choisir la bonne voie ».

NVIDIA Cosmos : Une plateforme de modèles de fondation mondiale pour l'IA physique

Évidemment, les exigences en matière de données et de traitement pour ce genre de choses seront absolument épiques, et nVidia a tenté d'y répondre avec son propre Tokenizer Cosmos, qui peut transformer des images et des vidéos en jetons que les modèles d'IA peuvent traiter en utilisant environ 1/8e de la quantité de données requise par les principaux tokenizers actuels, débloquant ainsi une vitesse de traitement multipliée par 12.

En tant que premier fournisseur mondial de matériel d'IA, nVidia a déjà rallié à l'initiative Cosmos une bonne partie de l'industrie robotique émergente. Des entreprises comme 1X, Figure AI, Fourier et Agility adoptent Cosmos pour accélérer la formation des robots humanoïdes, et Xpeng, Uber, Waavi et Wayve font partie des entreprises de voitures autonomes qui s'impliquent.

Entre-temps, Google Deepmind lance sa propre initiative similaire, bien qu'elle soit apparemment un peu en retard par rapport à nVidia. Tim Brooks, ancien responsable d'OpenAI Sora, qui dirige désormais l'équipe de Deepmind chargée de la génération de vidéos et de la simulation du monde, a publié le message suivant sur X hier :

https://twitter.com/_tim_brooks/status/1876327325916447140

Dans les descriptions de poste mises en lien, l'équipe de Google souligne que ce type de simulation du monde physique constituera une étape critique sur la voie de l'intelligence artificielle générale (AGI) : « Nous pensons que la mise à l'échelle du pré-entraînement sur des données vidéo et multimodales est sur le chemin critique de l'intelligence générale artificielle. Les modèles mondiaux alimenteront de nombreux domaines, tels que le raisonnement visuel et la simulation, la planification pour les agents incarnés et le divertissement interactif en temps réel. »

Mes amis, il peut être difficile de savoir ce qui est important dans le flot d'annonces concernant les progrès de l'IA, et il est pratiquement impossible de suivre tout ce qui se passe. Mais pour replacer les choses dans leur contexte, alors que les LLM comme le GPT arrivent rapidement pour les emplois de cols blancs, les LBM incarnés par des robots - qu'ils soient humanoïdes, à véhicule ou d'une autre forme conçue pour un environnement spécifique - arrivent pour tout ce qui concerne les cols bleus ou qui implique une plus grande interaction avec le monde physique.

La technologie dans ce secteur est déjà absolument incroyable, à peine distinguable de la magie, et elle promet de changer fondamentalement et profondément le monde au cours des années et décennies à venir. Cet équipement de simulation du multivers semble accélérer considérablement les progrès vers la vision utopique de l'économie post-travail... Ou tout autre résultat moins acceptable que nous pourrions obtenir à la place.

https://nvidianews.nvidia.com/news/nvidia-launches-cosmos-world-foundation-model-platform-to-accelerate-physical-ai-development

https://boards.greenhouse.io/deepmind/jobs/6503217

Cet article vous a été utile ? Partagez-le.