Genie 3 de Google DeepMind simule des mondes 3D pour la formation de l'IA

Google DeepMind s'apprête à lancer un modèle d'intelligence artificielle conçu pour simuler des environnements 3D interactifs, offrant ainsi un terrain d'entraînement aux agents IA tels que les robots et les systèmes autonomes. Baptisé Genie 3, ce modèle d'IA permet à ces agents d'apprendre à effectuer des tâches dans des environnements virtuels réalistes, pilotés par la physique.

Un pas de plus vers l'intelligence artificielle générale

La division IA de Google décrit ce que l'on appelle le « modèle mondial » comme un « tremplin vers l'IAG », l'intelligence artificielle générale, où le système possède des capacités cognitives comparables à celles de l'humain. Pour y parvenir, les agents IA doivent être entraînés dans des simulations respectant les lois de la physique.

Mais Genie 3 ne sera pas seulement utile pour former des robots à effectuer des tâches logistiques dans des environnements contrôlés comme des entrepôts. Il pourrait également fournir des simulations immersives pour les personnes, comme faire l'expérience du saut de base depuis la sécurité du sol ou pratiquer une mission de sauvetage en montagne où les erreurs ne coûteront pas de vies.

Durée d'exécution et mémoire spatiale plus longues

Genie 3 peut générer des environnements à 24 images par seconde en résolution 720p pendant plusieurs minutes. Il utilise une approche autorégressive, où chaque image est produite séquentiellement à partir des précédentes. Cependant, cette approche peut s'avérer problématique car les erreurs s'accumulent et dégradent la qualité vidéo. Néanmoins, le modèle est capable de maintenir une simulation pendant plusieurs minutes et de mémoriser jusqu'à une minute de son résultat, permettant aux personnes présentes dans l'environnement de revisiter les lieux.

Genie 3 s'appuie sur son prédécesseur, Genie 2, qui ne pouvait générer un environnement que pendant 20 secondes maximum et ne permettait pas d'interaction en temps réel. Le modèle intègre également des techniques du générateur vidéo Veo 3 de Google DeepMind , notamment sa « compréhension approfondie de la physique intuitive ».

Testé avec SIMA et contrôlable par invite

Google a testé Genie 3 avec son agent SIMA polyvalent, qui propose un ensemble d'objectifs à atteindre en naviguant dans un monde simulé. « Genie 3 ne connaît pas l'objectif de l'agent. Il simule plutôt l'avenir en fonction de ses actions », a expliqué Google.

Le nouveau modèle d'IA n'a besoin que d'une invite de texte pour lancer une simulation, et une fois qu'il est en cours d'exécution, des invites supplémentaires peuvent modifier l'environnement en temps réel, comme l'ajout d'une cascade sur une scène à flanc de falaise.

Un outil d'IA distinct appelé Mirage a été lancé le mois dernier. Il transforme la vidéo en direct en temps réel , en utilisant également l'auto-régression et des invites textuelles.

Des limitations subsistent avant la sortie complète

Google n'a pas encore publié Genie 3, car il présente encore plusieurs limitations cruciales. Principalement, le modèle d'IA ne peut pas gérer plus de quelques minutes d'interactions, ce qui est insuffisant pour être utile aux agents ou aux utilisateurs.

De plus, bien que les environnements puissent simuler un large éventail d'événements, les agents ne sont pas encore capables de réagir correctement à tous, ni entre eux. Genie 3 n'est pas non plus capable de restituer des lieux réels avec une précision géographique parfaite, ni de rendre lisible un texte qui n'est pas explicitement indiqué dans l'invite.

« Nous pensons que Genie 3 marque un tournant pour les modèles mondiaux, car ils commenceront à avoir un impact sur de nombreux domaines de la recherche en IA et des médias génératifs », a déclaré Google. « À cette fin, nous étudions comment rendre Genie 3 accessible à davantage de testeurs à l'avenir. »

Google a récemment rendu Deep Think , un modèle d'IA multi-agents de l'équipe Google DeepMind, disponible via l'application Gemini. 

https://deepmind.google/discover/blog/genie-3-a-new-frontier-for-world-models