DeepMind présente un agent d'IA qui apprend à effectuer diverses tâches dans un modèle mondial évolutif
infohightech ·
Dreamer 4 apprend à résoudre des tâches de contrôle complexes grâce à l'apprentissage par renforcement au sein de son modèle d'univers. Nous décodons les séquences d'entraînement imaginées pour la visualisation, montrant que le modèle d'univers a appris à simuler un large éventail de mécanismes de jeu, depuis les actions de base à la souris et au clavier, comme casser des blocs, utiliser des outils et interagir avec des tables de fabrication. Crédit : arXiv (2025). DOI : 10.48550/arxiv.2509.24527
Au cours de la dernière décennie, l'apprentissage profond a transformé la façon dont les agents d'intelligence artificielle (IA) perçoivent et agissent dans les environnements numériques, leur permettant de maîtriser les jeux de société, de contrôler des robots simulés et d'accomplir avec fiabilité diverses autres tâches. Pourtant, la plupart de ces systèmes dépendent encore d'une expérience directe considérable – des millions d'interactions par essais-erreurs – pour acquérir une compétence même modeste.
Cette approche par la force brute limite leur utilité dans le monde physique, où une telle expérimentation serait lente, coûteuse ou dangereuse.
Pour surmonter ces limitations, les chercheurs se sont tournés vers des modèles mondiaux, des environnements simulés dans lesquels les agents peuvent s’entraîner et apprendre en toute sécurité.
Ces modèles de monde visent à capturer non seulement l'aspect visuel d'un monde, mais aussi sa dynamique sous-jacente : la façon dont les objets se déplacent, entrent en collision et réagissent aux actions. Cependant, si des jeux simples comme Atari et Go ont constitué des bancs d'essai efficaces, les modèles de monde restent insuffisants pour représenter la physique riche et évolutive de mondes complexes comme Minecraft ou les environnements robotiques.
Les chercheurs de Google DeepMind ont récemment développé Dreamer 4, un nouvel agent artificiel capable d'apprendre des comportements complexes entièrement dans un modèle mondial évolutif, à partir d'un ensemble limité de vidéos préenregistrées.
Le nouveau modèle, présenté dans un article publié sur le serveur de prépublication arXiv , est le premier agent d'intelligence artificielle (IA) à obtenir des diamants dans Minecraft sans aucun entraînement en jeu. Cette réalisation remarquable met en évidence la possibilité d'utiliser Dreamer 4 pour former des agents d'IA performants uniquement par l'imagination, avec des implications importantes pour l'avenir de la robotique.
« En tant qu'êtres humains, nous choisissons des actions basées sur une compréhension profonde du monde et anticipons les résultats potentiels à l'avance », a déclaré Danijar Hafner, premier auteur de l'article.
Cette capacité nécessite un modèle interne du monde et nous permet de résoudre de nouveaux problèmes très rapidement. En revanche, les agents d'IA précédents apprenaient généralement par la force brute, avec de nombreux essais et erreurs. Mais cela est impossible pour des applications comme les robots physiques, qui peuvent facilement tomber en panne.
Certains agents d'IA développés par DeepMind ces dernières années ont déjà rencontré un succès phénoménal dans des jeux comme Go et Atari, grâce à leur entraînement sur des modèles de mondes réduits. Cependant, ces modèles n'ont pas réussi à capturer la richesse des interactions physiques dans des mondes plus complexes, comme le jeu vidéo Minecraft.
Dreamer 4 est le premier agent à obtenir des diamants dans Minecraft uniquement à partir de données hors ligne, sans s'entraîner dans l'environnement. L'agent apprend d'abord un modèle de monde, puis améliore son comportement par apprentissage par renforcement dans divers scénarios imaginaires. La vidéo montre l'agent en interaction avec le jeu réel pour évaluation. Crédit : Google DeepMind.
D'autre part, « les modèles vidéo tels que Veo et Sora s'améliorent rapidement pour générer des vidéos réalistes de situations très diverses », a déclaré Hafner.
Cependant, ils ne sont pas interactifs et leurs générations sont trop lentes. Ils ne peuvent donc pas encore servir de simulateurs neuronaux pour entraîner des agents. L'objectif de Dreamer 4 était de former des agents performants uniquement à l'intérieur de modèles de mondes capables de simuler de manière réaliste des mondes complexes.
Hafner et ses collègues ont décidé d'utiliser Minecraft comme banc d'essai pour leur agent d'IA, car il s'agit d'un jeu vidéo complexe qui contient des mondes générés à l'infini et des tâches à long terme qui nécessitent plus de 20 000 actions consécutives de la souris/du clavier pour être accomplies.
L'une de ces tâches est l'extraction de diamants, qui nécessite que l'agent effectue une longue séquence de prérequis tels que couper des arbres, fabriquer des outils et extraire et fondre des minerais.
Les chercheurs souhaitaient notamment entraîner leur agent uniquement dans des scénarios « imaginaires », plutôt que de le laisser s'entraîner dans le jeu réel, à l'instar des robots intelligents qui devront apprendre en simulation, car ils pourraient facilement se détériorer en s'entraînant directement dans le monde réel. Cela nécessite que le modèle apprenne les interactions avec les objets dans un modèle interne suffisamment précis du monde Minecraft.
L'agent artificiel développé par Hafner et ses collègues repose sur un grand modèle de transformateur entraîné à prédire les observations, les actions et les récompenses futures associées à des situations spécifiques. Dreamer 4 a été entraîné sur un ensemble de données fixes hors ligne contenant des vidéos de gameplay Minecraft enregistrées par des joueurs humains.
« Après avoir terminé cette formation, Dreamer 4 apprend à sélectionner des actions de plus en plus meilleures dans un large éventail de scénarios imaginés grâce à l'apprentissage par renforcement », a déclaré Hafner.
La formation d'agents au sein de modèles évolutifs a nécessité de repousser les limites de l'IA générative. "Nous avons conçu une architecture de transformateur efficace et un nouvel objectif de formation appelé « raccourci forcé ». Ces avancées ont permis des prédictions précises tout en accélérant les générations de plus de 25 fois par rapport aux modèles vidéo classiques."
Des humains interagissent avec différents modèles de monde Minecraft pour construire un mur 3x3 à partir de planches de bois. Le modèle de monde de Dreamer 4 a appris à prédire avec précision les interactions entre les objets et les mécanismes de jeu, améliorant considérablement les modèles de monde précédents tout en permettant des générations en temps réel sur un seul GPU. Crédit : Google DeepMind.
Dreamer 4 est le premier agent IA à obtenir des diamants dans Minecraft en s'entraînant uniquement sur des données hors ligne, sans jamais mettre ses compétences en pratique dans le jeu. Cette découverte met en évidence la capacité de l'agent à apprendre de manière autonome à résoudre correctement des tâches complexes et à long terme.
« L'apprentissage purement hors ligne est particulièrement pertinent pour la formation de robots qui peuvent facilement tomber en panne lors de leurs entraînements en conditions réelles », a déclaré Hafner. « Nos travaux ouvrent la voie à une nouvelle approche prometteuse pour la construction de robots intelligents capables d'effectuer des tâches ménagères et industrielles. »
Lors des premiers tests réalisés par les chercheurs, l'agent Dreamer 4 s'est avéré capable de prédire avec précision diverses interactions entre objets et mécanismes de jeu, développant ainsi un modèle mondial interne fiable. Le modèle mondial établi par l'agent a largement surpassé les modèles sur lesquels s'appuyaient les agents précédents.
« Le modèle prend en charge les interactions en temps réel sur un seul GPU, ce qui permet aux joueurs humains d'explorer facilement son monde imaginaire et de tester ses capacités », a déclaré Hafner. « Nous constatons que le modèle prédit avec précision la dynamique de l'extraction et du placement de blocs, de la fabrication d'objets simples, et même de l'utilisation des portes, des coffres et des bateaux. »
Un autre avantage de Dreamer 4 est qu'il a obtenu des résultats remarquables malgré un entraînement sur un très petit volume de données d'action. Il s'agit essentiellement d'images vidéo montrant les effets de l'appui sur différentes touches et boutons de souris dans le jeu vidéo Minecraft.
« Au lieu de nécessiter des milliers d’heures d’enregistrements de jeu avec des actions, le modèle mondial peut en fait apprendre la majorité de ses connaissances à partir de la vidéo seule », a déclaré Hafner.
Avec seulement quelques centaines d'heures de données d'action, le modèle mondial comprend les effets des mouvements de la souris et des touches enfoncées de manière générale, ce qui permet de les transférer à de nouvelles situations. C'est passionnant, car l'enregistrement des données robotiques est lent, mais Internet regorge de vidéos d'interactions humaines avec le monde, dont Dreamer 4 pourrait tirer des leçons à l'avenir.
Ces travaux récents de Hafner et de ses collègues de DeepMind pourraient contribuer à l’avancement des systèmes robotiques, en simplifiant la formation des algorithmes qui leur permettent d’accomplir de manière fiable des tâches manuelles dans le monde réel.
Parallèlement, les chercheurs prévoient d'améliorer encore le modèle mondial de Dreamer 4 en intégrant un composant de mémoire à long terme. Cela garantirait la cohérence des mondes simulés dans lesquels l'agent est entraîné sur de longues périodes.
« L’intégration de la compréhension du langage nous rapprocherait également d’ agents qui collaborent avec les humains et effectuent des tâches pour eux », a ajouté Hafner.
« Enfin, former le modèle mondial sur des vidéos Internet générales permettrait de doter l'agent d'une connaissance de bon sens du monde physique et de nous permettre de former des robots dans divers scénarios imaginés. »
https://techxplore.com/news/2025-10-deepmind-ai-agent-tasks-scalable.html