Légende: Un nouveau système développé au MIT utilise trois agents pour reconstituer les objets, les murs et l’aspect général d’une scène 3D. Ses reconstitutions réalistes d’espaces intérieurs permettent aux robots de s’exercer et d’expérimenter différentes méthodes d’exécution de tâches avant leur mise en service. Crédits: Image : Tim Malieckal/MIT CSAIL utilisant des ressources des chercheurs
Le système « SceneSmith » utilise des agents d’IA collaboratifs pour créer des environnements 3D réalistes de lieux tels que des cuisines, des hôtels et des salons, où des robots peuvent simuler les tâches quotidiennes.
Il est de plus en plus fréquent de voir des robots déambuler dans la rue, sous le regard ébahi des passants. Cependant, ces machines ne sont pas encore les assistants polyvalents que l’on souhaiterait avoir en cuisine ou en usine, et la gestion des données représente un obstacle majeur. À l’instar des humains, les robots apprennent mieux par l’expérience. Le défi réside dans le fait qu’il est extrêmement laborieux et chronophage de leur enseigner physiquement un grand nombre d’actions dans différents contextes.
« Une solution naturelle consiste à utiliser la simulation comme terrain d’entraînement. Bien que des progrès significatifs aient été réalisés ces dernières années au niveau des moteurs physiques qui alimentent les simulateurs robotiques, l’un des défis persistants reste la création d’un contenu de simulation suffisamment riche et diversifié pour refléter la complexité du monde réel », explique Russ Tedrake, professeur titulaire de la chaire Toyota de génie électrique et d’informatique (EECS), d’aéronautique et d’astronautique, et de génie mécanique au MIT, et chercheur principal au Laboratoire d’informatique et d’intelligence artificielle (CSAIL) du MIT.
Il s’avère que les agents d’IA, ou programmes semi-autonomes capables de « penser » et d’accomplir des tâches bien définies, pourraient contribuer à la création d’environnements virtuels réalistes, indispensables aux robots. Le nouveau système « SceneSmith », développé par des chercheurs du MIT CSAIL et du Toyota Research Institute, utilise trois agents pour reconstituer les objets, les murs et l’aspect général d’une scène 3D.
Ses reconstitutions d’espaces intérieurs, tels que restaurants, chambres et hôtels, sont plus réalistes et détaillées que celles des systèmes précédents, permettant aux robots de s’exercer et d’expérimenter différentes méthodes de travail avant leur mise en service. Les ingénieurs gagnent ainsi un temps précieux lors des tests en conditions réelles. Les agents ont une idée précise de l’apparence des lieux du quotidien car chacun d’eux s’appuie sur un système multimodal appelé modèle vision-langage (VLM), et plus précisément sur le VLM GPT-5.2, à la pointe de la technologie .
Ce dernier est entraîné sur une grande quantité de textes et d’images provenant d’Internet afin de traiter un plus grand nombre d’instructions visuelles. Ce modèle avancé confère à chaque agent une forme de connaissance spatiale : un agent « concepteur » génère d’abord les éléments d’une scène, puis un agent « critique » évalue son réalisme, et enfin un agent « orchestrateur » coordonne leurs échanges et décide de la finalisation de la conception. Une fois la collaboration créative des trois agents visuels achevée, la scène est prête à être chargée directement dans le logiciel de simulation physique.
« Nous avons constaté que le système est capable de construire des scènes 3D comme le ferait un concepteur humain », explique Nicholas Pfaff, doctorant en génie électrique et informatique au MIT, chercheur au CSAIL et co-auteur d’un article avec Tedrake présentant ces travaux. « Nous avons créé plus de 1 300 scènes à l’aide d’un modèle de langage visuel de pointe doté de connaissances a priori à l’échelle d’Internet, et le système a généré des agencements incroyablement créatifs et variés. Je ne lui avais pas programmé cette capacité ; il a improvisé spontanément. »
Parlez à mon agent
Grâce aux agents VLM, vous pouvez demander à SceneSmith de réaliser des actions telles que « générer un garage avec une voiture, un établi, des pneus empilés dans un coin et une échelle contre le mur », et obtenir ainsi un terrain de jeu virtuel riche en objets avec lesquels un robot peut interagir. Ces pièces contiennent jusqu’à six fois plus d’objets par scène que les méthodes précédentes, ce qui les rend idéales pour aider les robots à acquérir des compétences comme mettre une tasse dans l’évier, disposer des fruits dans des assiettes et déplacer une canette de soda d’une étagère à une table.
Grâce à la multitude d’environnements virtuels disponibles, il est possible d’évaluer la préparation d’un robot au déploiement sans multiplier les essais et erreurs dans le monde physique. Les chercheurs ont testé différents plans d’action (ou « politiques ») dans les mondes numériques de SceneSmith, générant ainsi 100 espaces uniques. Un agent VLM a évalué chaque tentative et a constaté que les plans du robot étaient erronés, la machine échouant fréquemment dans ses tâches. Les humains ont approuvé les conclusions du modèle dans plus de 99 % des cas, ce qui pourrait aider les roboticiens à éliminer les approches défaillantes en simulation avant le déploiement du robot dans le monde réel.
Mais ces mondes virtuels sont-ils vraiment réalistes ? Difficile à prouver de manière catégorique, les chercheurs ont donc abordé la question sous plusieurs angles. Le test le plus révélateur : ils ont intégré une politique robotique pré-entraînée – un contrôleur d’IA entraîné principalement sur des données réelles, n’ayant jamais vu de scène SceneSmith – dans les environnements générés. Lors d’un test, les utilisateurs ont demandé au système de « prendre la pomme du bol et de la poser sur la planche à découper », et le robot simulé a exécuté la commande. Si les scènes n’avaient pas ressemblé aux environnements réels sur lesquels la politique avait été entraînée, elle n’aurait tout simplement pas fonctionné.
L’équipe a également téléopéré des robots dans les espaces virtuels, les guidant pour ouvrir des placards, ranger des bouteilles et se déplacer d’une pièce à l’autre. Leurs expériences ont révélé que les environnements résistent à une interaction physique prolongée, allant au-delà de la simple inspection visuelle.
En coulisses,
les agents utilisés par SceneSmith ont chacun un rôle bien défini dans le processus de génération, développant les scènes étape par étape. Ils créent essentiellement un plan et lui donnent vie.
Imaginons que vous souhaitiez créer une scène similaire au rez-de-chaussée d’une maison. Le VLM « concepteur » commencerait par un agencement général, que le « critique » examinerait, puis que l’« orchestrateur » validerait. Les agents répètent cette approche à chaque étape : ajout de meubles, placement d’objets sur les murs puis les plafonds, et enfin, insertion d’objets que les robots peuvent manipuler. Par exemple, les VLM peuvent ajouter des placards que les robots peuvent ouvrir et fermer – un élément articulé, ce qui était rare dans les versions précédentes.
À chaque étape, le second VLM s’assure de la fonctionnalité de la scène, en suggérant par exemple de retirer une baignoire du salon. Le troisième module de conception visuelle (VLM) garantit la génération d’une scène de haute qualité, quitte à revenir en arrière dans le processus de conception si le rendu visuel n’est pas satisfaisant. Une fois la collaboration créative des trois VLM terminée, les mécanismes du monde physique sont intégrés via un logiciel de simulation.
Grâce à une parfaite maîtrise de l’apparence des pièces, du placement des objets et des lois de la physique, SceneSmith surpasse nettement les méthodes précédentes. Comparé aux solutions de génération de scènes de référence telles que « HSM » et « Holodeck », SceneSmith a créé des environnements plus riches en objets, incluant un bureau privé, une boutique de poterie et même une salle de jeux inspirée de Minecraft.
SceneSmith a également été plébiscité par plus de 200 utilisateurs. Ces derniers ont constaté que le rendu visuel du système était plus réaliste dans plus de 90 % des cas. Ils ont également observé que, de manière générale, il suivait les instructions avec plus de précision que les autres approches. En d’autres termes, il était le plus performant pour générer les environnements virtuels que les utilisateurs souhaitaient réellement explorer.
Un système aux multiples talents :
réalisme, diversité et richesse sont autant d’atouts pour SceneSmith, même lorsqu’il s’agit de générer des objets 3D individuels. Vous pouvez lui demander de créer un chariot de service roulant, et il créera une image 2D qu’il transformera ensuite en un modèle détaillé doté de propriétés physiques telles que la masse, le frottement et l’inertie.
Un processus aussi détaillé a cependant un coût en termes de vitesse. La production d’une seule scène peut prendre plusieurs heures, car les agents créent et analysent minutieusement chaque objet. Avec une puissance de calcul accrue, le système pourrait gagner considérablement en efficacité. Les ingénieurs du CSAIL espèrent également pouvoir étendre ses fonctionnalités aux objets déformables (comme les éponges), si de vastes bibliothèques 3D deviennent disponibles.
« SceneSmith représente une avancée significative à cet égard, en fournissant un cadre d’agents permettant de générer des environnements intérieurs prêts pour la simulation à partir d’une simple requête textuelle », explique Jeremy Binagia, chercheur en robotique appliquée chez Amazon Robotics, qui n’a pas participé à ces travaux. « Cette technologie fait progresser l’état de l’art de plusieurs manières, notamment en repoussant les limites de la densité d’objets dans l’environnement simulé, en garantissant la précision physique de tous les objets (et pas seulement leur réalisme visuel) et en créant des ressources non limitées à une bibliothèque fixe, puisqu’elles peuvent être générées par conversion texte-3D. »
