« Robot, fabrique-moi une chaise. »
Un système piloté par l’IA permet aux utilisateurs de concevoir et de construire des objets simples à plusieurs composants en les décrivant avec des mots.
Les systèmes de conception assistée par ordinateur (CAO) sont des outils éprouvés, utilisés pour concevoir de nombreux objets du quotidien. Cependant, la maîtrise des logiciels de CAO exige une expertise considérable, et nombre d’entre eux présentent un niveau de détail si élevé qu’ils ne se prêtent ni au brainstorming ni au prototypage rapide.
Afin de rendre la conception plus rapide et plus accessible aux non-spécialistes, des chercheurs du MIT et d’ailleurs ont développé un système d’assemblage robotisé piloté par l’IA qui permet de construire des objets physiques en les décrivant simplement avec des mots.
Leur système utilise un modèle d’IA générative pour construire une représentation 3D de la géométrie d’un objet à partir des instructions de l’utilisateur. Ensuite, un second modèle d’IA générative analyse l’objet souhaité et détermine l’emplacement des différents composants en fonction de sa fonction et de sa géométrie.
Le système peut construire automatiquement l’objet à partir d’un ensemble de pièces préfabriquées grâce à un assemblage robotisé. Il peut également améliorer la conception en fonction des retours de l’utilisateur.
Les chercheurs ont utilisé ce système intégré pour fabriquer du mobilier, notamment des chaises et des étagères, à partir de deux types de composants préfabriqués. Ces composants peuvent être démontés et remontés à volonté, ce qui réduit la quantité de déchets générés par le processus de fabrication.
Ils ont évalué ces conceptions au moyen d’une étude auprès des utilisateurs et ont constaté que plus de 90 % des participants préféraient les objets fabriqués par leur système piloté par l’IA, par rapport à d’autres approches.
Bien que ce travail constitue une première démonstration, ce cadre pourrait s’avérer particulièrement utile pour le prototypage rapide d’objets complexes tels que des composants aérospatiaux et des éléments architecturaux. À plus long terme, il pourrait être utilisé à domicile pour fabriquer localement des meubles ou d’autres objets, sans avoir à faire expédier des produits volumineux depuis un site central.
« Tôt ou tard, nous voulons pouvoir communiquer et dialoguer avec un robot et un système d’IA de la même manière que nous communiquons entre nous, afin de créer des choses ensemble. Notre système constitue un premier pas vers cet avenir », explique Alex Kyaw, auteur principal de l’étude et doctorant aux départements de génie électrique et d’informatique (EECS) et d’architecture du MIT.
Alex Kyaw a collaboré à cet article avec Richa Gupta, doctorante en architecture au MIT ; Faez Ahmed, professeur associé de génie mécanique ; Lawrence Sass, professeur et directeur du groupe de calcul du département d’architecture ; Randall Davis, auteur principal, professeur de génie électrique et informatique et membre du Laboratoire d’informatique et d’intelligence artificielle (CSAIL) ; ainsi qu’avec d’autres chercheurs de Google DeepMind et d’Autodesk Research. Cet article a été présenté récemment à la Conférence sur les systèmes de traitement de l’information neuronale.
Générer une conception multicomposante
Bien que les modèles d’IA générative soient performants pour générer des représentations 3D, appelées maillages, à partir d’instructions textuelles, la plupart ne produisent pas de représentations uniformes de la géométrie d’un objet comportant les détails au niveau des composants nécessaires à l’assemblage robotisé.
La séparation de ces maillages en composants est complexe pour un modèle, car l’attribution des composants dépend de la géométrie et de la fonctionnalité de l’objet et de ses parties.
Les chercheurs ont relevé ces défis à l’aide d’un modèle vision-langage (VLM), un puissant modèle d’IA générative pré-entraîné à comprendre les images et le texte. Ils ont chargé le VLM de déterminer comment deux types de pièces préfabriquées, les composants structurels et les panneaux, devaient s’assembler pour former un objet.
« Il existe de nombreuses façons de fixer des panneaux sur un objet physique, mais le robot doit en percevoir la géométrie et l’analyser pour prendre une décision. En faisant office à la fois d’yeux et de cerveau, le VLM permet au robot d’accomplir cette tâche », souligne Alex Kyaw.
L’utilisateur interroge le système avec du texte, par exemple en tapant « créez-moi une chaise », et lui fournit une image de chaise générée par l’IA pour démarrer.
Ensuite, le modèle VLM analyse la chaise et détermine l’emplacement des panneaux par rapport aux éléments structurels, en se basant sur la fonctionnalité de nombreux objets exemples déjà rencontrés. Par exemple, le modèle peut déterminer que l’assise et le dossier doivent comporter des panneaux pour offrir un support confortable à une personne assise.
Il restitue ces informations sous forme de texte, comme « siège » ou « dossier ». Chaque surface de la chaise est ensuite numérotée, et les informations sont renvoyées au VLM.
Ensuite, le VLM choisit les étiquettes qui correspondent aux parties géométriques de la chaise qui doivent recevoir des panneaux sur le maillage 3D pour finaliser la conception.
Conception conjointe humain-IA
L’utilisateur reste impliqué tout au long de ce processus et peut affiner la conception en fournissant au modèle une nouvelle consigne, telle que « n’utiliser les panneaux que sur le dossier, pas sur l’assise ».
« Le champ des possibles en matière de conception est immense, c’est pourquoi nous le restreignons grâce aux retours des utilisateurs. Nous pensons que c’est la meilleure approche, car les préférences varient d’une personne à l’autre, et il serait impossible de créer un modèle idéal qui convienne à tous », assure Alex Kyaw.
« Le processus avec intervention humaine permet aux utilisateurs de piloter les conceptions générées par l’IA et de s’approprier le résultat final », ajoute Gupta.
Une fois le maillage 3D finalisé, un système d’assemblage robotisé construit l’objet à partir de pièces préfabriquées. Ces pièces réutilisables peuvent être démontées et réassemblées selon différentes configurations.
Les chercheurs ont comparé les résultats de leur méthode avec ceux d’un algorithme plaçant les panneaux sur toutes les surfaces horizontales orientées vers le haut, et ceux d’un algorithme les plaçant aléatoirement. Lors d’une étude auprès d’utilisateurs, plus de 90 % des participants ont préféré les motifs créés par leur système.
Ils ont également demandé au VLM d’expliquer pourquoi il avait choisi d’installer des panneaux dans ces zones.
« Nous avons appris que le modèle de langage visuel est capable de comprendre, dans une certaine mesure, les aspects fonctionnels d’une chaise, comme le fait de s’appuyer et de s’asseoir, afin de comprendre pourquoi il place des panneaux sur l’assise et le dossier. Il ne se contente pas de distribuer ces éléments au hasard », explique Kyaw.
À l’avenir, les chercheurs souhaitent perfectionner leur système afin qu’il puisse gérer des requêtes utilisateur plus complexes et nuancées, comme par exemple une table en verre et en métal. Ils envisagent également d’intégrer des composants préfabriqués supplémentaires, tels que des engrenages, des charnières ou d’autres pièces mobiles, pour accroître la fonctionnalité des objets.
« Notre objectif est de réduire considérablement les obstacles à l’accès aux outils de conception. Nous avons démontré qu’il est possible d’utiliser l’IA générative et la robotique pour transformer des idées en objets physiques de manière rapide, accessible et durable », explique Davis.