« WYSIWYG » est un principe fondamental pour de nombreux ingénieurs logiciels : créer des programmes où le contenu modifié est identique au produit final. Mais lorsqu’on utilise des systèmes d’IA générative (IAG) pour imprimer en 3D, par exemple, une tasse, on obtient généralement une tasse trop petite pour contenir son café. Pourquoi ?
Le problème est que les modèles d’IA comprennent l’apparence d’un objet, mais pas son fonctionnement, ce qui aboutit à des conceptions impraticables qui compromettent son utilisation prévue. Même en souhaitant corriger ces erreurs, les modèles sont généralement difficiles à modifier, surtout pour les utilisateurs novices en conception 3D.
Une nouvelle approche, baptisée « InstructMesh », simplifie considérablement la conception et l’impression d’objets du quotidien, d’accessoires et de robots fonctionnels. Ce logiciel de conception, développé par des chercheurs du Laboratoire d’informatique et d’intelligence artificielle (CSAIL) du MIT, de Google et de l’Université Northeastern, permet de générer un modèle 3D, par exemple pour une paire de lunettes.
Les utilisateurs peuvent ensuite sélectionner les parties du modèle à modifier avant l’impression 3D. Cette interface, pilotée par l’IA, comprend le rendu final des modèles et les modifications souhaitées par les experts comme par les novices, les aidant ainsi à créer les objets qu’ils imaginent.
Les chercheurs du CSAIL ont utilisé InstructMesh pour personnaliser et créer des objets du quotidien. Par exemple, l’outil a permis de fabriquer une tasse qui semble enveloppée par un dragon, dont la queue fait office d’anse. Il a également créé un sifflet bleu brillant en forme de coquillage et une paire de lunettes dont les verres sont ornés d’ailes de papillon. Poussant l’imagination encore plus loin, il a conçu un distributeur de boissons en forme de pieuvre, dont les tentacules laissent s’écouler des liquides pour remplir plusieurs verres simultanément.
Qu’est-ce qui rend InstructMesh si performant pour suivre des instructions aussi spécifiques ? Il associe le système TRELLIS de Microsoft , qui crée des modèles 3D à partir d’instructions textuelles et visuelles, au modèle de langage étendu GPT-4, compatible avec ChatGPT. Autrement dit, il combine connaissances visuelles et textuelles.
« Nous souhaitions combiner les talents des générateurs 3D et les capacités de raisonnement des modèles de langage dans un espace interactif afin de créer des objets réellement utiles », explique Faraz Faruqi, docteur du MIT (promotion 2026), auteur principal d’un article présentant le projet et ancien participant du programme CSAIL. « Les modèles de langage excellent dans le traitement du texte et des images, tandis que le talent de TRELLIS réside dans sa capacité à créer des modèles 3D, grâce à sa vaste expérience. »
Les atouts d’InstructMesh se révèlent précieux dans des domaines plus inattendus. Des scientifiques du MIT ont utilisé le programme pour fabriquer une genouillère d’apparence denim, assortie au jean d’un patient. InstructMesh peut même contribuer à la création de robots, c’est-à-dire de boîtiers ingénieux abritant des composants sans fil. Pour illustrer ce concept, les chercheurs ont conçu un « robot à poils » ressemblant à une crevette colorée. Doté d’un moteur interne, il peut, une fois activé, glisser sur différentes surfaces, à la manière d’un jouet mécanique.
Vous débutez en modélisation 3D ? Pas de problème.
Faruqi et ses collègues ont constaté qu’InstructMesh pouvait facilement fabriquer les objets souhaités. Mais qu’en penserait une personne n’ayant jamais modélisé en 3D ? Et serait-elle réellement capable de détecter les défauts de conception avant la fabrication ?
L’équipe a utilisé TRELLIS pour recréer des modèles 3D populaires trouvés sur Thingiverse, une plateforme hébergeant des millions de modèles imprimables en 3D, afin de mener l’enquête. Près de 80 % des modèles générés présentaient des défauts structurels. Les chercheurs du CSAIL ont ensuite demandé à des novices d’identifier et de corriger ces problèmes dans InstructMesh ; ils y sont parvenus dans environ 90 % des cas, d’après la vérification effectuée par un expert. Ce qui leur manquait en expertise, ils le compensaient par leur intuition.
InstructMesh simplifie le processus de modélisation proprement dit, qui nécessitait auparavant une expertise pointue des outils de modélisation 3D. « Grâce aux manipulations effectuées dans l’espace latent du modèle génératif, InstructMesh permet une description en langage naturel des problèmes et génère des modifications géométriques interprétatives que l’utilisateur peut ensuite évaluer et approuver », explique Faruqi.
Les utilisateurs ont ensuite créé des objets ressemblant à des supports de téléphone et des vases, soulignant la simplicité d’utilisation d’InstructMesh. Ils ont également constaté qu’InstructMesh leur permettait d’exprimer une grande variété d’idées, tandis que les curseurs leur offraient une plus grande précision pour effectuer certains ajustements, comme agrandir ou extruder une partie spécifique du modèle.
« Les utilisateurs ont obtenu ce qu’ils avaient demandé et ont pu facilement modifier les designs au besoin », ajoute Faruqi. « Ils ont obtenu exactement ce qu’ils voyaient, et les produits fonctionnaient comme prévu. »
Si les utilisateurs ont apprécié InstructMesh, Faruqi nourrit une vision encore plus ambitieuse pour le projet. Travaillant désormais chez Google, il envisage d’intégrer prochainement InstructMesh à une plateforme de réalité augmentée (RA). Le principe : expliquer au système son besoin en s’appuyant sur le contexte de son environnement, puis l’imprimer en 3D (par exemple, créer une coque de téléphone assortie à son portefeuille).
InstructMesh pourrait également intégrer des simulations physiques pour modéliser le comportement de votre conception face à des utilisations spécifiques, par exemple la résistance d’un bol en cas de chute, et déterminer les matériaux les plus adaptés. Le logiciel pourrait aussi intégrer la version plus récente de TRELLIS.2 afin d’affiner les détails les plus fins des modèles 3D.
