Un nouvel outil d'IA ouvre la modélisation 3D aux programmeurs aveugles et malvoyants
infohightech ·
Les programmeurs aveugles et malvoyants ont longtemps été exclus des logiciels de modélisation tridimensionnelle, qui dépendent des utilisateurs voyants qui font glisser, font pivoter et inspectent les formes à l'écran.
Aujourd'hui, une équipe de recherche multi universitaire a développé A11yShape , un nouvel outil conçu pour aider les programmeurs aveugles et malvoyants à créer, inspecter et affiner de manière indépendante des modèles tridimensionnels.
L'équipe est composée d' Anhong Guo , professeur adjoint de génie électrique et d'informatique à l'Université du Michigan, et de chercheurs de l'Université du Texas à Dallas, de l'Université de Washington, de l'Université Purdue et de plusieurs institutions partenaires, dont Gene SH Kim de l'Université de Stanford, membre de la communauté des aveugles et des malvoyants.
A11yShape combine l'éditeur de modélisation 3D OpenSCAD avec le modèle de langage étendu GPT-4o. OpenSCAD permet déjà aux utilisateurs de créer des formes 3D en saisissant des commandes plutôt qu'en faisant glisser des objets à la souris. Par exemple : cylinder(h=20, d=5) produit instantanément un cylindre de 20 unités de hauteur et de 5 unités de diamètre, pouvant être tourné et exporté pour l'impression 3D.
Mais pour les utilisateurs aveugles, ce modèle rendu n'est qu'une image silencieuse à l'écran. Ils peuvent écrire du code, mais n'ont aucun moyen de « voir » si la forme est haute ou basse, où sont placées les pièces ou si un élément est mal aligné.
Figure 1 : Avec A11yShape, (A) un utilisateur aveugle ou malvoyant (BLV) peut créer, interpréter et vérifier des modèles 3D via (B) une interface utilisateur composée de trois parties : l’éditeur de code, l’assistant IA et le modèle. Ces panneaux sont reliés par un mécanisme de mise en évidence croisée qui relie le code, les descriptions textuelles, les abstractions hiérarchiques des modèles et les rendus visuels 3D. Le système permet la création (C) de modèles 3D variés et personnalisés par les utilisateurs BLV. Crédit image : auteurs de l’étude, CC 4.0
A11yShape comble ce manque en agissant comme les « yeux » de l'utilisateur. Chaque fois qu'un utilisateur aveugle ou malvoyant écrit du code OpenSCAD, A11yShape :
- Restitue le modèle 3D sous plusieurs angles (haut, bas, gauche, droite, avant et arrière) afin d'obtenir un aperçu visuel complet de l'objet.
- Introduit le code et ces instantanés dans GPT-4o. GPT-4o, capable de traiter simultanément du texte et des images, fournit des descriptions claires de la taille, de la forme et de la position de chaque composant (« Un cylindre haut et étroit se tient debout au centre, fixé à un cube à sa base ») et peut répondre à des questions (« Quelle est la largeur de la base ? ») ou suggérer des modifications de code.
- Synchronise les sélections entre toutes les vues. Grâce à un mécanisme de surbrillance croisée, lorsqu'un utilisateur sélectionne (au clavier ou avec un lecteur d'écran) « aile » dans le contour, A11yShape met simultanément en surbrillance le code de l'aile, sa description et sa position affichée. Le système enregistre également chaque modification, qu'elle soit effectuée par l'utilisateur ou suggérée par l'IA, dans des journaux distincts, permettant ainsi aux utilisateurs de revenir en arrière ou de comparer les versions.
Ensemble, ces fonctionnalités offrent aux programmeurs aveugles et malvoyants quatre manières liées de comprendre un modèle (code, description générée par l'IA, hiérarchie sémantique et rendu visuel), leur permettant de créer et d'ajuster des conceptions de manière indépendante.
Pour évaluer A11yShape, l'équipe a mené une étude multisession avec quatre programmeurs aveugles ou malvoyants, n'ayant aucune expérience préalable en modélisation 3D. Après un tutoriel d'introduction, chaque participant a utilisé le système pendant trois sessions pour réaliser 12 modèles, dont une brochette Tanghulu, des robots, une fusée et un hélicoptère.
Les quatre participants ont réalisé avec succès les tâches de modélisation 3D guidée et libre avec A11yShape. Ils ont obtenu un score moyen de 80,6 sur l'échelle d'utilisabilité du système, une note élevée pour l'utilisabilité. L'un d'eux a déclaré : « Je n'avais jamais modélisé auparavant et je n'aurais jamais cru pouvoir en être capable. … Cela nous a offert (à la communauté BLV) une nouvelle perspective sur la modélisation 3D, démontrant que nous pouvons effectivement créer des structures relativement simples. »
L'étude a révélé des flux de travail distincts. Certains participants ont écrit la majeure partie du code eux-mêmes, utilisant l'IA principalement pour les descriptions. D'autres se sont appuyés sur l'IA pour générer un modèle initial, puis l'ont peaufiné manuellement. Tous ont utilisé le contrôle de version et la navigation hiérarchique pour corriger les erreurs et localiser des parties de leurs modèles.
Des difficultés subsistaient néanmoins. Les descriptions textuelles complexes créaient parfois une surcharge cognitive. Les participants peinaient également à évaluer des relations spatiales précises sans retour tactile, ce qui entraînait des désalignements occasionnels, comme des hélices flottant au-dessus du fuselage d'un hélicoptère.
Malgré ses limites, les chercheurs affirment qu'A11yShape représente une avancée majeure dans l'accessibilité des outils de créativité. En reliant code, descriptions, structure et rendu, le système permet aux utilisateurs aveugles et malvoyants de concevoir et de modifier de manière autonome des artefacts auparavant réservés à l'assistance d'une personne voyante.
Les versions futures pourraient inclure des descriptions d'IA plus concises, des fonctionnalités de saisie semi-automatique du code et une intégration avec des écrans tactiles ou une impression 3D pour fournir un retour physique.
« Notre vision pour A11yShape est d'ouvrir une porte aux créateurs aveugles et malvoyants pour entrer dans un monde d'activités créatives, comme la modélisation 3D, et de rendre possible ce qui semblait autrefois impossible », a déclaré Liang He , chercheur à l'Université du Texas à Dallas.
« Nous n'en sommes qu'au début », a déclaré Guo. « Nous espérons que cette approche rendra la modélisation 3D plus accessible et inspirera des conceptions similaires dans d'autres domaines créatifs. »
https://news.umich.edu/new-ai-tool-opens-3d-modeling-to-blind-and-low-vision-programmers