Un nouveau système conçu par Yun Ho, Romain Nith et Pedro Lopes combine l’IA et la stimulation musculaire électrique pour guider physiquement les utilisateurs dans des tâches inconnues, marquant ainsi un bond en avant vers une assistance corporelle polyvalente et contextuelle.
Imaginez-vous en voyage dans un pays étranger, tendant la main vers une fenêtre que vous n’avez jamais vue auparavant. Au lieu de lutter pour l’ouvrir, vous sentez vos muscles vous guider doucement, comme si un professeur invisible vous transmettait son savoir. Imaginez maintenant cette même sensation vous aidant à ouvrir un flacon de pilules à sécurité enfant, à utiliser un appareil photo ou à accomplir des tâches que vous n’avez jamais pratiquées.
Il ne s’agit pas de science-fiction. C’est la vision concrétisée par les doctorants Yun Ho et Romain Nith , sous la direction du professeur associé Pedro Lopes au département d’informatique de l’université de Chicago. Leurs travaux , récemment récompensés par le prix du meilleur article à la conférence ACM CHI 2026 , suscitent un vif intérêt au sein de la communauté de l’interaction homme-machine.
Des gadgets de niche à l’assistance physique à usage général
La stimulation électrique musculaire (EMS) n’est pas nouvelle ; depuis des années, des chercheurs fixent des électrodes sur le corps et délivrent des courants contrôlés pour enseigner des séquences de piano, démontrer la langue des signes ou faciliter la rééducation après un AVC. Le problème ? Ces systèmes ont toujours été comme des petites roues d’apprentissage, utiles uniquement pour un nombre restreint de tâches programmées, incapables de s’adapter instantanément à la complexité et à l’imprévisibilité du monde réel.
Comme l’explique l’équipe de recherche, l’assistance par électrostimulation musculaire (EMS) est jusqu’à présent « très spécialisée, fixe et non contextuelle ». Autrement dit, les « instructions » de vos muscles ne correspondent qu’aux situations prévues par le concepteur. Demandez à l’EMS de secouer une bombe de peinture, et elle s’active. Présentez-lui une bombe d’huile de cuisson, et l’appareil est complètement démuni, car il ne comprend pas qu’il est inutile de la secouer, ni pourquoi.
Ce nouveau système, que ses auteurs surnomment “embodied AI” ou « IA incarnée », marque un tournant. En exploitant la puissance de l’intelligence artificielle multimodale moderne (comme les modèles de vision tels que CLIP et le raisonnement de niveau GPT-4 avec vision par ordinateur), il combine ce que vous voyez, votre position et même votre posture corporelle pour générer des instructions de mouvement personnalisées. L’EMS ne suit plus de recette prédéfinie ; elle improvise avec vous.
« Je m’intéresse à la manière dont les gens perçoivent et interagissent avec les appareils qui communiquent avec eux par le biais des mouvements corporels (plutôt que par des moyens audio ou visuels) », explique Ho. « Dans le cadre du projet “IA incarnée”, j’ai pu explorer cette question dans le domaine de l’assistance physique. Il a été particulièrement instructif d’observer les participants “à voix haute” pendant qu’ils utilisaient notre système et de comprendre comment ils interprétaient les mouvements induits par la machine. »
Une IA qui « sait comment », et pas seulement « sait que »
Courantes dans certaines régions d’Europe, les fenêtres sont souvent équipées d’un mécanisme oscillo-battant, permettant une ouverture verticale ou horizontale. Dans ce cas précis, l’utilisateur souhaite ouvrir la fenêtre en inclinant uniquement sa partie supérieure. Notre système, en reconnaissant la position et l’objet, génère le geste précis de rotation et de traction du poignet nécessaire à l’inclinaison de la fenêtre.
Le secret réside ici dans la connaissance procédurale : cette capacité instinctive, difficile à décrire, à savoir comment faire quelque chose : saisir correctement un couvercle de bocal pour l’ouvrir en le tournant, ou coordonner les mouvements du poignet et de l’épaule pour déverrouiller une fenêtre à battants. Pendant des décennies, les chercheurs se sont attachés à transmettre des informations factuelles ; cette approche, elle, transmet directement le « savoir-faire » aux muscles.
Qu’est-ce qui change avec l’EMS générative et contextuelle ? Pour la première fois, les utilisateurs sont guidés physiquement dans des tâches physiques complexes et inconnues, même lorsqu’ils ne peuvent pas exprimer leurs besoins. L’article relate une étude utilisateur où les participants ont réussi à ouvrir des flacons de pilules à cadenas, à prendre des photos avec un appareil jetable ou à utiliser un outil pour éplucher les avocats grâce à des signaux musculaires générés dynamiquement. Et lorsque l’IA a commis des erreurs (volontaires, à des fins de test), les participants les ont remarquées, se sont adaptés et ont trouvé des solutions en réinterrogeant le système ou en corrigeant ses erreurs.
Cette approche itérative et interactive, où l’intuition du corps et les propositions de l’IA se rencontrent, est essentielle. Comme l’a décrit un participant : « l’intuition du corps permet de repérer immédiatement les erreurs », ce qui représente un avantage certain par rapport à la lecture d’instructions détaillées ou au visionnage d’une vidéo.
« Cela pourrait changer la donne, non seulement pour les tâches très physiques (comme l’apprentissage des compétences physiques nécessaires au travail dans le secteur manufacturier et avec les matériaux, ou l’apprentissage des instruments de musique), mais aussi dans les situations où les utilisateurs peuvent être handicapés par la situation (par exemple, effectuer plusieurs tâches simultanément et réaliser plusieurs gestes à la fois, ou ne pas voir dans le noir, etc.) », a déclaré Lopes.
Qui en bénéficie ? Applications quotidiennes de l’IA incarnée
La vision que porte cette technologie dépasse largement le cadre des démonstrations en laboratoire. Prenons l’exemple des secteurs où la maîtrise des procédures est essentielle et où les erreurs sont coûteuses :
- Soins de santé et réadaptation : Imaginez un patient en physiothérapie s’exerçant à domicile à des mouvements inhabituels, ou une personne âgée utilisant une aide technique. Au lieu de suivre un livret ou une vidéo, leurs propres muscles pourraient les guider vers une biomécanique sûre.
- Main-d’œuvre industrielle et qualifiée : Les travailleurs qui se familiarisent avec de nouveaux équipements pourraient être guidés physiquement dans leurs mouvements musculaires, réduisant ainsi les risques de blessures et diminuant considérablement les temps de formation.
- Accessibilité : Les utilisateurs aveugles ou malvoyants bénéficient déjà de systèmes d’IA décrivant les scènes, mais les systèmes d’assistance médicale contextuels pourraient offrir un guidage corporel direct : transformer un environnement ordinaire en un environnement accessible, en enseignant de nouveaux gestes et de nouvelles tâches de manière pratique.
- Au quotidien : des voyageurs aux prises avec des appareils électroménagers « étrangers » aux amateurs assemblant des gadgets inconnus, ce système offre une assistance qui s’adapte au lieu et à la tâche à accomplir.
Lopes et les chercheurs sont francs quant aux limitations actuelles : le calibrage des électrodes, la sensation de picotement liée à l’électrostimulation musculaire (EMS) et le fait que la précision et la « mémoire musculaire » ne peuvent pas toujours être acquises par la seule stimulation. Mais comme le souligne l’équipe, les progrès en matière d’intelligence artificielle et de matériel d’EMS sont rapides. La tendance est claire : dans un avenir proche, les systèmes d’aide à la marche basés sur l’IA pourraient être aussi courants que les traqueurs d’activité connectés.
« Bien que nous soyons très enthousiastes quant à notre système, il ne s’agit clairement que d’une première étape ; il reste encore beaucoup à faire », a déclaré Lopes. « Cela implique de nombreuses améliorations nécessaires au niveau du raisonnement de l’IA, des modèles multimodaux capables non seulement de voir mais aussi de ressentir ce que les utilisateurs ressentent (par exemple, en comprenant la perception tactile et motrice), ainsi que le travail de longue haleine visant à rendre les appareils d’électrostimulation musculaire (EMS) plus confortables, faciles à porter et à calibrer. Actuellement, il ne s’agit pas d’un dispositif que l’on peut porter au quotidien, mais plutôt d’une sorte de combinaison de super-héros sur laquelle les chercheurs expérimentent en laboratoire. »
Une plateforme pour l’IA incarnée, reconnue à CHI 2026
Il est important de rappeler aux lecteurs que ce système ne vise pas à remplacer le guidage audiovisuel, mais à le compléter, enrichissant ainsi l’apprentissage et l’interaction humaine grâce à une technologie qui fonctionne par le biais de notre propre corps. Les chercheurs ont mis leur code source à disposition, invitant ainsi d’autres à l’étendre, à le critiquer et à l’améliorer.
Alors que le domaine est confronté à des questions éthiques, comme celle de savoir qui contrôle les directives et quand des instructions erronées peuvent présenter des risques, l’équipe a mis l’accent sur le contrôle et la sécurité de l’utilisateur, l’IA n’agissant que sur invitation et les participants pouvant interrompre ou ajuster à chaque étape.
Ce travail, reconnu comme le meilleur article de la conférence ACM CHI 2026, témoigne de la direction que prend l’interaction alimentée par l’IA : des instructions passives et des environnements « intelligents » à de véritables copilotes incarnés pour les tâches de la vie quotidienne.
