Skip to main content

26 Fév, 2024

Le MIT adopte une approche pratique de l’apprentissage tactile

Le MIT adopte une approche pratique de l’apprentissage tactile

Le système de gants intelligents peut capturer les instructions tactiles d’un tuteur ou d’un professionnel et les reproduire dans les vêtements de l’étudiant sous forme de retour haptique.

Certaines personnes préfèrent toucher les choses pour mieux comprendre les concepts. Des chercheurs ont mis au point des gants intelligents pour les apprenants tactiles qui utilisent le retour haptique et l’IA pour enseigner aux utilisateurs de nouvelles compétences, accélérer la formation de précision et contrôler des robots à distance.

Nous sommes tous différents, ce qui influe sur notre façon d’aborder l’apprentissage. D’une manière générale, il y a ceux qui tirent le meilleur parti de l’observation ou de la vue, d’autres qui assimilent mieux les informations si elles sont renforcées par le son, d’autres encore qui absorbent mieux les choses lorsqu’elles sont écrites ou lorsqu’ils rédigent eux-mêmes les concepts. D’autres encore préfèrent mettre la main à la pâte ou apprendre par la pratique. Ou une combinaison des deux.

Une équipe comprenant des chercheurs du Computer Science and Artificial Intelligence Laboratory (CSAIL) du MIT a mis au point des gants intelligents dotés de capteurs pour aider les apprenants kinesthésiques – ou tactiles – à mieux appréhender de nouvelles tâches ou compétences.

« Les humains effectuent une grande variété de tâches en interagissant constamment avec le monde qui les entoure », explique Yiyue Luo, auteur principal d’un article sur le projet, étudiant en doctorat au département de génie électrique et d’informatique du MIT et affilié au CSAIL.

« Nous ne partageons généralement pas ces interactions physiques avec les autres. Au lieu de cela, nous apprenons souvent en observant leurs mouvements, comme lorsque nous jouons du piano ou que nous exécutons des chorégraphies. La principale difficulté liée à la transmission des interactions tactiles réside dans le fait que chacun perçoit différemment le retour d’information haptique. Cet obstacle nous a incités à développer un agent d’apprentissage automatique qui apprend à générer des haptiques adaptatives pour les gants des individus, les initiant ainsi à une approche plus pratique de l’apprentissage du mouvement optimal ».

Les gants intelligents peuvent être spécifiquement adaptés à chaque utilisateur pour garantir un ajustement parfait. Un ordinateur produit une découpe basée sur les mesures de la main, qui sert de guide à une machine à broder numérique pour coudre des capteurs et des actionneurs haptiques (comme ceux que l’on trouve dans les smartphones) directement dans un tissu souple. Les gants sont prêts à l’emploi en 10 minutes.

La technologie intégrée dans chaque gant peut être utilisée pour capturer les actions de la main et des doigts d’un porteur – tel qu’un enseignant, un chirurgien qualifié ou un opérateur de machine – et ces actions sont reproduites sous forme d’invites haptiques pour l’apprenant grâce à un agent d’apprentissage machine adaptatif formé sur les réponses haptiques de 12 utilisateurs. Lorsqu’il reçoit de nouvelles données d’utilisateurs, ce système peut alors adapter les réponses en retour pour chaque individu en seulement 15 secondes.

Lors d’une démonstration, on a demandé à un pianiste accompli de jouer un air simple pendant que les gants intelligents capturaient la séquence de pression des doigts sur un nombre limité de touches. Ces données ont ensuite été chargées dans les gants intelligents d’un étudiant, qui a suivi les bourdonnements des doigts pour appuyer sur les touches au moment opportun afin d’apprendre la mélodie. Cette méthode « follow me » (suivez-moi) pourrait aider les débutants à assimiler rapidement des accords, des gammes, des arpèges et des mélodies simples, même si les concertos complets ne sont pas encore à la portée de tous.

Dans d’autres expériences, l’équipe a constaté que les joueurs sur ordinateur portable obtenaient les meilleurs résultats lorsqu’ils suivaient des instructions sensibles au temps fournies par des gants intelligents pour naviguer sur un chemin étroit et sinueux dans un jeu de rythme ou pour collecter des pièces tout en veillant à ce que leur véhicule ne se renverse pas sur le chemin de la ligne d’arrivée d’un jeu de course.

Tricher ? Absolument, mais cette technologie pourrait permettre aux utilisateurs de se familiariser avec les mondes virtuels et d’offrir « une expérience plus personnalisée et tactile dans les cours de formation virtuelle utilisés par les chirurgiens, les pompiers et les pilotes, où la précision est primordiale ». Les gants intelligents ont également été utilisés pour entraîner à distance des systèmes robotiques à saisir comme un humain, par exemple en apprenant à un bras robotisé à prendre différentes sortes de pain sans les abîmer.

Pour l’instant, le système ne peut gérer que des mouvements assez simples, mais l’équipe pense qu’un agent d’intelligence artificielle alimenté par davantage de données utilisateur « pourrait aider à réaliser des tâches plus complexes, comme manipuler de l’argile ou piloter un avion ». Et avec un retour haptique plus fort, la technologie pourrait aider à guider des parties du corps moins sensibles comme les pieds et les hanches.

https://www.nature.com/articles/s41467-024-45059-8

https://news.mit.edu/2024/smart-glove-teaches-new-physical-skills-0220