Une équipe développe un bras robotique incarné, « EmArm », doté d’une capacité de perception tactile similaire à celle de l’homme.

Une équipe de recherche de l’Université des sciences et technologies de Hong Kong (HKUST) a mis au point un bras robotique sensorimoteur incarné (EmArm) capable de percevoir le toucher sur l’ensemble du bras et d’effectuer des manipulations adaptatives. En intégrant une peau tactile optique souple directement dans un squelette robotique et en la combinant à un algorithme de prise de décision en temps réel, l’EmArm peut percevoir et analyser les informations de contact sur ses bras et ses avant-bras, permettant ainsi une perception tactile similaire à celle de l’humain et une manipulation adaptative des objets.

Le système peut également distinguer différentes interactions tactiles, comme les chatouilles et les tapotements, réagir en temps réel et éviter les obstacles grâce au retour tactile, ouvrant ainsi de nouvelles perspectives pour le développement de robots intelligents incarnés.

L’étude a été menée par Shen Yajing, professeur au département de génie électronique et informatique (ECE) et directeur adjoint de l’Institut de robotique Cheng Kar-Shun, et son équipe du laboratoire de robotique Mevita. Parmi les autres auteurs de l’article figurent les chercheurs postdoctoraux Tang Yifeng (premier auteur), Li Gen et Ren Hao ; les doctorants Yin Tianci, Ling Zhengrong, Zhao Haoxiang et Zhang Ruijia ; ainsi que les diplômés du laboratoire Zhang Tieshan (Université de Shenzhen) et Yang Liu (Université de Nankai, Tianjin).

Les résultats sont publiés dans la revue Nature Sensors sous le titre « Intégration sensorimotrice incarnée pour la détection tactile du bras entier et la manipulation robotique adaptative ».

La détection tactile atteint une fidélité de 97,9 % tout en préservant une actionnement de haute précision.

S’inspirant de la structure « os-muscles-peau » du corps humain, l’équipe a intégré une vaste surface de peau tactile optique souple au sein du squelette mécanique rigide d’EmArm, combinant ainsi une grande résistance aux charges élevées et une sensibilité tactile fine. Plus de 71 000 millimètres carrés de peau tactile souple recouvrent les avant-bras et les bras, tandis que des caméras internes de taille submillimétrique analysent la répartition des forces appliquées au bras robotique.

EmArm atteint une résolution spatiale de 0,085 millimètre, comparable à celle de la peau du bout des doigts humains. Son seuil de discrimination à deux points peut descendre jusqu’à 18,2 millimètres, surpassant la plage typique de 30 à 50 millimètres de la peau du bras humain et permettant une différenciation plus fine de l’espacement des contacts.

Cette approche de détection optique évite également le câblage complexe requis par la peau électronique et est intrinsèquement résistante aux interférences électromagnétiques, lumineuses, thermiques, d’humidité et acoustiques. Des expériences ont montré qu’EmArm conservait une fidélité de détection allant jusqu’à 97,9 % en présence de cinq types d’interférences environnementales.

La peau tactile intégrée n’a eu aucun impact matériel sur le fonctionnement du bras robotique sous forte charge. Les expériences ont montré qu’EmArm atteignait une précision de positionnement répétitive comparable à celle des bras robotiques conventionnels. Le système pouvait également supporter des charges de pression supérieures à 15 kg et des charges de torsion de 7,35 Nm. EmArm intègre ainsi la détection tactile sur l’ensemble du bras à une actionnement de haute précision dans une architecture sensorimotrice intégrée unifiée.

Le cadre en boucle fermée perception-action permet cinq expressions de rétroaction émotionnelle et favorise l’intelligence incarnée

Shen, auteur principal de l’étude, a souligné que « pour que les robots acquièrent des capacités perceptives, au-delà de l’obtention de signaux bruts précis provenant des capteurs, il est plus important de savoir comment décoder rapidement ces signaux afin que le robot « sait » ce que signifie cette information tactile et « comment agir ». Nous traitons un flux de données de champ de force multidimensionnel et variant continuellement dans le temps. Si nous utilisons directement un apprentissage de bout en bout, cela nécessitera non seulement une quantité massive de données annotées, mais aussi une puissance de calcul élevée, ce qui rendra difficile son exécution en temps réel sur un robot. »

Pour transformer EmArm d’un simple capteur en un agent intelligent, l’équipe a proposé une boucle perception-action. Ce système combine en temps réel les données d’angle articulaire (proprioception) et les informations tactiles (extéroception), et extrait des caractéristiques telles que la localisation, la surface, la force et le nombre de points de contact afin de faciliter la prise de décision autonome. Les données de détection sont ensuite directement transmises au système de contrôle de mouvement du bras robotique.

Par exemple, lorsque EmArm tient un ballon de basket positionné loin de son centre de gravité, le système compare les caractéristiques tactiles en temps réel avec une politique pré-apprise, génère des commandes d’angle articulaire en temps réel et ajuste en permanence les forces appliquées par les bras supérieurs et inférieurs pour maintenir l’équilibre.

L’équipe de recherche a démontré le potentiel d’application d’EmArm dans trois scénarios typiques. Lors d’interactions homme-robot, EmArm identifie cinq types de contacts physiques : caresser, pincer, toucher, chatouiller et frapper. Il interprète ces interactions en temps réel et fournit des expressions émotionnelles correspondant à la joie, la tristesse, la curiosité, la timidité ou la colère, avec une précision de reconnaissance atteignant 99,8 %. Lors de tâches de manipulation, lorsqu’un ballon de basket est placé de manière excentrée sur le bras, EmArm ajuste automatiquement sa posture grâce à un retour tactile global et au contrôle de la force afin de stabiliser l’objet.

Dans une expérience de replanification de trajectoire plus complexe, lorsqu’un obstacle dynamique invisible à l’œil nu, comme une main humaine, apparaît sur la trajectoire, EmArm peut le détecter immédiatement par le toucher, effectuer un arrêt d’urgence, déterminer si l’obstacle est temporaire ou permanent, et replanifier automatiquement sa trajectoire pour le contourner. Les résultats démontrent qu’EmArm peut maintenir un fonctionnement autonome sûr et flexible même en cas d’obstruction de la vision.

EmArm représente une avancée technologique majeure dans le domaine des capteurs et marque un tournant plus large dans la conception robotique, passant d’une perception externe à une intelligence intrinsèque, et d’une vision dominante à une fusion multimodale.

L’équipe de recherche souligne que le système EmArm pourrait être étendu aux jambes, aux torses et à d’autres parties du corps robotiques, permettant ainsi une interaction plus sûre et plus adaptative des robots humanoïdes dans les services à domicile, les environnements industriels, l’assistance médicale et d’autres applications. Ce système pourrait également contribuer au développement de l’IA incarnée, où les systèmes d’IA dotés d’un corps physique perçoivent le monde réel, interagissent avec lui et apprennent de lui.

https://hkust.edu.hk/news/hkust-develops-embodied-robotic-arm-emarm-human-touch-sensing