La main GelSight EndoFlex saisit un Rubik’s Cube, avec des encarts montrant comment quatre de ses six capteurs perçoivent les contours de l’objet.

Si un robot doit saisir des objets délicats, il a tout intérêt à savoir de quoi il s’agit pour les traiter en conséquence. Une nouvelle main robotique lui permet de le faire en détectant la forme de l’objet sur la longueur de ses trois doigts.

Mis au point par une équipe de scientifiques du MIT, ce dispositif expérimental est connu sous le nom de GelSight EndoFlex. Et comme son nom l’indique, il intègre la technologie GelSight de l’université, qui n’était jusqu’à présent utilisée que dans les coussinets des doigts des mains robotisées.

Les trois doigts mécaniques de l’EndoFlex sont disposés en forme de Y : deux « doigts » en haut et un « pouce » opposable en bas. Chacun d’eux est constitué d’un squelette articulé en polymère dur, enveloppé dans une couche extérieure souple et flexible. Les capteurs GelSight eux-mêmes – deux par doigt – sont situés sur la face inférieure des parties supérieure et médiane de ces doigts.

Chaque capteur est constitué d’une plaque de caoutchouc synthétique transparent, recouverte d’un côté d’une couche de peinture métallique, qui sert de peau au doigt. Lorsque la peinture est pressée contre une surface, elle se déforme pour épouser la forme de cette surface. En regardant à travers la face opposée, non peinte, du caoutchouc, une minuscule caméra intégrée (aidée par trois diodes électroluminescentes colorées) peut prendre des images des minuscules contours de la surface, en s’enfonçant dans la peinture.

Des algorithmes spéciaux sur un ordinateur relié transforment ces contours en images 3D qui capturent des détails de moins d’un micromètre de profondeur et d’environ deux micromètres de largeur. La peinture est nécessaire pour normaliser les qualités optiques de la surface, afin que le système ne soit pas troublé par la multiplicité des couleurs ou des matériaux.

Dans le cas de l’EndoFlex, en combinant les images de six capteurs de ce type (deux sur chacun des trois doigts), il est possible de créer un modèle tridimensionnel de l’objet saisi. Un logiciel basé sur l’apprentissage automatique est ensuite capable d’identifier l’objet que ce modèle représente, après que la main a saisi l’objet une seule fois. Dans sa forme actuelle, le système a un taux de précision d’environ 85 %, mais ce chiffre devrait s’améliorer au fur et à mesure du développement de la technologie.

« La présence d’éléments souples et rigides est très importante dans toute main, mais il en va de même pour la capacité de détection sur une très grande surface, en particulier si l’on veut envisager des tâches de manipulation très compliquées comme celles que peuvent effectuer nos propres mains », a déclaré Sandra Liu, étudiante diplômée en génie mécanique, qui a codirigé la recherche avec Leonardo Zamora Yañez, étudiant de premier cycle, et le professeur Edward Adelson.

« Notre objectif était de combiner tous les éléments qui rendent nos mains humaines si performantes dans un doigt robotique capable d’accomplir des tâches que d’autres doigts robotiques ne peuvent pas faire actuellement.

https://news.mit.edu/2023/robotic-hand-can-identify-objects-just-one-grasp-0403