Modes de défaillance représentatifs observés lors de simulations et d’expériences réelles. (A) Les petits bouchons de bouteille sont difficiles à dévisser en raison d’un couple insuffisant (à gauche) et d’un comportement non naturel : l’ongle du pouce est utilisé pour gratter le bouchon (à droite). (B) Les doigts se coincent dans la fente étroite du robinet. (C) Une amplitude de mouvement limitée du poignet ou un blocage des doigts empêche le glissement du levier. (D) Des objets sont accidentellement repoussés lors du réajustement de l’objet sur la table. (E) Des objets glissent de la main lors du réajustement de l’objet dans la main. Crédit : Qi Ye
Les mains humaines sont une merveille de la nature, sans équivalent dans le règne animal. Elles peuvent dévisser des bouchons, actionner des interrupteurs, manipuler de minuscules objets avec aisance et accomplir des milliers de tâches chaque jour. Les mains robotiques peinent à suivre ce rythme. Elles sont généralement dépourvues du sens du toucher, ne peuvent pas bouger plusieurs doigts simultanément et perdent de vue l’objet qu’elles tiennent lorsque leurs doigts obstruent le champ de vision de la caméra. Des scientifiques ont désormais mis au point une méthode plus intelligente pour entraîner le cerveau d’un robot à doter ses mains d’une dextérité comparable à celle des mains humaines.
Enseigner la dextérité aux robots
Pour améliorer le fonctionnement d’une main robotique à plusieurs doigts lors de tâches complexes, des chercheurs chinois ont mis au point une approche en deux volets utilisant uniquement une webcam basique et des capteurs à bas coût. Leur procédé est décrit dans un article publié dans la revue Science Robotics .
Lors de la première étape, l’intelligence artificielle du robot a été pré-entraînée grâce à une vaste bibliothèque de vidéos montrant des humains réalisant des tâches à mains nues et avec des gants. Cela a permis au robot d’apprendre comment les informations visuelles (l’apparence d’une main près d’un objet) et tactiles (le contact d’un doigt avec une surface) interagissent.
Malgré ces contraintes mécaniques, la main robotique LEAP Hand à quatre doigts, peu coûteuse, réussit toutes les tâches avec un taux de réussite de 73 %. Les vidéos disponibles dans les documents complémentaires illustrent ces trajectoires réussies. Ceci confirme la praticité et la transférabilité de notre approche aux mains robotiques à bas coût. Crédit : Qi Ye
Dans un second temps, le robot s’est entraîné dans une simulation virtuelle , répétant des tâches et apprenant plusieurs compétences simultanément plutôt qu’une par une. L’équipe n’a utilisé qu’une webcam standard et du matériel peu coûteux, notamment des capteurs basiques signalant le contact ou son absence.
L’un des aspects les plus fascinants de leur approche a été la création, au sein de l’ architecture de l’IA, d’une unité fonctionnant comme une partie du cerveau humain, combinant la vue et le toucher. Cela a permis au robot de suivre un objet du regard même lorsque ses doigts le gênaient.
Maniabilité améliorée
Le robot a été testé sur huit tâches différentes. Cinq d’entre elles étaient des tâches qu’il avait déjà pratiquées lors de la simulation (comme dévisser un bouchon de bouteille et actionner un levier), et les trois autres étaient nouvelles (notamment tailler un crayon et dévisser une vis). Il a réussi les tâches connues dans 85 % des cas et a obtenu de bons résultats la plupart du temps pour les tâches inédites. L’équipe a même tenté de le tromper en modifiant les conditions d’éclairage et en remplaçant certains capteurs, mais dans les deux cas, le robot a continué à fonctionner.
Vidéo complémentaire illustrant plusieurs exemples typiques de défaillance. Crédit : Qi Ye
« La préformation visuo-tactile à partir de démonstrations humaines a systématiquement conduit à des performances supérieures : une efficacité d’apprentissage accrue, un écart de transfert entre simulation et réalité réduit, des comportements de manipulation plus humains et une meilleure généralisation à de nouveaux objets, à des conditions d’éclairage variables et à des tâches inédites », a noté l’équipe dans son article.
Apprendre aux robots à combiner la vue et le toucher, comme nous le faisons, leur permet d’apprendre plus vite. Les recherches futures viseront à améliorer leur manipulation des objets en mesurant la force de leur prise.
https://techxplore.com/news/2026-02-robot-approaches-human-dexterity-visual.html
