Les robots acquièrent des compétences de manipulation en quelques secondes à partir d’une simple vidéo humaine. (A) Les méthodes actuelles enseignent de nouvelles compétences à un robot via une boucle d’entraînement complexe, coûteuse et lente, qui érode les compétences précédemment acquises. HOST, quant à lui, acquiert les compétences au moment de l’inférence, chacune à partir d’une seule vidéo humaine d’une durée moyenne de 29 secondes, tout en conservant ses compétences précédemment acquises. (B) L’acquisition de compétences à partir d’une seule vidéo humaine se heurte à un décalage structurel entre la démonstration vidéo et l’exécution. L’asynchronisme temporel entre les deux découple la cible de prédiction de la démonstration vidéo, tandis que les divergences d’état entravent la traduction du comportement observé en action. (C) HOST surmonte ce décalage grâce à deux mécanismes : le couplage des cibles de prédiction à la démonstration et la résolution de l’exécution par une prédiction auto-ancrée, permettant au robot de suivre activement la procédure démontrée et de l’adapter à sa propre incarnation. Crédit : Chen et al.
Pour fonctionner de manière fiable dans des environnements dynamiques et réels, les robots doivent pouvoir acquérir rapidement de nouvelles compétences sans nécessiter de formation complémentaire approfondie. Or, la plupart des systèmes robotiques existants sont principalement performants pour les tâches pour lesquelles ils ont été entraînés.
Apprendre aux robots à accomplir de nouvelles tâches peut s’avérer long et coûteux. De plus, un entraînement supplémentaire peut parfois nuire à leurs performances sur les tâches déjà apprises.
Des chercheurs de l’Institut de technologie de Pékin, de X SQUARE ROBOT et de l’Université Tsinghua ont récemment développé HOST (Human-to-robot One-Shot Skill Acquisition), un nouveau cadre permettant aux robots d’acquérir de nouvelles compétences plus rapidement et plus efficacement. Leur approche d’apprentissage, présentée dans un article publié sur le serveur de prépublication arXiv , permet à un robot d’acquérir une nouvelle compétence à partir d’une simple vidéo de démonstration humaine, sans compromettre ses capacités précédemment acquises.
« La capacité d’acquérir rapidement et sans effort des compétences tout en conservant celles déjà maîtrisées est essentielle pour les robots », ont écrit Guangyan Chen, Meiling Wang et leurs collègues dans leur article.
« Cependant, les méthodes actuelles reposent encore sur un processus d’apprentissage fastidieux, coûteux et lent, qui érode les compétences déjà acquises. Nous présentons HOST, un cadre permettant à un robot d’acquérir des compétences en quelques secondes à partir d’une simple vidéo humaine, tout en conservant les compétences précédemment acquises. »
Comment HOST transforme les démonstrations humaines en actions robotiques
Le cadre développé par Chen, Wang et leurs collègues permet aux robots d’acquérir une nouvelle compétence simplement en analysant une vidéo montrant une démonstration humaine. Ce processus se déroule en trois étapes principales.
Tout d’abord, HOST utilise les images capturées par les caméras pour déterminer la progression du robot dans la procédure présentée dans la vidéo. Autrement dit, il identifie la partie de la démonstration qui correspond à l’étape actuelle du robot.
Le système analyse ensuite la prochaine étape de la démonstration humaine et prédit ce que le robot devrait observer au fur et à mesure de l’exécution de la tâche. Cette étape intermédiaire permet à HOST de prendre en compte les différences entre le corps du démonstrateur humain et la structure physique du robot.
Enfin, HOST déduit les actions que le robot doit effectuer à partir de ces observations futures prédites. En déterminant de manière itérative sa progression, en anticipant ses prochaines observations et en sélectionnant les actions correspondantes, le robot peut suivre la procédure démontrée tout en l’adaptant à sa propre morphologie.
Bien que HOST acquière une nouvelle compétence à partir d’une seule vidéo sans modifier ses paramètres, son architecture sous-jacente a été préalablement entraînée à l’aide de 193 462 trajectoires de robots couvrant 229 tâches. Elle a ensuite été adaptée à l’aide de 5 847 vidéos de démonstration humaines , chacune associée à des trajectoires de robots pour les tâches démontrées.
« HOST résout l’acquisition de compétences grâce à une cascade de prédictions auto-fondées. Il estime d’abord la progression du robot dans la tâche démontrée, puis traduit cette progression à venir en observations futures propres au robot et enfin déduit des actions à partir de ces observations prédites », écrivent les auteurs.
« Cette cascade est entraînée sur des cibles liées à la démonstration vidéo, obtenues en cartographiant la trajectoire du robot et la démonstration vidéo sur une variété de progression de tâche partagée, puis en redéfinissant chaque cible pour s’aligner sur la progression future de la vidéo. HOST permet ainsi au robot de suivre activement la procédure démontrée et de l’adapter à son incarnation. »
Une voie possible pour une acquisition plus rapide des compétences robotiques
Les chercheurs ont évalué leur cadre de travail lors de tests en conditions réelles avec un système robotique à deux bras. Ce système était composé de deux bras robotiques ARX R5 à six axes, chacun équipé d’une pince à mâchoires parallèles et de trois caméras RVB.
Le robot a été testé sur 50 tâches de manipulation physique inédites , impliquant différents objets et outils et nécessitant des mouvements distincts. Il a effectué chaque tâche 20 fois, les objets étant placés à chaque fois dans des positions de départ différentes ou selon des orientations variables. Des évaluateurs humains ont déterminé si chaque tentative pouvait être considérée comme réussie.
« HOST acquiert de nouvelles compétences dès la phase d’inférence à partir d’une seule vidéo humaine en 29 secondes en moyenne et atteint un taux de réussite moyen de 62 % », écrivent Chen, Wang et leurs collègues. « Il surpasse de 45 % les performances de référence obtenues sans exemple d’apprentissage, tout en conservant les compétences déjà acquises. HOST surpasse même les performances de référence optimisées sur 50 démonstrations robotiques par tâche, tout en nécessitant 50 fois moins de démonstrations et en acquérant chaque compétence 507 fois plus rapidement. »
Les résultats des premiers tests soulignent le potentiel de HOST pour enseigner plus rapidement de nouvelles compétences aux robots, sans démonstrations détaillées spécifiques à chaque tâche. À l’avenir, ce cadre pourrait être perfectionné afin d’améliorer son taux de réussite et testé sur d’autres robots ou dans un plus large éventail de scénarios.
https://techxplore.com/news/2026-08-robots-skills-video-seconds.html
