L'apprentissage par renforcement triple la vitesse de course de Spot 

L'Institut de robotique et d'IA apprend aux chiens robots à courir et aux vélos à sauter

Il y a environ un an, Boston Dynamics a lancé une version de recherche de son robot quadrupède Spot , qui est dotée d'une interface de programmation d'applications (API) de bas niveau permettant de contrôler directement les articulations de Spot. À l'époque déjà, la rumeur disait que cette API permettait d'améliorer considérablement les performances de Spot, notamment en augmentant considérablement la vitesse de course. Cette rumeur provenait du Robotics and AI (RAI) Institute , anciennement The AI ​​Institute, anciennement Boston Dynamics AI Institute , et si vous avez assisté à la conférence de Marc Raibert à la conférence ICRA@40 à Rotterdam l'automne dernier, vous savez déjà qu'il ne s'agissait en fait pas d'une rumeur.

Aujourd'hui, il est possible de partager une partie du travail effectué par l'Institut RAI pour appliquer des techniques d'apprentissage par renforcement basées sur la réalité afin d'améliorer considérablement les performances de Spot. Les mêmes techniques peuvent également aider les robots hautement dynamiques à fonctionner de manière robuste, et il existe une toute nouvelle plate-forme matérielle qui le démontre : un vélo autonome capable de sauter.

Cette vidéo montre Spot fonctionnant à une vitesse soutenue de 5,2 mètres par seconde. À la sortie de la boîte, la vitesse de pointe de Spot est de 1,6 m/s , ce qui signifie que le Spot de RAI a plus que triplé (!) la vitesse d'usine du quadrupède.

Si Spot court si vite, c'est probablement parce qu'il est étrange, dans le sens où la façon dont les jambes et le corps de ce robot-chien bougent pendant qu'il court ne ressemble pas du tout à celle d'un vrai chien. « La démarche n'est pas biologique, mais le robot n'est pas biologique non plus », explique Farbod Farshidian , roboticien à l'Institut RAI. « Les actionneurs de Spot sont différents des muscles, et sa cinématique est différente, donc une démarche qui convient à un chien pour courir vite n'est pas nécessairement la meilleure pour ce robot. »

La meilleure description que Farbod Farshidian puisse faire de Spot est qu’il s’agit d’une démarche assez similaire à un trot, à l’exception d’une phase de vol supplémentaire (les quatre pieds ne touchant pas le sol en même temps) qui la transforme techniquement en course. Cette phase de vol est nécessaire, explique Farbod Farshidian, car le robot a besoin de ce temps pour tirer successivement ses pieds vers l’avant suffisamment rapidement pour maintenir sa vitesse. Il s’agit d’un « comportement découvert », dans la mesure où le robot n’a pas été explicitement programmé pour « courir », mais qu’il devait simplement trouver la meilleure façon de se déplacer le plus rapidement possible.

Apprentissage par renforcement versus contrôle prédictif par modèle

Le contrôleur Spot fourni avec le robot lorsque vous l'achetez auprès de Boston Dynamics est basé sur le contrôle prédictif du modèle (MPC), qui consiste à créer un modèle logiciel qui se rapproche le mieux possible de la dynamique du robot, puis à résoudre un problème d'optimisation pour les tâches que vous souhaitez que le robot effectue en temps réel. C'est une méthode très prévisible et fiable pour contrôler un robot, mais elle est également quelque peu rigide, car ce modèle logiciel d'origine ne sera pas suffisamment proche de la réalité pour vous permettre de vraiment repousser les limites du robot.

Et si vous essayez de dire : « Ok, je vais juste créer un modèle logiciel super détaillé de mon robot et repousser les limites de cette façon », vous êtes bloqué car le problème d'optimisation doit être résolu pour tout ce que vous voulez que le robot fasse, en temps réel, et plus le modèle est complexe, plus il est difficile de le faire assez rapidement pour être utile.

L'apprentissage par renforcement (RL), en revanche, apprend hors ligne . Vous pouvez utiliser un modèle aussi complexe que vous le souhaitez, puis prendre tout le temps nécessaire en simulation pour former une politique de contrôle qui peut ensuite être exécutée très efficacement sur le robot.

En simulation, quelques Spots (ou des centaines de Spots) peuvent être entraînés en parallèle pour des performances robustes dans le monde réel. Institut de robotique et d'IA

Dans l'exemple de la vitesse de pointe de Spot, il n'est tout simplement pas possible de modéliser chaque détail de tous les actionneurs du robot dans un système de contrôle basé sur un modèle qui fonctionnerait en temps réel sur le robot. À la place, des hypothèses simplifiées (et généralement très prudentes) sont formulées sur ce que font réellement les actionneurs afin que vous puissiez vous attendre à des performances sûres et fiables.

Farbod Farshidian précise que ces hypothèses rendent difficile de comprendre ce que sont réellement les limites de performance. « De nombreux spécialistes de la robotique savent que l’une des limites de la course rapide est que le couple et la vitesse du système d’actionnement vont atteindre leur maximum. Les gens essaient donc de modéliser cela en utilisant les fiches techniques des actionneurs. Pour nous, la question à laquelle nous voulions répondre était de savoir s’il existait d’autres phénomènes limitant réellement les performances. »

La recherche de ces autres phénomènes impliquait d’intégrer de nouvelles données dans le pipeline d’apprentissage par renforcement, comme des modèles d’actionneurs détaillés appris à partir des performances réelles du robot. Dans le cas de Spot, cela a fourni la réponse à la course à grande vitesse. Il s’est avéré que ce qui limitait la vitesse de Spot n’était pas les actionneurs eux-mêmes, ni la cinématique du robot : c’était simplement les batteries qui ne pouvaient pas fournir suffisamment d’énergie. « Cela a été une surprise pour moi », assure Farbod Farshidian, « car je pensais que nous allions atteindre les limites des actionneurs en premier. »

Le système d'alimentation de Spot est suffisamment complexe pour qu'il y ait probablement une marge de manœuvre supplémentaire, et Farbod Farshidian dit que la seule chose qui les a empêchés de pousser la vitesse de pointe de Spot au-delà de 5,2 m/s est qu'ils n'avaient pas accès aux tensions des batteries, ce qui les a empêchés d'intégrer ces données du monde réel dans leur modèle RL. « Si nous avions eu des batteries plus puissantes, nous aurions pu courir plus vite. Et si vous modélisez également ce phénomène dans notre simulateur, je suis sûr que nous pourrons pousser cela plus loin. »

Farbod Farshidian souligne que la technique de RAI ne se limite pas à faire fonctionner Spot rapidement. Elle peut également être appliquée pour rendre Spot plus efficace afin de maximiser la durée de vie de la batterie, ou plus silencieux pour mieux fonctionner dans un environnement de bureau ou à domicile. Il s'agit essentiellement d'un outil généralisable qui peut trouver de nouvelles façons d'étendre les capacités de tout système robotique . Et lorsque des données du monde réel sont utilisées pour améliorer un robot simulé, vous pouvez demander à la simulation d'en faire plus, avec la certitude que ces compétences simulées seront transférées avec succès sur le robot réel.

Véhicule ultra-mobile : apprendre aux vélos robots à sauter

L'apprentissage par renforcement n'est pas seulement utile pour maximiser les performances d'un robot, il peut également rendre ces performances plus fiables. L'Institut RAI a expérimenté un tout nouveau type de robot qu'il a inventé en interne : un petit vélo sauteur appelé Ultra Mobility Vehicle, ou UMV, qui a été entraîné à faire du parkour en utilisant essentiellement le même pipeline RL pour l'équilibre et la conduite que celui utilisé pour la course à grande vitesse de Spot.

Il n’y a pas de système de stabilisation physique indépendant (comme un gyroscope) empêchant l’UMV de tomber ; il s’agit simplement d’un vélo normal qui peut avancer et reculer et faire tourner sa roue avant. Le plus de masse possible est ensuite concentrée dans la partie supérieure, que des actionneurs peuvent accélérer rapidement de haut en bas. « Nous démontrons deux choses dans cette vidéo », lance Marco Hutter , directeur du bureau de Zurich de l’Institut RAI . « La première est la façon dont l’apprentissage par renforcement contribue à rendre l’UMV très robuste dans ses capacités de conduite dans diverses situations. La deuxième est la façon dont la compréhension des capacités dynamiques des robots nous permet de faire de nouvelles choses, comme sauter sur une table plus haute que le robot lui-même. »

« La clé de l'apprentissage par renforcement dans tout cela est de découvrir de nouveaux comportements et de les rendre robustes et fiables dans des conditions très difficiles à modéliser. C'est là que l'apprentissage par renforcement est vraiment très performant. »—Marco Marco Marco Hutter, Institut RAI

Aussi impressionnant que soit le saut, pour Marco Marco Hutter, il est tout aussi difficile (voire plus) d'effectuer des manœuvres qui peuvent sembler assez simples, comme rouler en marche arrière. « Le recul est très instable », explique Marco Marco Hutter. « Du moins pour nous, il n'était pas vraiment possible de le faire avec un contrôleur [MPC] classique, en particulier sur un terrain accidenté ou avec des perturbations. »

Le robot est en train de sortir du laboratoire et de se déplacer sur le terrain pour faire du bike parkour. L'institut RAI affirme qu'il sera en mesure de le démontrer dans un avenir proche. Mais il ne s'agit pas vraiment de savoir ce que cette plate-forme matérielle particulière peut faire, mais de savoir ce que n'importe quel robot peut faire grâce à l'apprentissage par renforcement et à d'autres méthodes basées sur l'apprentissage, explique Marco Marco Hutter. « Le point le plus important ici est que le matériel de tels systèmes robotiques peut en théorie faire beaucoup plus que ce que nous étions capables de réaliser avec nos algorithmes de contrôle classiques . Comprendre ces limites cachées dans les systèmes matériels nous permet d'améliorer les performances et de continuer à repousser les limites du contrôle. »

Apprendre à l'UMV à descendre les escaliers tout seul en simulation permet d'obtenir un véritable robot capable de gérer les escaliers sous n'importe quel angle. Institut de robotique et d'IA

Apprentissage par renforcement pour les robots du monde entier

Il y a quelques semaines à peine, le RAI Institute annonçait un nouveau partenariat avec Boston Dynamics « pour faire progresser les robots humanoïdes grâce à l’apprentissage par renforcement ». Les humanoïdes ne sont qu’un autre type de plateforme robotique, bien que nettement plus complexe, avec beaucoup plus de degrés de liberté et d’éléments à modéliser et à simuler. Mais si l’on considère les limites du contrôle prédictif des modèles pour ce niveau de complexité, une approche d’apprentissage par renforcement semble presque inévitable, en particulier lorsqu’une telle approche est déjà rationalisée en raison de sa capacité à généraliser.

« L’une des ambitions de notre institut est de proposer des solutions qui s’étendent à toutes sortes de plateformes différentes », explique Marco Hutter. « Il s’agit de créer des outils, de construire des infrastructures, de jeter les bases pour que cela puisse se faire dans un contexte plus large. Il ne s’agit pas seulement d’humanoïdes, mais aussi de véhicules motorisés, de quadrupèdes, etc. Mais faire de la recherche en RL et présenter de bonnes premières preuves de concept est une chose, mais le faire fonctionner dans le monde réel dans toutes les conditions, tout en repoussant les limites de la performance, en est une autre. »

Transférer des compétences dans le monde réel a toujours été un défi pour les robots formés en simulation, précisément parce que la simulation est très conviviale pour les robots. « Si vous y consacrez suffisamment de temps », explique Farbod Farshidian, « vous pouvez créer une fonction de récompense qui fera en sorte que le robot fasse finalement ce que vous voulez. Ce qui échoue souvent, c’est lorsque vous voulez transférer ce comportement de simulation au matériel, car l’apprentissage par renforcement est très efficace pour détecter les problèmes dans votre simulateur et les exploiter pour effectuer la tâche. »

La simulation s’est considérablement améliorée grâce à de nouveaux outils, à une dynamique plus précise et à une puissance de calcul importante. « C’est une capacité extrêmement puissante qui nous permet de simuler autant de choses et de générer autant de données presque gratuitement », met en avant Marco Marco Hutter. Mais l’utilité de ces données réside dans leur lien avec la réalité, en garantissant que ce que vous simulez est suffisamment précis pour qu’une approche d’apprentissage par renforcement résolve effectivement le problème. Selon Marco Marco Hutter, l’intégration de données physiques collectées sur du matériel réel dans la simulation est une approche très prometteuse, qu’elle soit appliquée à des quadrupèdes en course, à des vélos sauteurs ou à des humanoïdes. « La combinaison des deux – simulation et réalité – est, selon moi, la bonne direction. »

https://spectrum.ieee.org/ai-institute