Pleins feux sur : Galbot crée un ensemble de données de main adroite à grande échelle pour les robots humanoïdes à l'aide de NVIDIA Isaac Sim
infohightech ·
La préhension adroite des robots est un domaine essentiel de recherche et de développement, qui vise à permettre aux robots d'interagir avec les objets et de les manipuler avec autant de souplesse que les humains. En permettant aux robots de gérer des tâches complexes qui nécessitent une motricité fine, la préhension adroite peut améliorer considérablement la productivité et l'efficacité.
La première étape pour permettre aux robots de manipuler des objets avec dextérité, comme l'homme, consiste à utiliser la préhension robotique adroite. Cependant, la validation des données de préhension adroite a été un défi majeur, car les annotations humaines sont peu pratiques à l'échelle de millions de préhensions. Sans ensembles de données à grande échelle, la préhension robotique adroite est restée sous-explorée par rapport à la préhension d'objets avec des pinces parallèles.
Grâce à NVIDIA Isaac Sim , une application de référence pour la simulation robotique, l'entreprise de robotique Galbot a relevé ce défi avec succès. Elle a validé un grand nombre de saisies pour développer DexGraspNet , un ensemble complet de données simulées pour les saisies robotiques adroites qui peuvent être appliquées à n'importe quelle main robotique adroite.

Figure 1. Quelques saisies diverses sur les objets de DexGraspNet, un ensemble de données construit par la société de robotique Galbot
DexGraspNet contient 1,32 million de saisies ShadowHand sur 5 355 objets, soit deux ordres de grandeur de plus que le précédent ensemble de données Deep Differentiable Grasp . DexGraspNet couvre plus de 133 catégories d'objets et contient plus de 200 saisies différentes pour chaque instance d'objet, ce qui en fait un échantillon plus complet pour la recherche.
Vidéo 1. En savoir plus sur DexGraspNet, un ensemble de données de préhension robotique à grande échelle pour des objets généraux basé sur la simulation
Équilibrer la variété et la quantité des données sur la préhension manuelle adroite des robots
Galbot a utilisé un optimiseur profondément accéléré qui peut synthétiser de manière efficace et robuste des prises stables et diverses à grande échelle pour trouver les poses de préhension qui répondent aux conditions de force de fermeture et présentent des scores de préhension élevés. L'ensemble de données comprend de nombreux types de prises qui ne sont pas possibles avec d'autres outils populaires comme GraspIt.
Grâce à des expériences sur des ensembles de données croisés, l’équipe Galbot a démontré que la formation de plusieurs algorithmes pour la synthèse de la préhension adroite sur DexGraspNet surpassait considérablement la formation sur l’ensemble de données précédent.
Développer des compétences générales de préhension adroite de la main
L'équipe de recherche Galbot a proposé UniDexGrasp++ , une nouvelle approche indépendante de l'objet pour l'apprentissage de stratégies généralisées de saisie adroite d'objets à partir d'observations réelles de nuages de points et d'informations proprioceptives dans un environnement de table.
Pour relever le défi de l’apprentissage de stratégies basées sur la vision sur des milliers d’instances d’objets, l’équipe a utilisé GeoCurriculum Learning et Geometry-Aware Iterative Generalist-Specialist Learning (GiGSL), qui exploite les caractéristiques géométriques de la tâche pour améliorer considérablement la généralisabilité.

Figure 2. Galbot utilise Isaac Sim pour vérifier la politique de préhension adroite apprise grâce à l'apprentissage du programme d'études prenant en compte la géométrie à grande échelle
En utilisant ces techniques dans Isaac Sim, l'équipe Galbot a réussi à démontrer avec succès la saisie adroite généralisée de plus de 3 000 instances d'objets avec des poses d'objets aléatoires sur une table. Les taux de réussite ont été de 85,4 % sur l'ensemble d'entraînement et de 78,2 % sur les ensembles de test, surpassant respectivement la référence de pointe UniDexGrasp de 11,7 % et 11,3 %.
Le document de recherche, UniDexGrasp++ : Améliorer l'apprentissage de la politique de préhension adroite via un programme d'études sensible à la géométrie et un apprentissage généraliste-spécialiste itératif , a reçu le prix du meilleur finaliste du document lors de la conférence internationale 2023 sur la vision par ordinateur.
Figure 3. Galbot a utilisé Isaac Sim pour former des politiques contenant plus de 3 000 objets de formation avec des poses aléatoires
Mise à l'échelle de modèles de préhension manuelle adroite
Le travail le plus récent de Galbot est DexGraspNet 2.0. Il permet une préhension adroite dans des scènes encombrées et l'équipe a démontré un transfert de simulation vers la réalité sans tir avec un taux de réussite de préhension adroite dans le monde réel de 90,70 %. DexGraspNet 2.0 a été évalué sur des robots réels, avec une main LEAP montée sur un bras de robot UR-5 pour des expériences de préhension adroite et un bras Franka Panda pour des tâches de préhension. Le projet DexGraspNet 2.0 sera présenté à la Conférence sur l'apprentissage robotique (CoRL) de 2024 .
L'équipe Galbot a également créé un environnement de test de simulation pour les modèles de préhension manuelle adroite avec Isaac Sim et NVIDIA Isaac Lab , un cadre modulaire open source pour l'apprentissage robotique conçu pour simplifier la manière dont les robots s'adaptent à de nouvelles compétences. Grâce à l'environnement de simulation, les développeurs peuvent accélérer considérablement l'exploration et la mise à l'échelle des modèles de préhension manuelle adroite et mettre en œuvre plus rapidement des compétences généralisées de préhension manuelle adroite dans des cas d'utilisation réels.
Résumé
Grâce à NVIDIA Isaac Sim , Galbot a développé DexGraspNet, un ensemble de données complet pour les robots humanoïdes, qui comprend 1,32 million de saisies ShadowHand sur 5 355 objets dans plus de 133 catégories, offrant une gamme vaste et diversifiée de saisies. L'ensemble de données s'est avéré efficace pour la formation d'algorithmes de synthèse de saisie adroite, surpassant considérablement les ensembles de données précédents dans des expériences inter-ensembles de données. Ce travail permet aux robots de mieux gérer des tâches complexes qui nécessitent une motricité fine, améliorant ainsi la productivité et l'efficacité.
Pour voir le code DexGraspNet, visitez le dépôt GitHub PKU-EPIC/DexGraspNet . Vous pouvez également référencer l' ensemble de données utilisé par l'équipe. Pour en savoir plus, consultez DexGraspNet : un ensemble de données de préhension adroite robotique à grande échelle pour des objets généraux basé sur la simulation .