Les lunettes intelligentes aident à former des robots polyvalents
infohightech ·
Images sources : Vincent Liu, Ademi Adeniji, et al. ; iStock
Les robots polyvalents sont difficiles à entraîner. L'idéal serait d'avoir un robot comme Rosie de Jetson capable d'effectuer diverses tâches ménagères , comme ranger ou plier le linge. Mais pour cela, le robot doit apprendre à partir d'une grande quantité de données réalistes, données parfois difficiles à collecter. Actuellement, la plupart des données d'entraînement proviennent de plusieurs caméras statiques , soigneusement configurées pour recueillir des informations utiles. Et si les robots pouvaient apprendre de nos interactions quotidiennes avec le monde physique ?
C'est une question à laquelle le laboratoire de robotique et d'IA à usage général de l'Université de New York, dirigé par le professeur adjoint Lerrel Pinto , espère répondre avec EgoZero , un système de lunettes intelligentes qui aide l'apprentissage des robots en collectant des données avec une version améliorée des lunettes de Meta .
Dans une prépublication récente , qui sert de preuve de concept pour cette approche, les chercheurs ont entraîné un robot à effectuer sept tâches de manipulation, comme ramasser un morceau de pain et le placer sur une assiette à proximité. Pour chaque tâche, ils ont collecté 20 minutes de données auprès d'humains effectuant ces tâches tout en enregistrant leurs actions avec des lunettes du projet Aria de Meta . (Ces lunettes équipées de capteurs sont utilisées exclusivement à des fins de recherche.) Une fois déployé pour effectuer ces tâches de manière autonome avec un robot, le système a atteint un taux de réussite de 70 %.
L'avantage des données égocentriques
Le terme « ego » d'EgoZero fait référence à la nature « égocentrique » des données, c'est-à-dire qu'elles sont collectées du point de vue de la personne effectuant une tâche. « La caméra bouge avec vous », comme nos yeux bougent avec nous, explique Raunaq Bhirangi , chercheur postdoctoral au laboratoire de l'Université de New York .
Cela présente deux avantages principaux : premièrement, l'installation est plus portable que les caméras externes. Deuxièmement, les lunettes sont plus susceptibles de capturer les informations nécessaires, car les porteurs s'assureront que la caméra, et donc eux-mêmes, peuvent voir ce qui est nécessaire à la réalisation d'une tâche. « Par exemple, si j'avais quelque chose accroché sous une table et que je voulais le décrocher, je me pencherais, regarderais ce crochet, puis le décrocherais, contrairement à une caméra à la troisième personne, qui n'est pas active », explique Bhirangi. « Grâce à cette perspective égocentrique, ces informations sont intégrées à vos données gratuitement. »
La seconde partie du nom d'EgoZero fait référence au fait que le système est entraîné sans aucune donnée robotique, ce qui peut être coûteux et difficile à collecter ; les données humaines suffisent à elles seules à l'apprentissage d'une nouvelle tâche par le robot. Ceci est rendu possible par un framework développé par le laboratoire de Pinto qui suit des points dans l'espace, plutôt que des images complètes. Lors de l'entraînement de robots sur des données d'images, « l'écart est trop important entre l'apparence des mains humaines et celle des bras robotiques », explique Bhirangi. Ce framework suit plutôt des points sur la main, qui sont mappés sur des points du robot.
Le système EgoZero collecte les données des humains portant des lunettes intelligentes et les transforme en données de navigation 3D exploitables par les robots pour effectuer des tâches de manipulation générales. Vincent Liu, Ademi Adeniji, Haotian Zhan, et al.
En réduisant l'image à des points dans l'espace 3D, le modèle peut suivre les mouvements de la même manière, quel que soit l'appendice robotique. « Tant que les points du robot se déplacent par rapport à l'objet de la même manière que les points humains, tout va bien », explique Bhirangi.
Tout cela conduit à un modèle généralisable qui nécessiterait autrement de nombreuses données robotiques diverses pour son entraînement. Si le robot a été entraîné à saisir un morceau de pain – par exemple, un petit pain –, il peut généraliser ces informations pour saisir un morceau de ciabatta dans un nouvel environnement.
Une solution évolutive
En plus d'EgoZero, le groupe de recherche travaille sur plusieurs projets pour aider à faire des robots à usage général une réalité, notamment des conceptions de robots open source, des capteurs tactiles flexibles et des méthodes supplémentaires de collecte de données de formation du monde réel.
Par exemple, comme alternative à EgoZero, les chercheurs ont également conçu une configuration avec une pince portative imprimée en 3D ressemblant davantage à la plupart des « mains » de robot. Un smartphone fixé à la pince capture la vidéo avec la même méthode point-espace que celle utilisée dans EgoZero. En permettant aux utilisateurs de collecter des données sans avoir à faire appel à un robot chez eux, l'équipe propose deux approches potentiellement plus évolutives pour la collecte de données d'entraînement.
Cette évolutivité est l'objectif ultime des chercheurs. Les grands modèles linguistiques peuvent exploiter l'ensemble d'Internet , mais il n'existe pas d'équivalent Internet pour le monde physique. Exploiter les interactions quotidiennes grâce à des lunettes connectées pourrait contribuer à combler cette lacune.