Le robot humanoïde de Figure prend des commandes vocales pour aider à la maison
infohightech ·
Le fondateur et PDG de Figure, Brett Adcock, a dévoilé jeudi un nouveau modèle d'apprentissage automatique pour les robots humanoïdes. La nouvelle, qui arrive deux semaines après qu'Adcock a annoncé la décision de l'entreprise de robotique de la région de la baie de San Francisco de se retirer d'une collaboration avec OpenAI , est centrée sur Helix, un modèle « généraliste » de vision-langage-action (VLA).
Les VLA sont un phénomène nouveau en robotique, qui exploite la vision et les commandes linguistiques pour traiter les informations. Actuellement, l'exemple le plus connu de cette catégorie est le RT-2 de Google DeepMind , qui entraîne les robots grâce à une combinaison de vidéo et de modèles de langage étendus (LLM).
Helix fonctionne de manière similaire, en combinant des données visuelles et des messages vocaux pour contrôler un robot en temps réel. Figure écrit : « Helix fait preuve d’une forte généralisation d’objets, étant capable de saisir des milliers de nouveaux articles ménagers de formes, de tailles, de couleurs et de propriétés matérielles variées, jamais rencontrés auparavant lors d’une formation, simplement en demandant en langage naturel. »
Dans un monde idéal, il suffirait de demander à un robot de faire quelque chose et il le ferait. C’est là qu’intervient Helix, selon Figure. La plateforme est conçue pour combler le fossé entre la vision et le traitement du langage. Après avoir reçu une invite vocale en langage naturel, le robot évalue visuellement son environnement puis exécute la tâche.
La figure propose des exemples tels que « Donnez le sac de biscuits au robot à votre droite » ou « Recevez le sac de biscuits du robot à votre gauche et placez-le dans le tiroir ouvert ». Ces deux exemples impliquent une paire de robots travaillant ensemble. En effet, Helix est conçu pour contrôler deux robots à la fois, l’un aidant l’autre à effectuer diverses tâches ménagères.
La figure met en valeur le VLM en mettant en évidence le travail que l'entreprise a réalisé avec son robot humanoïde 02 dans l'environnement domestique. Les maisons sont notoirement difficiles pour les robots, car elles n'ont pas la structure et la cohérence des entrepôts et des usines.
Les difficultés d'apprentissage et de contrôle sont des obstacles majeurs entre les systèmes robotiques complexes et la maison. Ces problèmes, ainsi que les prix à cinq ou six chiffres, expliquent pourquoi la plupart des entreprises de robotique humanoïde n'ont pas accordé la priorité aux robots domestiques. En règle générale, l'approche consiste à construire des robots pour des clients industriels, à la fois pour améliorer la fiabilité et réduire les coûts avant de s'attaquer aux habitations. Les tâches ménagères seront un sujet de discussion pour quelques années à venir.
Crédits image : Figure
Avec l'annonce de jeudi concernant Helix, Figure a clairement indiqué que la maison devrait être une priorité à part entière. Il s'agit d'un environnement difficile et complexe pour tester ce type de modèles de formation. Apprendre aux robots à effectuer des tâches complexes dans la cuisine, par exemple, leur ouvre un large éventail d'actions dans différents environnements.
« Pour que les robots soient utiles dans les foyers, ils devront être capables de générer de nouveaux comportements intelligents à la demande, en particulier pour des objets qu'ils n'ont jamais vus auparavant », explique Figure. « Apprendre aux robots ne serait-ce qu'un seul nouveau comportement nécessite actuellement un effort humain considérable : soit des heures de programmation manuelle de niveau doctorat, soit des milliers de démonstrations. »
La programmation manuelle ne s'adapte pas à la maison. Il y a tout simplement trop d'inconnues. Les cuisines, les salons et les salles de bains varient considérablement d'une cuisine à l'autre. Il en va de même pour les outils utilisés pour cuisiner et nettoyer. De plus, les gens laissent des traces, réorganisent les meubles et préfèrent une gamme d'éclairage ambiant différente. Cette méthode prend beaucoup trop de temps et d'argent - même si Figure en a certainement beaucoup .
L’autre option est la formation – et beaucoup de formation. Les bras robotisés formés pour saisir et placer des objets dans les laboratoires utilisent souvent cette méthode. Ce que vous ne voyez pas, ce sont les centaines d’heures de répétition nécessaires pour créer une démonstration suffisamment robuste pour effectuer des tâches très variables. Pour saisir quelque chose correctement du premier coup, un robot doit l’avoir fait des centaines de fois dans le passé.
Comme pour beaucoup d'autres projets de robotique humanoïde, le travail sur Helix en est encore à ses débuts. Il faut savoir qu'un travail important est effectué en coulisses pour créer les vidéos courtes et bien produites présentées dans cet article. L'annonce d'aujourd'hui est, en substance, un outil de recrutement conçu pour attirer plus d'ingénieurs à bord afin de contribuer à la croissance du projet.