Des robots généralistes incroyables nous montrent un avenir sans corvées
infohightech ·
La start-up Physical Intelligence n'a aucun intérêt à construire des robots. L'équipe a plutôt une idée plus intéressante en tête : alimenter le matériel avec le « cerveau » généraliste et en apprentissage continu des logiciels d'intelligence artificielle, afin que les machines existantes puissent effectuer de manière autonome un nombre croissant de tâches qui nécessitent des mouvements précis et de la dextérité, y compris les tâches ménagères.
Au cours de l'année écoulée, nous avons vu des chiens robots danser , certains équipés pour lancer des flammes , ainsi que des humanoïdes de plus en plus perfectionnés et des machines conçues pour des rôles spécialisés sur les chaînes de montage. Mais nous attendons toujours notre Rosey le robot des Jetsons.
Mais nous y serons peut-être bientôt. La société Physical Intelligence (Pi) de San Francisco a dévoilé son modèle d’IA généraliste pour la robotique, qui peut permettre aux machines existantes d’effectuer diverses tâches – dans ce cas, sortir le linge du sèche-linge et plier les vêtements, emballer délicatement les œufs dans leur boîte, moudre les grains de café et « débarrasser » les tables. Il n’est pas exagéré d’imaginer que ce système pourrait voir ces assistants métalliques mobiles se déplacer dans la maison, passer l’aspirateur, emballer et déballer le lave-vaisselle, faire le lit, regarder dans le réfrigérateur et le garde-manger pour en cataloguer le contenu et élaborer un plan pour le dîner – et, hé, pourquoi pas, aussi préparer ce dîner.
C'est avec cette vision que Pi révèle son « modèle fondamental de robot à usage général » connu sous le nom de π 0 (pi-zéro).
C'est avec cette vision que Pi révèle son « modèle fondamental de robot à usage général » connu sous le nom de π 0 (pi-zéro).
« Nous pensons qu’il s’agit d’une première étape vers notre objectif à long terme de développer une intelligence physique artificielle, afin que les utilisateurs puissent simplement demander aux robots d’effectuer la tâche qu’ils souhaitent, tout comme ils peuvent le faire
« Nous pensons qu’il s’agit d’une première étape vers notre objectif à long terme de développer une intelligence physique artificielle, afin que les utilisateurs puissent simplement demander aux robots d’effectuer la tâche qu’ils souhaitent, tout comme ils peuvent le faire avec les grands modèles de langage (LLM) et les assistants chatbot », explique l’entreprise. « Comme les LLM, notre modèle est formé sur des données larges et diverses et peut suivre diverses instructions textuelles. Contrairement aux LLM, il couvre les images, le texte et les actions et acquiert l’intelligence physique en s’entraînant sur l’expérience incarnée des robots, en apprenant à générer directement des commandes motrices de bas niveau via une nouvelle architecture. Il peut contrôler une variété de robots différents et peut être invité à effectuer la tâche souhaitée ou affiné pour le spécialiser dans des scénarios d’application difficiles. »
Dans leur recherche, pi-zero démontre comment une variété de tâches nécessitant différents niveaux de dextérité et de mouvements peuvent être effectuées par du matériel entraîné par l'IA. Au total, le modèle de base a effectué 20 tâches, toutes nécessitant des compétences et des manipulations différentes.
« Notre objectif en sélectionnant ces tâches n’est pas de résoudre une application particulière, mais de commencer à fournir à notre modèle une compréhension générale des interactions physiques – une base initiale pour l’intelligence physique », note l’équipe.
https://twitter.com/physical_int/status/1852041726279794788
Les robots généralistes seront capables de faire plus que construire un mur de briques de manière experte ; et, capables d’apprendre, ils seront capables de s’adapter à différents défis du monde physique et disposeront d’un ensemble de compétences en constante évolution.
Pi-zero utilise un modèle de langage visuel (VLM) à l'échelle d'Internet avec correspondance de flux pour synchroniser ses mouvements avec ses apprentissages d'IA. Son pré-entraînement comprenait 10 000 heures de « données de manipulation adroite » provenant de sept configurations de robot différentes, ainsi que 68 tâches. Cela s'ajoutait aux ensembles de données de manipulation de robots existants d'OXE, DROID et Bridge.
« La manipulation habile des robots nécessite que le pi-zéro produise des commandes motrices à haute fréquence, jusqu'à 50 fois par seconde », note l'équipe. « Pour fournir ce niveau de dextérité, nous avons développé une nouvelle méthode pour augmenter les VLM pré-entraînés avec des sorties d'action continues via la correspondance de flux, une variante des modèles de diffusion. À partir de diverses données de robot et d'un VLM pré-entraîné sur des données à l'échelle d'Internet, nous formons notre modèle de correspondance de flux vision-langage-action, que nous pouvons ensuite post-entraîner sur des données de robot de haute qualité pour résoudre une gamme de tâches en aval.
« À notre connaissance, cela représente le plus grand mélange de pré-formation jamais utilisé pour un modèle de manipulation de robot », ont noté les chercheurs dans leur étude.
Bien que l’entreprise en soit encore à ses débuts en matière de recherche et développement, Karol Hausman, cofondateur et PDG de Pi – un scientifique qui a précédemment travaillé sur la robotique chez Google – estime que son modèle fondateur surmontera les obstacles existants dans le domaine de la généralisation, notamment le temps et le coût nécessaires à l’apprentissage du matériel sur les données du monde physique afin d’apprendre de nouvelles tâches. L’équipe de Pi comprend également le cofondateur Sergey Levine, pionnier du développement de la robotique à l’université de Stanford, et Brian Ichter, ancien chercheur scientifique chez Google.
En 2023, le satiriste et architecte Karl Sharro a fait le buzz avec son tweet : « Des humains faisant des travaux difficiles au salaire minimum pendant que les robots écrivent de la poésie et peignent, ce n'est pas l'avenir que je voulais. » La même année, Hollywood s'est arrêté lorsque les membres de la Writers Guild of America se sont mis en grève, percevant le sombre avenir qui s'offrait aux créatifs face à cette nouvelle ère technologique.
Et même si l’intelligence artificielle est peut-être encore en train de faire son apparition – et qu’elle est déjà présente – dans bon nombre de nos emplois (il n’est pas nécessaire de nous le rappeler, à nous les journalistes), la vision de Pi semble plus en phase avec celle des futurologues du milieu du XXe siècle, qui voyaient un monde dans lequel les machines nous faciliteraient la vie. Vous pouvez me traiter de naïf, peut-être, mais si un robot vient faire mon ménage, il peut le faire.
Vous pouvez voir plus de vidéos des exercices auxquels l'équipe a soumis les robots Pi-Zero sur le blog Pi , mais en voici une qui démontre son travail impressionnant - et délicat.