Des pieds au bout des doigts, nous apprenons aux robots le contrôle intelligent de l’ensemble du corps, la dextérité fine et le travail d’équipe pour accomplir un large éventail de tâches complexes.

Depuis des décennies, nous rêvons de robots capables de s’intégrer harmonieusement à notre monde et de nous prêter main-forte. Aujourd’hui, cette vision fait un grand pas en avant.

La plupart des robots sont préprogrammés ou téléopérés pour des séquences de tâches restreintes et répétitives. Ils sont incapables d’apprendre véritablement par eux-mêmes ou de s’adapter à des environnements imprévisibles. De plus, le transfert des compétences acquises d’un robot à un autre demeure extrêmement difficile. Pour relever les défis les plus complexes à grande échelle, les robots de toutes formes et de toutes tailles ont besoin de modèles d’IA leur conférant la capacité de penser, d’agir et d’interagir intelligemment afin d’accomplir leurs tâches en toute sécurité.

Nous avons démontré comment la compréhension multimodale de Gemini pouvait influencer concrètement le monde réel grâce à Gemini Robotics . Aujourd’hui, nous lançons Gemini Robotics 2, la couche d’intelligence qui alimente la prochaine génération de robots véritablement adaptables. Dès ses premiers pas, cette avancée majeure ouvre la voie à un contrôle intelligent du corps entier, une dextérité accrue et la collaboration entre plusieurs robots.

Gemini Robotics 2 permet aux robots d’analyser chaque mouvement, ouvrant ainsi la voie à une multitude de tâches. Par exemple, il peut permettre à un humanoïde de marcher, s’accroupir, s’étirer et manipuler des objets pour ranger une pièce encombrée. Il peut même collaborer avec d’autres robots pour accomplir la tâche plus rapidement. De plus, cette intelligence avancée peut fonctionner localement sur l’appareil et s’adapter instantanément à de nouveaux corps robotiques en quelques heures seulement.

Nous rendons cela possible grâce à trois modèles très performants :

• Gemini Robotics 2 : Notre modèle vision-langage-action (VLA) le plus avancé convertit les informations visuelles et linguistiques en commandes motrices, permettant ainsi au robot d’agir. Ce modèle est capable de contrôler des humanoïdes complets, des pieds au bout des doigts, ainsi que d’autres robots à deux bras. Il offre également une dextérité accrue pour la manipulation des mains et des pinces.
• Gemini Robotics ER 2 : Notre modèle de raisonnement incarné (ER) le plus performant. Ce modèle de langage visuel (VLM) fait office d’agent, permettant aux robots de communiquer avec les humains, de comprendre le monde physique et de planifier des tâches complexes durant plusieurs minutes. Nous introduisons également la possibilité pour les robots de travailler en équipe.
• Gemini Robotics On-Device 2 : Notre modèle vision-langage-action (VLA) le plus performant, optimisé pour une exécution locale sur des dispositifs robotiques, permet une adaptation rapide à des configurations robotiques entièrement nouvelles en quelques heures seulement.

Gemini Robotics ER 2, notre modèle de raisonnement, est désormais disponible sur Google AI Studio et en avant-première privée sur la plateforme Gemini Enterprise Agent . Nos modèles VLA et embarqués sont accessibles en avant-première à nos partenaires . Découvrez comment intégrer ces modèles à votre matériel sur notre blog développeurs .

Humanoïdes en mouvement : Gestion des tâches impliquant l’ensemble du corps

Le monde est conçu pour les mouvements humains ; il nous oblige à tendre le bras, à nous pencher et à garder l’équilibre dans des espaces restreints et encombrés. Alors que nos modèles précédents contrôlaient le haut du corps de l’humanoïde pour réaliser des tâches sur une table, Gemini Robotics 2 étend l’IA physique aux mouvements de l’ensemble du corps.

Pour la première fois, notre modèle peut contrôler des robots humanoïdes entiers, traduisant l’intention en un contrôle corporel intelligent et global. Par exemple, en contrôlant le robot humanoïde Apollo 2 d’Apptronik , nous pouvons lui demander de « mettre l’arrosoir dans le bac vert sur l’étagère du bas ». Apollo traite l’instruction, se dirige vers la table, prend l’arrosoir, fait quelques pas jusqu’aux étagères et le place avec précision à l’endroit prévu. Bien que nos robots aient encore des progrès à faire en matière de vitesse de déplacement, il s’agit d’une étape importante vers l’acquisition des compétences nécessaires à l’exécution de tâches plus complexes et concrètes exigeant une coordination corporelle complète.

Amélioration de la dextérité des mains et des pinces

Pour être véritablement utiles dans nos foyers et nos lieux de travail, les robots doivent faire preuve de finesse. Gemini Robotics 2 ouvre la voie à une dextérité physique inédite pour différents effecteurs, qu’il s’agisse de mains ou de pinces, permettant ainsi aux robots d’être plus performants que jamais.

Le modèle peut désormais contrôler la main SharpaWave à cinq doigts et 22 degrés de liberté du robot Apollo 2 pour réaliser des actions délicates comme nouer des nœuds ou fermer un sac à fermeture éclair. Il peut également actionner des pinces parallèles standard à deux doigts sur une plateforme Franka Duo pour effectuer des tâches complexes nécessitant une grande dextérité (par exemple, un rangement précis). Nous continuons d’améliorer la précision et la vitesse afin d’atteindre une dextérité comparable à celle de l’humain.

Débloquer des tâches complexes grâce au raisonnement agentiel et à la collaboration multi-robots

La plupart des tâches du monde réel nécessitent plusieurs étapes sur une période prolongée. Pour gérer cette complexité, notre modèle de raisonnement incarné (RE), Gemini Robotics ER 2, fait office de cerveau de haut niveau pour le robot. Il traite les instructions de l’utilisateur et communique avec lui. Il observe l’environnement, détermine les étapes nécessaires à la réalisation de la tâche, se coordonne avec l’interface utilisateur visuelle (IUV) pour exécuter les actions et suit la progression jusqu’à l’achèvement de la tâche. Cette configuration permet aux robots d’exécuter des tâches complexes en plusieurs étapes, de s’auto-corriger en cas d’erreur et de généraliser leurs actions à de nouvelles situations et de nouveaux objectifs.

Cette mise à jour permet aux robots d’exécuter avec une plus grande fiabilité des séquences de tâches plus longues, durant plusieurs minutes et impliquant des centaines de décisions. Le robot Gemini Robotics ER 2 comprend désormais le début et la fin des tâches et peut identifier précisément le moment où surviennent les événements clés, ce qui représente une avancée majeure dans la compréhension de leur déroulement.

De plus, nous introduisons la collaboration multi-robots. Celle-ci permet à différents types de robots de communiquer et de travailler ensemble pour résoudre des problèmes complexes qu’un seul robot ne pourrait pas gérer seul.

Adaptation rapide des modèles embarqués à n’importe quel robot

De nombreuses applications robotiques doivent fonctionner sans latence réseau ni connexion Internet. Gemini Robotics On-Device 2 est conçu spécifiquement pour répondre à ces contraintes : il s’agit de notre modèle vision-langage-action (VLA) le plus efficace, optimisé pour une exécution locale sur les dispositifs robotiques.

Ce modèle est nativement multi-incarnation et hérite de nos techniques avancées de « transfert de mouvement » issues de Gemini Robotics 1.5 . Nous pouvons désormais nous adapter à de nouvelles incarnations de robots à deux bras en quelques heures seulement, généralement avec moins de 200 exemples. Ceci fonctionne même avec de nouvelles incarnations présentant des formes, des capteurs et des degrés de liberté très différents, comme illustré ci-dessous avec un ensemble varié de tâches réalisées par les plateformes Dexmate, SO101 et Trossen.

Renforcer notre engagement en faveur d’une robotique sûre et responsable

La sécurité est au cœur de nos recherches en robotique. À mesure que les robots acquièrent de nouvelles capacités physiques, nous nous engageons à garantir une sécurité et une cohérence optimales de bout en bout. Pour chaque nouvelle version, nous avons adopté une approche multicouche qui combine des mesures de sécurité physique traditionnelles avec des cadres de sécurité robustes pour l’IA.

Gemini Robotics 2 améliore spécifiquement la sécurité des robots pour naviguer dans l’incertitude du monde réel et collaborer aux côtés des humains.

Nous lançons ASIMOV-Agentic , un nouveau référentiel pour l’orchestration de la sécurité et la résolution de l’incertitude par les agents. Il mesure notamment la capacité d’un agent de raisonnement incarné à refuser les appels d’outils non sécurisés provenant d’une VLA. Il mesure également sa capacité à prédire la faisabilité d’une tâche et à solliciter proactivement une intervention humaine en cas d’incertitude.

De plus, grâce à un raisonnement incarné amélioré, Gemini Robotics ER 2 est notre modèle robotique le plus sûr à ce jour en matière de respect des contraintes de sécurité et de détection de proximité humaine. Il détecte mieux la présence humaine à proximité, déclenche les alertes de sécurité et immobilise le robot en toute sécurité si une personne s’approche trop près. Il s’agit d’une exigence essentielle des normes de sécurité collaborative. Pour plus de détails, consultez notre rapport technique sur la sécurité de Gemini Robotics 2 .

Vers une IA physique à usage général

Gemini Robotics 2 marque une étape importante vers l’avènement de l’intelligence artificielle générale (IAG) dans le monde physique. Pour libérer tout le potentiel de la robotique, il est nécessaire de dépasser l’automatisation de tâches uniques et d’atteindre une intelligence à usage général. En développant cette intelligence fondamentale, notre objectif est de rendre possible l’existence d’une IA dans le monde physique, capable de collaborer avec les humains pour relever des défis complexes.

https://deepmind.google/blog/gemini-robotics-2-brings-whole-body-intelligence-to-robots