ACT-1 : Un modèle de base pour robots entraîné sans aucune donnée robotique
infohightech ·
La société de robotique Sunday présente une avancée majeure dans le domaine de l'IA robotique : la résolution de tâches à très long terme, la généralisation de la manipulation mobile à l'échelle d'une pièce à de nouveaux environnements et le dépassement des limites de la dextérité, le tout sans une seule trajectoire de données de téléopération.
Sa mission est simple : installer un robot dans chaque foyer. C’est un avenir prometteur qui permettra aux gens de retrouver du temps pour leur famille, leurs amis et leurs passions. Depuis le premier jour, l’entreprise se pose une seule question : comment accélérer la réalisation de cet avenir, jusqu’à 100 fois plus vite ?
En tant qu'entreprise maîtrisant l'ensemble de la pile technologique, elle a été capable d'identifier les goulots d'étranglement dans l'ensemble du système qui est toujours limité par son maillon le plus faible. Si de nombreux acteurs du secteur de la robotique débattent de la nature de ce maillon (matériel, puissance de calcul ou financement), Sunday est convaincu qu'il n'existe qu'une seule réponse définitive : les données. Les grands modèles de langage (LLM) prospèrent car ils exploitent l'intégralité d'Internet ; la robotique ne dispose d'aucun équivalent : aucun corpus de données de manipulation du monde réel à l'échelle d'Internet.
Comment combler cet écart ?
L'approche classique est la télé-opération : un humain contrôle le robot à distance pour le former. Bien qu'utile pour les démonstrations, cette méthode crée un blocage lors du passage à l'échelle. On ne peut déployer des robots à grande échelle sans intelligence, mais on ne peut développer d'intelligence sans les données issues d'un déploiement à grande échelle. Des entreprises comme Tesla bénéficient des données collectées quotidiennement par des millions de véhicules ; pourtant, même pour elles, il a fallu une décennie pour accumuler suffisamment de données et constater de réels progrès.
En robotique, le constat est sans appel : à moins d’inventer une méthode bien plus efficace que la télé-opération, la collecte des données nécessaires à un robot polyvalent prendra des décennies. C’est tout simplement trop lent.
La principale intuition de Sunday est que, pour résoudre le problème des données, il est indispensable de résoudre le problème de l'inadéquation entre le modèle et le corps humain. Si elle parvient à adapter la morphologie du robot au corps humain, toutes les données recueillies auprès des humains pourront être directement utilisées pour entraîner les robots. Avec huit milliards d'êtres humains sur Terre, l'exploitation de leurs mouvements quotidiens nous permettrait de développer une intelligence artificielle, de débloquer la situation en matière de données et de rendre possible le déploiement à grande échelle de robots.
Cependant, exploiter ces données s'avère extrêmement complexe. Après des millions d'années d'évolution, la dextérité des mains humaines est remarquablement difficile à reproduire. Si certaines mains robotiques ressemblent à des mains humaines, aucune n'a encore atteint une véritable équivalence fonctionnelle. Si la main robotique ne reproduit pas les mouvements de la main humaine, les données ne sont pas transposables.
Sunday comble cet écart en concevant le « point d'équilibre » mécanique idéal. Elle a co-conçu un matériel pour équilibrer les besoins ergonomiques des humains et les réalités de fabrication du robot, tout en optimisant de manière proactive les aspects de la dextérité manuelle les plus importants : élargir la gamme d'objets que la main peut saisir, permettre une utilisation fiable des outils (pulvérisateurs, perceuses) et prendre en charge les objets du quotidien comme les poignées et les ficelles.
Le résultat est le Skill Capture Glove ou Gant de Capture de Compétences , un dispositif qui incarne cette convergence. En garantissant que le gant et la main du robot partagent exactement la même géométrie et la même disposition des capteurs, nous éliminons totalement l'écart de transposition. La promesse est simple : si un humain peut réaliser une action avec le gant, le robot peut également la réaliser.
Bien que le gant Skill Capture Glove aligne l'interface de la main, le reste du dispositif demeure variable. La taille et la longueur des bras varient d'un humain à l'autre, et leur apparence physique crée un écart important dans le champ visuel : les caméras voient un bras humain, mais le robot doit apprendre à partir d'un bras robotique.
Pour combler ces écarts, Sunday a aussi développé Skill Transform . Ce logiciel aligne les observations brutes — cinématiques et visuelles — afin d'éliminer les détails propres à l'humain. Ce processus est extrêmement robuste : il convertit les données des gants en données robotiques équivalentes avec un taux de réussite de 90 %. Le résultat est un ensemble d'entraînement haute fidélité dont l'apparence et les mouvements sont identiques à ceux des données générées par le robot lui-même.
Il a fallu plus d'un an pour concevoir l'infrastructure de base : le gant de capture de compétences, le module Skill Transform et le robot Memo. Cet investissement a porté ses fruits. Sunday a entraîné son premier modèle de base, ACT-1.
Manipulation mobile à très long horizon
ACT-1 a exécuté avec succès la tâche la plus complexe jamais réalisée par un robot de manière autonome : le passage de la table au lave-vaisselle . Cette tâche consiste à prendre de la vaisselle délicate (verres à vin, assiettes en céramique, couverts en métal) sur une table, à la charger dans le lave-vaisselle, à vider les déchets alimentaires et à faire fonctionner ce dernier. Tout au long de cette tâche, ACT-1 a effectué de manière autonome 33 interactions uniques et 68 interactions complexes avec 21 objets différents, tout en parcourant une distance de plus de 40 mètres.
La tâche « De la table au lave-vaisselle » met à rude épreuve de nombreuses capacités de notre système : raisonnement à long terme, dextérité, amplitude de mouvement et sensibilité à la force. Tout au long de la tâche, ACT-1 génère des actions d'une grande précision, allant de la manipulation au millimètre près à la navigation à l'échelle d'une pièce au mètre près.
Généralisation sans exemple à des maisons non observées
ACT-1 peut s'adapter à de nouveaux environnements sans aucun entraînement spécifique. Pour démontrer cette capacité, nous l'avons déployé dans plusieurs logements Airbnb, en lui demandant de débarrasser la table et de remplir le lave-vaisselle. Dans ces logements, notre modèle se déplace avec succès autour des tables, ramasse les couverts et transporte les assiettes jusqu'au lave-vaisselle.
Comme ces nouveaux logements possèdent des plans que ACT-1 n'a pas vus lors de son entraînement, le modèle ne connaît pas l'emplacement du lave-vaisselle ni de la table à manger. Pour lui permettre de se repérer dans un nouveau logement, nous l'entraînons à l'aide de cartes 3D de son environnement. En l'exposant à un vaste ensemble de données diversifiées d'agencements de maisons, il apprend à interpréter ces cartes plutôt qu'à mémoriser des maisons spécifiques. Ainsi, lorsqu'il est placé dans un nouveau logement, ACT-1 est capable d'utiliser la carte 3D fournie pour se diriger vers les lieux clés. À notre connaissance, ACT-1 est le premier modèle de base qui combine la manipulation à long terme et la navigation conditionnée par la carte dans un seul modèle de bout en bout.
Repousser les frontières de la dextérité
Sunday présente deux tâches qui repoussent les limites de la dextérité robotique : plier des chaussettes et préparer un expresso.
Nous avons vu de nombreux robots capables de plier des vêtements volumineux. Sunday s’est donc attaquée au pliage de chaussettes. Cette tâche exige d'ACT-1 qu'il identifie et extraie les paires de chaussettes d'un tas encombré, les roule en boule et les dépose dans un panier. Un déploiement réussi nécessite une combinaison de pincements précis et délicats avec des étirements puissants, des mouvements intelligents à plusieurs doigts pour rouler la chaussette, tout en s'adaptant aux multiples déformations et aux risques d'obstruction des chaussettes.
L’entreprise a également entraîné ACT-1 à utiliser une machine à expresso grand public. La séquence commence par la prise du porte-filtre et le tassage en l'air, une action qui exige une précision millimétrique et une coordination bimanuelle. ACT-1 utilise ensuite la force de tout le corps de Memo pour insérer le porte-filtre dans la machine et générer le couple élevé nécessaire à son verrouillage, avant d'appuyer sur le bouton.
Capturer la longue traîne du vivant
La généralisation d'ACT-1 repose sur la réalité complexe des foyers habités. Nous sommes constamment surpris par ce que nous y découvrons : des chats dans le lave-vaisselle, des seaux de prunes sur la table… Les gants de capture de compétences constituent le moyen le plus rapide et le plus efficace d'obtenir un échantillon représentatif de la diversité des modes de vie.
Sunday prévoit de confier Memo à des testeurs bêta l'année prochaine. Ce programme pilote permettra d'évaluer la réaction du public face à un robot domestique capable d'effectuer certaines tâches ménagères, même si ce sera plus lent et peut-être pas toujours parfait. Une question cruciale sera de savoir avec quelle fiabilité et efficacité Memo sera capable d'accomplir ces tâches dans de véritables foyers où enfants, animaux domestiques et désordre ne manqueront pas de compliquer la tâche.