NVIDIA annonce un modèle de fabrique de données d’IA physique ouverte pour accélérer le développement de la robotique, des agents d’IA de vision et des véhicules autonomes
| Résumé de l’actualité : |
| – Blueprint permet le traitement et la curation de données à grande échelle, la génération de données synthétiques, l’apprentissage par renforcement et l’évaluation de modèles d’IA physique pour les agents d’IA de vision, la robotique et les véhicules autonomes. |
| – Les fournisseurs de services cloud, notamment Microsoft Azure et Nebius, fournissent le modèle permettant de transformer la puissance de calcul à l’échelle mondiale en moteurs de production de données clés en main pilotés par des agents. |
| – Les principaux développeurs d’IA physique, FieldAI, Hexagon Robotics, Linker Vision, Milestone Systems, Skild AI, Uber et Teradyne Robotics, utilisent ce modèle pour accélérer le développement de la robotique, des agents d’IA de vision et des véhicules autonomes. |
NVIDIA a annoncé aujourd’hui le NVIDIA Physical AI Data Factory Blueprint, une architecture de référence ouverte qui unifie et automatise la manière dont les données d’entraînement sont générées, augmentées et évaluées, réduisant ainsi les coûts, le temps et la complexité de l’entraînement à grande échelle des systèmes d’IA physique.
Ce plan directeur permet aux développeurs d’utiliser les modèles de base du monde ouvert NVIDIA Cosmos™ et les principaux agents de codage pour transformer des données d’entraînement limitées en ensembles de données vastes et diversifiés, y compris des cas limites rares et des scénarios à longue traîne qui sont coûteux, chronophages et souvent impossibles à capturer dans le monde réel.
NVIDIA collabore avec Microsoft Azure et Nebius pour intégrer ce modèle ouvert à leur infrastructure et à leurs services cloud, permettant ainsi aux développeurs de transformer la puissance de calcul accélérée en données d’entraînement à grande échelle. Des entreprises leaders dans le domaine de l’IA physique, telles que FieldAI , Hexagon Robotics , Linker Vision , Milestone Systems , RoboForce , Skild AI, Teradyne Robotics et Uber, utilisent ce modèle pour accélérer le développement de la robotique, des agents d’IA de vision et des véhicules autonomes.
« L’IA physique représente la prochaine frontière de la révolution de l’IA, où le succès repose sur la capacité à générer des volumes massifs de données », a déclaré Rev Lebaredian, vice-président d’Omniverse et des technologies de simulation chez NVIDIA. « En collaboration avec les leaders du cloud, nous proposons un nouveau type de moteur d’agents qui transforme la puissance de calcul en données de haute qualité, indispensables au développement de la prochaine génération de systèmes autonomes et de robots. Dans cette nouvelle ère, la puissance de calcul est synonyme de données. »
Un moteur unifié pour le développement de l’IA physique.
L’IA physique suit des lois d’échelle : ses performances s’améliorent à mesure que la capacité de données, de calcul et de modélisation augmente. Le modèle de fabrique de données pour l’IA physique sert d’architecture de référence unique, permettant aux équipes de passer des données brutes aux ensembles d’entraînement prêts à l’emploi grâce à des flux de travail modulaires et automatisés.
- Organiser et rechercher : NVIDIA Cosmos Curator traite, affine et annote des ensembles de données réels et synthétiques à grande échelle.
- Augmenter et multiplier : Cosmos Transfer étend et diversifie de manière exponentielle les données sélectionnées, multipliant les entrées réelles et simulées pour mieux capturer les scénarios rares et à longue traîne dans différents environnements et conditions d’éclairage.
- Évaluer et valider : NVIDIA Cosmos Evaluator , basé sur Cosmos Reason et désormais disponible sur GitHub, évalue, vérifie et filtre automatiquement les données générées afin de garantir la précision physique et l’aptitude à l’entraînement.
NVIDIA utilise le modèle Physical AI Data Factory pour entraîner et évaluer NVIDIA Alpamayo, le premier modèle de vision et de langage basé sur le raisonnement et ouvert au monde, destiné à la conduite autonome à long terme. Skild AI applique ce modèle pour perfectionner ses modèles de robotique à usage général, tandis qu’Uber l’utilise pour accélérer le développement de ses véhicules autonomes.
Orchestration pilotée par agents à grande échelle
De nombreux développeurs en robotique ne sont pas équipés pour mettre en place et gérer l’infrastructure d’IA complexe nécessaire à la génération de données à grande échelle.
NVIDIA OSMO , un framework d’orchestration open source, unifie et gère ces flux de travail à travers les environnements de calcul, réduisant ainsi les tâches manuelles afin que les développeurs puissent se concentrer sur la construction de leurs modèles.
OSMO s’intègre désormais aux principaux agents de codage tels que Claude Code, OpenAI Codex et Cursor, permettant des opérations natives de l’IA où les agents gèrent de manière proactive les ressources, résolvent les goulots d’étranglement et accélèrent la livraison des modèles à grande échelle.
Les fournisseurs de services cloud jouent un rôle essentiel dans l’alimentation de l’écosystème mondial de l’IA physique
En fournissant l’infrastructure d’IA accélérée, les opérations d’apprentissage automatique et les services d’orchestration dont les développeurs ont besoin pour construire et déployer l’IA physique à grande échelle.
Microsoft Azure intègre le modèle Physical AI Data Factory à une chaîne d’outils d’IA physique ouverte, désormais disponible sur GitHub. Ce modèle offre une intégration avec les services Azure, notamment Azure IoT Operations, Microsoft Fabric, Real-Time Intelligence et Microsoft Foundry, afin de fournir des flux de travail pilotés par agents de niveau entreprise pour l’entraînement et la validation rapides et à grande échelle des systèmes d’IA physique.
FieldAI, Hexagon Robotics , Linker Vision et Teradyne Robotics font partie des premiers à tester la chaîne d’outils d’IA physique Azure pour accélérer et mettre à l’échelle la génération, l’augmentation et l’évaluation des données dans leurs pipelines de perception, de mobilité et d’apprentissage par renforcement.
Nebius a intégré OSMO à son cloud d’IA, permettant ainsi aux développeurs d’utiliser ce modèle pour déployer des pipelines de données prêts pour la production et adaptés à leurs besoins. L’infrastructure de Nebius prend en charge l’ensemble de la pile d’IA physique, combinant des GPU NVIDIA RTX PRO™ 6000 Blackwell Server Edition avec un stockage d’objets ultrarapide, la gestion et l’étiquetage natifs des données, l’exécution sans serveur et l’inférence gérée intégrée.
Les premiers utilisateurs, Milestone Systems, Voxel51 et RoboForce, exploitent le modèle sur l’infrastructure Nebius pour accélérer le développement de modèles pour les agents d’IA d’analyse vidéo, les véhicules autonomes et les robots humanoïdes industriels.
Le plan directeur de NVIDIA Physical AI Data Factory devrait être disponible sur GitHub en avril.