Des tests de référence open source permettent de déterminer si les agents d’IA peuvent concevoir des robots fonctionnels.
infohightech ·
Avec l’essor rapide de l’intelligence artificielle dans notre quotidien, la programmation informatique s’automatise de plus en plus. De puissants systèmes d’IA, appelés agents de programmation, sont capables d’écrire et de modifier des programmes informatiques de manière quasi autonome. Mais que se passe-t-il lorsqu’un agent d’IA doit interagir non seulement avec des lignes de commande numériques, mais aussi avec le monde physique de la robotique ?
Des chercheurs de la Harvard John A. Paulson School of Engineering and Applied Sciences (SEAS) et de la Georgia Tech School of Computational Science and Engineering adoptent une approche systématique pour le découvrir.
Une équipe dirigée par Na Li, professeure titulaire de la chaire Winokur en génie électrique et mathématiques appliquées à Harvard SEAS, et Bo Dai, professeur adjoint à Georgia Tech, a mis au point un outil d’évaluation, appelé benchmark, qui permet de tester la capacité des agents de programmation d’IA à réaliser la tâche complexe de concevoir un robot physique. L’équipe comprend également Haitong Ma, doctorant à Harvard, ainsi que Chenxiao Gao et Rushi Qiang de Georgia Tech.
Ce référentiel, connu sous le nom de RLE-Bench , est comme un test standardisé pour un ingénieur en apprentissage robotique IA — un rôle qui combine l’apprentissage automatique, la robotique, le contrôle, les logiciels et le matériel.
Présentation du cadre RLE-Bench. Crédit : École d’ingénierie et de sciences appliquées John A. Paulson de Harvard
Mise à l’épreuve des compétences en ingénierie robotique
Ce nouveau référentiel comprend 48 tâches qui permettent de vérifier si des agents de programmation généralistes peuvent réaliser les travaux d’ingénierie nécessaires à la conception et à l’exploitation de systèmes robotiques. Ces tâches vont du développement d’algorithmes de contrôle et de perception à la conception de matériel et d’interfaces robotiques.
« Les points de référence sont importants car ils offrent au secteur un outil de mesure commun, nous permettant de comparer les systèmes dans les mêmes conditions et d’identifier les lacunes importantes en matière de capacités », a déclaré Li.
« La robotique dispose déjà de nombreux benchmarks précieux, mais beaucoup se concentrent principalement sur l’apprentissage et l’évaluation des politiques de contrôle. RLE-Bench adopte une perspective plus large. Un système d’IA peut-il réaliser l’ensemble des tâches d’ingénierie nécessaires au bon fonctionnement d’un système robotique ? »
RLE-Bench organise ses tâches en quatre grands domaines : contrôle interactif, développement de politiques, perception et estimation, et conception mécanique. Ensemble, ces domaines testent non seulement la capacité d’un agent à générer du code, mais aussi sa capacité à raisonner sur la perception, la dynamique, la stabilité, les contraintes matérielles et l’interaction entre le logiciel et le monde physique.
Les tâches s’exécutent dans des environnements simulés où les agents peuvent générer, exécuter, inspecter et affiner leurs solutions. Cependant, les problèmes sont ancrés dans des contraintes physiques. Une conception apparemment fonctionnelle, par exemple, peut devenir instable une fois une charge utile ajoutée ou échouer si l’agent n’a pas correctement pris en compte la masse, le couple ou la géométrie.
Un agent de programmation est représenté en train de concevoir la base d’un manipulateur mobile qui bascule, illustrant ainsi la nécessité de comparer différentes conceptions. Crédit : École d’ingénierie et de sciences appliquées John A. Paulson de Harvard
La physique révèle les défauts de conception
Dans un exemple de tâche, un agent doit concevoir une base mobile universelle pour plusieurs bras robotisés capables d’atteindre des objets situés à différentes hauteurs sur une étagère. Une conception proposée pourrait permettre au bras d’atteindre chaque cible, tout en échouant à certains tests de stabilité où le robot entier basculerait.
« C’est là que le raisonnement physique devient crucial », a déclaré Ma. « Un agent peut produire un résultat qui semble raisonnable d’un point de vue informatique, mais dès lors qu’on prend en compte la physique du système complet, des défaillances importantes peuvent apparaître. »
Établir une référence communautaire
RLE-Bench est un logiciel libre et accessible au public , permettant aux chercheurs d’évaluer de nouveaux systèmes d’IA sur un ensemble commun de tâches.
Les chercheurs considèrent cette version comme une base pour un référentiel communautaire plus large. Les ingénieurs en apprentissage robotique travaillent sur de nombreux problèmes qui ne sont pas encore représentés dans RLE-Bench, notamment les nouvelles formes de conception matérielle, la simulation, l’intégration de systèmes, le débogage, la sécurité et le déploiement.
« RLE-Bench 1.0 n’est qu’un point de départ », a déclaré Li. « Nous espérons que les chercheurs et les spécialistes en robotique contribueront en proposant des tâches inspirées des problèmes d’ingénierie qu’ils rencontrent dans leurs travaux. L’objectif de RLE-Bench 2.0 est de dresser un tableau beaucoup plus complet des capacités d’un système d’IA pour fonctionner comme un ingénieur en apprentissage robotique. »