Cole Lill, stagiaire aux Laboratoires nationaux Sandia, participe à la préparation de drones pour un test au Centre de fabrication avancée et d’innovation de Sandia. Crédit : Craig Fritz
Les règles du jeu du chat et de la souris sont simples dans une cour de récréation : attraper ou être attrapé. Mais lorsque les joueurs sont des drones autonomes, le jeu devient un test d’apprentissage automatique, de prise de décision en une fraction de seconde et de stratégie coopérative.
Des chercheurs des Laboratoires nationaux Sandia aux Etats-Unis ont récemment utilisé l’apprentissage par renforcement, une forme d’apprentissage automatique, pour enseigner à des drones comment jouer à une version stratégique du jeu.
Ces travaux pourraient contribuer à l’amélioration des algorithmes destinés aux systèmes autonomes qui doivent poursuivre, échapper ou se coordonner dans des environnements en constante évolution, notamment pour les futurs systèmes conçus pour défendre des installations critiques contre des drones hostiles ou pour d’autres applications liées à la sécurité nationale.
Ce projet s’inscrit dans le cadre d’une initiative plus vaste, AutonomyNM, qui utilise l’apprentissage automatique et l’intelligence artificielle pour repousser les limites de l’autonomie. Contrairement aux drones télécommandés, les drones autonomes utilisent des algorithmes pour déterminer comment réagir face à une situation donnée, éviter les obstacles et atteindre un objectif précis. L’autonomie a le potentiel d’accélérer les interventions et de réduire les erreurs humaines au sein des essaims de drones .
Les travaux de l’équipe, notamment la manière dont les chercheurs ont entraîné les drones et comparé leurs performances avec d’autres stratégies, ont récemment été publiés sous forme d’ article de conférence pour la conférence internationale IEEE sur la robotique et l’automatisation de 2026.
Des drones autonomes (en bleu), entraînés grâce aux algorithmes d’apprentissage par renforcement des Laboratoires nationaux Sandia, coopèrent pour provoquer une collision entre les drones poursuivants (en rouge), remportant ainsi une variante du jeu du chat et de la souris. Crédit : Laboratoires nationaux Sandia
« Nous possédons une expertise en algorithmes d’apprentissage par renforcement », a déclaré Spencer Jensen, informaticien à Sandia et chercheur principal du projet. « L’apprentissage par renforcement commence tout juste à être utilisé en robotique commerciale. Son principal avantage est de pouvoir s’affranchir de calculs mathématiques extrêmement complexes – d’ailleurs probablement légèrement erronés – et d’obtenir un algorithme performant, plus flexible face à des situations évoluant rapidement. »
Apprentissage par renforcement : comme dresser un chiot
Dans la version du jeu de poursuite développée par Sandia, deux drones poursuivants protégeaient une base sécurisée tandis que deux drones d’évasion coopérants tentaient de l’atteindre. Ces derniers étaient entraînés à coopérer pour provoquer une collision entre les drones poursuivants, ce qui leur permettait d’atteindre la base sans être touchés – ou, dans ce cas précis, percutés – par les poursuivants, a expliqué Jensen.
Les chercheurs ont utilisé l’apprentissage par renforcement pour enseigner aux drones d’évasion comment coopérer. L’apprentissage par renforcement, comparable à l’apprentissage de la position assise chez un chiot, utilise des récompenses virtuelles pour guider l’algorithme vers le comportement souhaité.
« Le défi de l’apprentissage par renforcement réside dans la nécessité de moduler considérablement les récompenses pour obtenir le comportement souhaité », explique Christian Llanes, stagiaire à Sandia participant au projet et doctorant en robotique au Georgia Institute of Technology. « La modulation des récompenses est un problème à deux volets : il s’agit de déterminer les comportements à récompenser ou à pénaliser, ainsi que l’ampleur de la récompense ou de la sanction. »
Llanes a commencé à travailler sur le projet à l’automne 2023 après avoir effectué un stage d’été sur un projet similaire. Il a utilisé l’apprentissage par renforcement pour entraîner le module de guidage des drones d’évitement dans des simulations informatiques. Ce module de guidage détermine la trajectoire que doit suivre le module de contrôle du drone.
Pour les drones en fuite, l’apprentissage par renforcement a offert un moyen de développer un comportement plus flexible sans avoir à programmer chaque mouvement possible.
« L’apprentissage par renforcement est une technique de guidage basée sur la simulation », a déclaré Jensen. « Nous apprécions particulièrement l’apprentissage par renforcement car ce comportement peut être très difficile à programmer de manière optimale, mais c’est précisément ce que l’apprentissage par renforcement peut apprendre à faire de manière optimale. Il simplifie le complexe. »
Les poursuivants n’étaient pas entraînés et suivaient plutôt un algorithme plus simple appelé navigation proportionnelle, qui vise simplement à intercepter sa cible, a déclaré Jensen.
Passer de l’ordinateur au monde réel
Une fois le module de guidage des drones d’évitement entièrement entraîné, l’équipe a transposé l’algorithme de la simulation au monde réel et l’a testé sur de petits drones peu coûteux.
L’un des principaux défis résidait dans la différence entre le comportement d’un algorithme dans un modèle informatique et son comportement sur un matériel physique.
« L’un des problèmes courants de l’apprentissage par renforcement est le décalage entre la simulation et la réalité », a déclaré Jensen. « Comme il s’agit d’une méthode de guidage basée sur la simulation, elle fonctionne souvent mal avec le matériel en raison de toutes ces dynamiques non modélisées. »
L’équipe s’est adaptée à cette situation en étudiant plus en profondeur, dès le début du projet, les petits drones quadricoptères commerciaux peu coûteux disponibles sur étagère, et en les modélisant mieux dans la simulation, a-t-il déclaré.
Un petit drone bon marché prend son envol au Centre de fabrication avancée et d’innovation des Laboratoires nationaux Sandia. Crédit : Craig Fritz
Cependant, certains phénomènes, comme l’influence de la décharge de la batterie sur la vitesse du rotor ou la manière dont un drone peut générer du vent et affecter un autre, sont difficiles à modéliser précisément. De plus, de nombreux petits délais de communication existent dans le monde réel et sont absents des simulations, a ajouté Llanes.
L’équipe a utilisé des drones bon marché d’environ 8,9 centimètres de large et pesant moins qu’une barre de chocolat, car ils peuvent entrer en collision ou tomber du ciel sans conséquences graves, hormis la rupture occasionnelle d’une petite pièce en plastique, a expliqué Jensen. Les réparations sont beaucoup plus rapides et faciles que sur des drones plus grands, ce qui permet à l’équipe de tester rapidement des algorithmes améliorés, a-t-il ajouté.
Le laboratoire de drones utilisé pour les essais est équipé d’un système de capture de mouvement infrarouge de pointe, similaire à ceux utilisés dans les films hollywoodiens, permettant un suivi très précis des positions des drones. Située au sein du Centre pour la fabrication avancée et l’innovation (CAMINO: Center for Advanced Manufacturing and Innovation), cette installation permet de tester des drones compatibles Bluetooth, simplifie les stages et facilite les partenariats de recherche avec les universités et les entreprises locales.
« La grande baie de CAMINO nous permet de faire le lien entre la recherche fondamentale et les équipements critiques », a déclaré Jensen. « Nous pouvons y effectuer des tests à moindre coût. Une grande partie de notre travail consiste à réduire l’écart entre la simulation et la réalité. Notre objectif est de corriger certains bugs sur des équipements à bas coût avant de passer à des équipements plus onéreux et à fort impact. »
