Les robots utilisent des signaux radio et l'IA pour voir au-delà des angles.
infohightech ·
Des ingénieurs de Penn ont développé un système qui permet aux robots de voir au-delà des angles grâce à des ondes radio traitées par l'IA, une capacité qui pourrait améliorer la sécurité et les performances des voitures autonomes ainsi que des robots opérant dans des environnements intérieurs encombrés comme les entrepôts et les usines.
Le système, baptisé HoloRadar , permet aux robots de reconstituer des scènes tridimensionnelles hors de leur champ de vision direct, comme des piétons tournant au coin d'une rue. Contrairement aux approches précédentes de perception hors champ de vision (NLOS) qui reposent sur la lumière visible, HoloRadar fonctionne de manière fiable dans l'obscurité et sous des conditions d'éclairage variables.
« Les robots et les véhicules autonomes doivent pouvoir voir au-delà de ce qui se trouve directement devant eux », explique Mingmin Zhao, professeur adjoint en informatique et sciences de l'information (CIS) et auteur principal d'un article décrivant HoloRadar , présenté lors de la 39e conférence annuelle sur les systèmes de traitement de l'information neuronale (NeurIPS). « Cette capacité est essentielle pour permettre aux robots et aux véhicules autonomes de prendre des décisions plus sûres en temps réel. »
HoloRadar permet aux robots de voir au-delà des angles dans des conditions d'éclairage variables grâce à l'utilisation de signaux radio et d'intelligence artificielle. Crédit : Sylvia Zhang et WAVES Lab, Penn Engineering
Transformer les murs en miroirs
Au cœur d'HoloRadar se trouve une intuition contre-intuitive concernant les ondes radio. Comparées à la lumière visible, les ondes radio ont des longueurs d'onde beaucoup plus importantes, une propriété traditionnellement considérée comme un inconvénient pour l'imagerie car elle limite la résolution. L'équipe de Zhao a réalisé que, pour observer au-delà des angles, ces longueurs d'onde plus importantes constituent en réalité un avantage.
« Parce que les ondes radio sont beaucoup plus grandes que les minuscules variations de surface des murs », explique Haowen Lai, doctorant en informatique et co-auteur du nouvel article, « ces surfaces deviennent en fait des miroirs qui réfléchissent les signaux radio de manière prévisible. »
Concrètement, cela signifie que les surfaces planes comme les murs, les sols et les plafonds peuvent réfléchir les signaux radio autour des angles, transmettant ainsi à un robot des informations sur les espaces cachés. HoloRadar capte ces réflexions et reconstitue ce qui se trouve hors de vue directe.
« C’est un peu comme lorsque les conducteurs humains se fient aux rétroviseurs placés aux intersections sans visibilité », explique Lai. « HoloRadar utilise des ondes radio pour que l’environnement lui-même se remplisse de rétroviseurs, sans qu’il soit nécessaire de le modifier. »
HoloRadar fonctionne en reconstruisant des scènes 3D à partir des réflexions des ondes radio. Crédit : Laboratoire WAVES, Penn Engineering
Conçu pour les opérations en milieu naturel
Ces dernières années, d'autres chercheurs ont présenté des systèmes aux capacités similaires , généralement basés sur l'utilisation de la lumière visible. Ces systèmes analysent les ombres ou les réflexions indirectes, ce qui les rend très dépendants des conditions d'éclairage. D'autres tentatives , utilisant des signaux radio, ont eu recours à des équipements de balayage lents et encombrants, limitant ainsi leurs applications concrètes.
« HoloRadar est conçu pour fonctionner dans les environnements où évoluent réellement les robots », explique Zhao. « Ce système est mobile, fonctionne en temps réel et ne dépend pas d'un éclairage contrôlé. »
HoloRadar renforce la sécurité des robots autonomes en complétant les capteurs existants plutôt qu'en les remplaçant. Si les véhicules autonomes utilisent déjà le LiDAR , un système de détection laser permettant de repérer les objets dans leur champ de vision direct, HoloRadar ajoute une couche de perception supplémentaire en révélant ce que ces capteurs ne peuvent pas voir, offrant ainsi aux machines un temps de réaction accru face aux dangers potentiels.
HoloRadar s'appuie sur un équipement de numérisation compact et agile, ouvrant la voie à des applications concrètes. Crédit : Sylvia Zhang, Penn Engineering
Traitement radio par l'IA
Une seule impulsion radio peut rebondir plusieurs fois avant de revenir au capteur, créant un ensemble complexe de réflexions difficiles à démêler à l'aide des seules méthodes de traitement du signal traditionnelles.
Pour résoudre ce problème, l'équipe a développé un système d'IA sur mesure qui combine apprentissage automatique et modélisation physique. Dans un premier temps, le système améliore la résolution des signaux radio bruts et identifie les multiples « retours » correspondant à différents trajets de réflexion. Dans un second temps, il utilise un modèle physique pour retracer ces réflexions, corrigeant ainsi les effets de miroir de l'environnement et reconstruisant la scène 3D réelle.
« D'une certaine manière, le défi est comparable à celui d'entrer dans une pièce remplie de miroirs », explique Zitong Lan, doctorant en génie électrique et des systèmes (ESE) et co-auteur de l'article. « On voit de nombreuses copies du même objet reflétées à différents endroits, et la difficulté consiste à déterminer où les choses se trouvent réellement. Notre système apprend à inverser ce processus de manière fondée sur des principes physiques solides. »
En modélisant explicitement la façon dont les ondes radio se réfléchissent sur les surfaces, l'IA peut faire la distinction entre les réflexions directes et indirectes et déterminer l'emplacement physique exact de divers objets, y compris les personnes.
Du laboratoire au monde réel
Les chercheurs ont testé HoloRadar sur un robot mobile dans des environnements intérieurs réels, notamment des couloirs et des angles de bâtiments. Dans ces conditions, le système a réussi à reconstituer les murs, les couloirs et les personnes cachées hors du champ de vision du robot.
Les travaux futurs exploreront des scénarios extérieurs, tels que les intersections et les rues urbaines, où des distances plus longues et des conditions plus dynamiques introduisent des défis supplémentaires.
« Il s’agit d’une étape importante pour permettre aux robots de mieux comprendre leur environnement », déclare Zhao. « Notre objectif à long terme est de permettre aux machines de fonctionner de manière sûre et intelligente dans les environnements dynamiques et complexes que les humains fréquentent au quotidien. »