Une technologie d'imagerie puissante pourrait aider les robots d'entrepôt à repérer les marchandises cassées avant l'expédition

Une nouvelle technique d'imagerie développée par des chercheurs du MIT pourrait permettre aux robots de contrôle qualité dans un entrepôt de regarder à travers une boîte d'expédition en carton et de voir que la poignée d'une tasse enterrée sous des cacahuètes d'emballage est cassée.

Leur approche exploite les signaux à ondes millimétriques (mmWave), le même type de signaux utilisés dans le Wi-Fi, pour créer des reconstructions 3D précises d’objets qui sont masqués.

Les ondes peuvent traverser des obstacles courants comme des contenants en plastique ou des murs intérieurs, et se refléter sur des objets cachés. Le système, appelé mmNorm, collecte ces réflexions et les intègre à un algorithme qui estime la forme de la surface de l'objet.

Cette nouvelle approche a permis d'obtenir une précision de reconstruction de 96 % sur une gamme d'objets du quotidien aux formes complexes et courbes, comme l'argenterie et une perceuse électrique. Les méthodes de référence de pointe n'atteignaient qu'une précision de 78 %.

De plus, mmNorm ne nécessite pas de bande passante supplémentaire pour atteindre une telle précision. Cette efficacité pourrait permettre d'utiliser la méthode dans un large éventail d'environnements, des usines aux résidences services.

Par exemple, mmNorm pourrait permettre aux robots travaillant dans une usine ou à la maison de distinguer les outils cachés dans un tiroir et d’identifier leurs poignées, afin qu’ils puissent saisir et manipuler plus efficacement les objets sans causer de dommages.

« Nous nous intéressons à ce problème depuis un certain temps, mais nous nous heurtons à un obstacle car les méthodes précédentes, bien qu'élégantes sur le plan mathématique, ne nous permettent pas d'atteindre nos objectifs. Il nous fallait trouver une façon très différente d'utiliser ces signaux, contrairement à ce qui est utilisé depuis plus d'un demi-siècle, pour ouvrir la voie à de nouveaux types d'applications », explique Fadel Adib, professeur associé au Département de génie électrique et d'informatique, directeur du groupe Cinétique des signaux au MIT Media Lab et auteur principal d'un article sur mmNorm.

Adib est accompagné dans son article par les assistantes de recherche Laura Dodds, auteure principale, et Tara Boroushaki, ainsi que par l'ancien postdoctorant Kaichen Zhou. Ses recherches ont récemment été présentées lors de la Conférence internationale annuelle sur les systèmes, applications et services mobiles.

Réflexion sur les réflexions

Les techniques radar traditionnelles envoient des signaux à ondes millimétriques et reçoivent des réflexions de l'environnement pour détecter des objets cachés ou éloignés, une technique appelée rétroprojection.

Cette méthode fonctionne bien pour les gros objets, comme un avion masqué par des nuages, mais la résolution de l’image est trop grossière pour les petits objets comme les gadgets de cuisine qu’un robot pourrait avoir besoin d’identifier.

En étudiant ce problème, les chercheurs du MIT ont constaté que les techniques de rétroprojection existantes négligent une propriété importante appelée spécularité. Lorsqu'un système radar émet des ondes millimétriques, presque chaque surface frappée par les ondes agit comme un miroir, générant des réflexions spéculaires.

Si une surface est pointée vers l'antenne, le signal sera réfléchi par l'objet vers l'antenne, mais si la surface est pointée dans une direction différente, la réflexion s'éloignera du radar et ne sera pas reçue.

« En nous appuyant sur la spécularité, notre idée est d’essayer d’estimer non seulement l’emplacement d’un reflet dans l’environnement, mais aussi la direction de la surface à ce point », explique Dodds.

Ils ont développé mmNorm pour estimer ce qu'on appelle une normale de surface, qui est la direction d'une surface à un point particulier de l'espace, et utilisent ces estimations pour reconstruire la courbure de la surface à ce point.

En combinant les estimations de normales de surface à chaque point de l'espace, mmNorm utilise une formulation mathématique spéciale pour reconstruire l'objet 3D.

Les chercheurs ont créé un prototype mmNorm en fixant un radar à un bras robotisé, qui prend des mesures en continu tout en se déplaçant autour d'un objet caché. Le système compare l'intensité des signaux reçus à différents endroits pour estimer la courbure de la surface de l'objet.

Par exemple, l'antenne recevra les réflexions les plus fortes provenant d'une surface pointée directement vers elle et les signaux les plus faibles provenant de surfaces qui ne font pas directement face à l'antenne.

Étant donné que plusieurs antennes du radar reçoivent une certaine quantité de réflexion, chaque antenne « vote » sur la direction de la normale à la surface en fonction de la force du signal qu’elle a reçu.

« Certaines antennes peuvent avoir un vote très fort, d'autres un vote très faible, et nous pouvons combiner tous les votes pour produire une normale de surface qui est acceptée par tous les emplacements d'antennes », explique Dodds.

De plus, comme mmNorm estime la normale de surface à partir de tous les points de l'espace, il génère de nombreuses surfaces possibles. Pour identifier la bonne, les chercheurs ont emprunté des techniques d'infographie, créant une fonction 3D qui choisit la surface la plus représentative des signaux reçus. Ils l'utilisent pour générer une reconstruction 3D finale.

Détails plus fins

L'équipe a testé la capacité de mmNorm à reconstruire plus de 60 objets aux formes complexes, comme l'anse et la courbe d'une tasse. Les reconstructions ont été générées avec environ 40 % d'erreur en moins que les approches les plus modernes, tout en estimant la position d'un objet avec plus de précision.

Leur nouvelle technique permet également de distinguer plusieurs objets, comme une fourchette, un couteau et une cuillère cachés dans une même boîte. Elle s'est également avérée efficace pour les objets fabriqués à partir de divers matériaux, notamment le bois, le métal, le plastique, le caoutchouc et le verre, ainsi que pour les combinaisons de matériaux, mais elle est inefficace pour les objets dissimulés derrière du métal ou des murs très épais.

« Nos résultats qualitatifs parlent d'eux-mêmes. Et l'ampleur des améliorations constatées facilite le développement d'applications utilisant ces reconstructions 3D haute résolution pour de nouvelles tâches », explique Boroushaki.

Par exemple, un robot peut distinguer plusieurs outils dans une boîte, déterminer la forme et l'emplacement précis du manche d'un marteau, puis planifier sa prise et son utilisation. On pourrait également utiliser mmNorm avec un casque de réalité augmentée, permettant à un ouvrier d'usine de voir des images réalistes d'objets entièrement masqués.

Il pourrait également être intégré dans des applications de sécurité et de défense existantes, générant des reconstructions plus précises d'objets dissimulés dans les scanners de sécurité des aéroports ou lors de reconnaissances militaires.

Les chercheurs souhaitent explorer ces applications et d'autres applications potentielles dans leurs travaux futurs. Ils souhaitent également améliorer la résolution de leur technique, optimiser ses performances pour les objets moins réfléchissants et permettre aux ondes millimétriques d'imager efficacement à travers des occlusions plus épaisses.

« Ces travaux représentent un véritable changement de paradigme dans notre façon d'appréhender ces signaux et ce processus de reconstruction 3D. Nous sommes impatients de voir comment les connaissances acquises ici pourront avoir un impact considérable », déclare Dodds.

Ce travail est soutenu, en partie, par la National Science Foundation, le MIT Media Lab et Microsoft.

https://news.mit.edu/2025/new-imaging-technique-reconstructs-hidden-object-shapes-0701