En utilisant ORCa pour analyser les reflets sur cette maquette d’éléphant, les scientifiques ont pu obtenir des images de la pièce dans laquelle elle se trouvait

Il va sans dire que les caméras des voitures autopilotées ne peuvent pas voir les coins des bâtiments. Le système de vision par ordinateur ORCa pourrait toutefois leur permettre de le faire un jour… avec un peu d’aide de la part d’objets brillants qu’elles peuvent voir.

Acronyme de « Objects as Radiance-Field Cameras », ORCa est développé par des scientifiques du MIT et de l’université Rice.

Pour simplifier, la technologie analyse les reflets déformés à la surface des objets brillants afin d’obtenir une image plus claire de ce qui est reflété et de la distance à laquelle il se trouve. Dans le scénario de la voiture sans conducteur, la surface brillante d’un autre véhicule garé près d’une intersection (pour ne citer qu’un exemple) pourrait permettre de voir le trafic approchant dans la rue transversale.

Le système fonctionne en obtenant plusieurs images de l’objet brillant en question, chacune étant prise sous un angle légèrement différent lorsque la caméra s’approche de l’objet. Un logiciel basé sur l’apprentissage automatique décompose la réflexion sur la surface de l’objet en pixels individuels.

En analysant la manière dont ces pixels changent les uns par rapport aux autres entre les différentes images, le logiciel est capable de déterminer la forme de l’objet (ainsi que sa couleur et sa texture) et donc de compenser la manière dont il déforme le reflet.

En outre, en modélisant la scène réfléchie comme un champ de radiance 5D, ORCa est en mesure de déterminer la direction et l’intensité des rayons lumineux qui frappent ou sont émis par chaque point de la scène. Ces informations permettent à leur tour au système de déterminer la distance qui sépare chacun de ces points de la surface réfléchissante et les uns des autres.

« Nous avons montré que n’importe quelle surface peut être transformée en capteur grâce à cette formulation qui convertit les objets en pixels virtuels et en capteurs virtuels », explique Kushagra Tiwary, étudiant diplômé du MIT et co-auteur principal d’un article sur l’étude. « Cela peut être appliqué dans de nombreux domaines.

Outre son utilisation dans des applications telles que les systèmes d’évitement des collisions pour les voitures auto-conduites, la technologie peut également être utilisée dans les drones aériens. En analysant les reflets sur des objets brillants situés au sol, un drone pourrait obtenir une vue au niveau du sol de l’environnement qu’il survole.

https://arxiv.org/pdf/2212.04531.pdf

https://news.mit.edu/2023/using-reflections-shiny-objects-camera-0510