Au sein d’une collaboration de plusieurs années permettant une inspection plus rapide et plus précise des composants, pour tous les secteurs, des automobiles aux semi-conducteurs.
Un soir de 2010, Mohit Gupta décida de tenter quelque chose avant de quitter le laboratoire. Alors doctorant à l’université Carnegie Mellon, Gupta achevait son stage dans une entreprise manufacturière de Boston. Il avait passé des mois à développer un système utilisant des caméras et des sources lumineuses pour créer des images 3D de petits objets.
« Je voulais le tester en conditions extrêmes, juste pour le plaisir », a déclaré Gupta, qui allait commencer ses recherches postdoctorales à l’école d’ingénierie de Columbia quelques mois plus tard.
Il a plié une feuille de papier en forme de cône et l’a placée sous les lumières et les caméras. Lorsque le cône était orienté vers le système, celui-ci en a parfaitement reproduit la forme. Mais dès que la lumière pénétrait à l’intérieur du cône, le système dysfonctionnait.
Le problème, selon Gupta, résidait dans la réflexion de la lumière sur les parois du cône. Ces « interréflexions » ajoutaient des sources de lumière que le système n’était pas conçu pour gérer.
Mohit Gupta
Il était loin d’être le premier chercheur à se heurter à ce problème. Cinq ans auparavant, Shree Nayar , aujourd’hui professeur TC Chang d’informatique à l’école d’ingénierie de Columbia, avait publié un article explorant une solution possible.
« Cet article a semé une graine dans mon esprit », a déclaré Gupta , aujourd’hui professeur d’informatique à l’Université du Wisconsin-Madison. « Il m’a fait penser qu’il existait peut-être un moyen de résoudre le problème de l’interréflexion à grande échelle. »
Après avoir obtenu son doctorat, Gupta a rejoint l’école d’ingénieurs de Columbia et l’équipe de recherche de Nayar, le Laboratoire d’imagerie et de vision de Columbia ( CAVE ). En quelques mois seulement, les ingénieurs ont mis au point une solution révolutionnaire qui a transformé le domaine de l’inspection visuelle. Aujourd’hui, la technologie issue de leurs travaux est utilisée dans des usines du monde entier.
Shree Nayar
« Dans un laboratoire de recherche universitaire, nous avons tendance à aborder les problèmes d’un point de vue académique plutôt que du point de vue d’un acteur du secteur industriel », a déclaré Nayar. « C’est donc particulièrement gratifiant de constater que l’un de nos résultats a un impact direct sur la fabrication de nombreux produits largement utilisés dans la société. »
Résolution du problème de réflexion
Les fabricants produisent chaque année plus d’un billion de composants électroniques. Nombre de ces produits, comme les puces et les cartes de circuits imprimés, sont petits et complexes, et ne tolèrent aucune erreur. Une erreur d’à peine un micron peut rendre une carte entière inutilisable. Si les problèmes ne sont pas détectés dès les premières étapes de la fabrication, ils peuvent s’avérer très coûteux pour les entreprises et leurs clients.
Au début des années 2000, l’électronique était devenue si miniaturisée et compacte que les fabricants ont commencé à utiliser des systèmes informatisés employant des caméras et des projecteurs de lumière pour mesurer la structure 3D des composants. Ce nouveau secteur, appelé inspection visuelle automatisée, a développé des systèmes d’imagerie sophistiqués capables d’inspecter les puces et les cartes électroniques très complexes présentes dans des produits grand public tels que les téléphones, les ordinateurs et les voitures.
L’industrie de l’inspection visuelle automatisée, qui pèse aujourd’hui des milliards de dollars, s’appuie traditionnellement sur la technique de la lumière structurée pour créer des images 3D haute résolution des composants. Cependant, cette technique est devenue moins efficace avec la miniaturisation des composants électroniques. L’une des raisons est que ces composants, très rapprochés, ont tendance à réfléchir la lumière les uns sur les autres. Les systèmes automatisés étant conçus pour mesurer la lumière émise par des projecteurs, ces réflexions parasites peuvent engendrer des erreurs importantes dans les images 3D.
En 2012, Nayar et Gupta ont mis au point une nouvelle méthode d’imagerie insensible à ces effets optiques. Ils ont démontré qu’en projetant des motifs lumineux dans une bande de fréquences étroite, les méthodes de lumière structurée pouvaient être rendues robustes face à des phénomènes tels que les interréflexions.
Leur méthode, appelée Micro Phase Shifting (MPS), présentée lors d’une conférence majeure en vision par ordinateur (IEEE CVPR – Conference on Computer Vision and Pattern Recognition), a démontré une précision sans précédent dans les images 3D produites. Appliquée aux circuits imprimés, cette méthode permet de reconstruire des cartes de profondeur avec une précision micrométrique, ouvrant ainsi la voie à une imagerie 3D précise et rapide, précieuse dans de nombreux secteurs de la fabrication.
Mise à l’échelle de la technologie
En 2018, Omron , une entreprise leader sur le marché de l’automatisation industrielle et de la vision industrielle, a acquis la licence de la technologie MPS auprès de Columbia et a développé un système d’inspection lancé en 2020. Ce produit est désormais utilisé par plusieurs grands constructeurs automobiles et d’électronique grand public.
La méthode d’imagerie 3D à micro-déphasage de Columbia en action dans un système d’inspection visuelle développé par Omron
Le Dr Masaki Suwa, directeur de la recherche et du développement chez Omron et président-directeur général d’OMRON SINIC X Corporation, a déclaré : « Nos solutions d’inspection optique automatisée (AOI) jouent un rôle essentiel pour garantir la qualité des circuits imprimés. La technologie MPS de Columbia, robuste face aux réflexions parasites lors de l’inspection de surfaces réfléchissantes telles que les joints de soudure, les puces et les surfaces de composants, s’est avérée indispensable à une inspection 3D fiable. Avec la miniaturisation croissante des composants électroniques, une technologie comme la MPS, capable de capturer les formes 3D avec une grande précision, deviendra de plus en plus importante pour la fabrication des circuits imprimés. »
Il est rare qu’une technologie développée dans un laboratoire universitaire soit adoptée à grande échelle dans un domaine aussi dynamique et exigeant que l’automatisation industrielle.
« La commercialisation réussie de la technologie Micro Phase Shifting souligne à la fois la force de la recherche fondamentale créative de Columbia et la valeur d’une collaboration étroite entre le monde universitaire et l’industrie pour intégrer des innovations révolutionnaires dans des environnements de fabrication réels », a déclaré Ofra Weinberger, directrice de Columbia Technology Ventures à l’Université Columbia.
« Lorsque nous avons entamé ce projet de recherche, nous étions motivés par une question fondamentale : comment obtenir des informations 3D précises lorsque la lumière se comporte de manière complexe et non idéale ? » explique Gupta. « Nous avons démontré qu’en codant intelligemment la lumière, il était possible de séparer le véritable signal 3D du bruit dû aux interréflexions – un problème non résolu de longue date en imagerie 3D. Voir cette idée se transformer en une méthode déployée à grande échelle pour contribuer à garantir la fiabilité des technologies critiques a été un moment fort de ma carrière. »
En créant une approche adoptée par l’industrie, les chercheurs ont démontré la valeur de la recherche universitaire pour apporter des idées nouvelles et une réflexion rigoureuse au monde des affaires.
« Les chercheurs universitaires explorent un large éventail de problèmes, allant des questions théoriques visant à faire progresser les connaissances du domaine aux solutions novatrices à des problèmes pratiques connus », a déclaré Nayar. « C’est passionnant de voir l’une de nos innovations résoudre un problème crucial dans la fabrication de produits que nous utilisons quotidiennement. »
