De gauche à droite : (1) Dégradations simples, (2) Dégradations doubles, (3) Dégradations triples, (4) Dégradation complexe de quatrième ordre. Chaque sous-image montre l’entrée dégradée (à gauche) et la sortie restaurée (à droite) à l’aide de GenR pour le type de dégradation spécifié. Crédit : Institut indien de technologie de Gandhinagar (IITGN) et Institut indien de technologie de l’Université hindoue de Bénarès (IIT BHU), Inde.
Imaginez retrouver une très vieille photo de famille, décolorée par le temps. Des parties de l’image ont disparu, les visages sont flous et des années passées dans un album en carton ont effacé de nombreux détails. Restaurer une telle image de manière traditionnelle exigerait un travail manuel minutieux ou un logiciel spécialisé entraîné sur des milliers d’exemples.
Les visages humains comportent des détails essentiels à la reconnaissance et à l’interprétation, tels que les yeux, la bouche, le nez, la ligne des cheveux et le grain de peau. La restauration précise de ces détails devient complexe lorsqu’une image est dégradée. Un système de restauration d’image ne doit pas se limiter à améliorer la netteté ; il doit également préserver les structures faciales et l’identité des personnes représentées.
De plus, les images du monde réel peuvent souffrir simultanément de plusieurs problèmes, tels que le bruit (par exemple, des variations aléatoires de luminosité ou de couleur), des zones manquantes, le flou et des artefacts de compression (distorsions visuelles dues à l’enregistrement répété d’images dans des formats compressés pour réduire la taille des fichiers). Imaginez-vous résoudre un puzzle visuel complexe aux nombreuses pièces !
Plusieurs méthodes de restauration d’images basées sur l’intelligence artificielle (IA) reposent largement sur l’apprentissage supervisé. Elles utilisent de vastes ensembles d’images appariées, chaque paire comprenant une image saine et une image dégradée artificiellement (ensemble d’entraînement). Bien qu’efficace, cette approche présente des limites. La collecte d’ensembles de données d’entraînement adaptés à chaque type de dommage possible est coûteuse et souvent impossible. De plus, comme mentionné précédemment, les images réelles peuvent présenter simultanément plusieurs types de dégradation, créant des conditions très différentes de celles des images utilisées pour l’entraînement.
Et si un outil pouvait reconstruire automatiquement les visages sur des images, même sans avoir jamais vu d’images endommagées similaires ? Des chercheurs de l’Institut indien de technologie de Gandhinagar (IITGN) et de l’Institut indien de technologie de BHU ont développé GenR (Generative Latent Inversion for Blind Face Restoration), un système de restauration faciale basé sur l’IA qui ne nécessite pas de données d’entraînement appariées. Il utilise un puissant modèle de génération de visages pour imaginer des versions intactes possibles d’une image endommagée et les affine progressivement jusqu’à ce que le visage généré corresponde aux éléments visuels disponibles.
Leur étude a été publiée dans la revue Pattern Recognition Letters .
GenR : une nouvelle approche
GenR effectue une inversion basée sur StyleGAN3. StyleGAN3 est un système d’IA puissant qui génère des images réalistes en convertissant du code en image. L’inversion basée sur StyleGAN3 consiste à déterminer précisément le code nécessaire pour recréer une image réelle donnée. Ce code donne accès à des paramètres permettant de modifier l’image de manière réaliste.
Imaginez une photo granuleuse et pixélisée d’un braqueur de banque, prise par une vieille caméra de surveillance. GenR a le potentiel de reconstituer une image nette et haute définition du visage du braqueur, que la police pourrait ensuite analyser avec un logiciel de reconnaissance faciale moderne.
GenR intègre un processus d’optimisation en trois étapes. Le modèle commence par capturer la structure globale et les caractéristiques principales, telles que l’identité et la pose. Ensuite, il affine l’image en ajustant des éléments spécifiques, comme les yeux, le nez et la mâchoire. Enfin, il se concentre sur les textures et les détails fins, produisant une peau et des cheveux réalistes, ainsi que d’autres caractéristiques visuelles subtiles.
« Un modèle peut s’efforcer excessivement d’améliorer une image dégradée et, ce faisant, inventer des détails qui ne font pas partie du visage original. C’est un exemple classique de surapprentissage. Le passage progressif d’une structure grossière à des détails fins vise à minimiser ce risque de surapprentissage dans GenR », a expliqué Akbar Ali, doctorant en quatrième année au département d’informatique et d’ingénierie de l’IITGN. Ali est le premier auteur de cette étude.
« Cette approche évalue une image d’une manière similaire à celle dont l’œil humain l’analyserait. Elle vise à obtenir un résultat final net, réaliste et parfaitement reconnaissable. »
L’équipe a évalué les performances de l’outil sur quatre tâches de dégradation d’images uniques et multiples :
- Le débruitage consistait à supprimer le bruit visuel aléatoire ;
- Le suréchantillonnage consistait à convertir des images basse résolution en versions plus nettes ;
- Le « inpainting », ou la réparation des parties manquantes, consistait à endommager intentionnellement une image en en recouvrant certaines parties, puis à la « réparer » pour que le résultat final soit réaliste ;
- Le désartificiage vise à améliorer la qualité de l’image en corrigeant le flou et la pixellisation.
Les résultats indiquent que GenR améliore systématiquement l’aspect visuel des images, démontrant ainsi son efficacité dans un large éventail de scénarios de dégradation. Pour les tâches de dégradation unique, le pipeline produit une image nette en une trentaine de secondes, ce qui en fait l’une des méthodes les plus rapides parmi les plus performantes actuellement disponibles.
L’une des limites de cet outil est sa capacité à générer des images nettes et réalistes qui ne correspondent pas à la personne d’origine lorsque l’image originale est fortement endommagée. De plus, le réglage de nombreux paramètres complexes peut amener l’outil à mémoriser des détails spécifiques avec une précision excessive, ce qui conduit à des résultats irréalistes, à moins d’utiliser une régularisation stricte.
Parmi les applications potentielles, on peut citer la préservation de photographies et de films historiques, ainsi que l’aide à l’analyse médico-légale grâce à des reconstructions faciales plus précises. GenR pourrait également améliorer la qualité d’image pour des plateformes telles que la visioconférence et les réseaux sociaux.
Selon le Dr Shamuganathan Raman, « GenR représente une avancée significative dans la restauration des visages chez les personnes aveugles. Il est intéressant de constater que ce cadre offre une alternative flexible et économe en données aux méthodes supervisées traditionnelles. Des systèmes comme GenR pourraient jouer un rôle crucial pour redonner vie aux images. Les travaux futurs pourraient se concentrer sur des modèles visant à améliorer la robustesse et la généralisation. »
Raman est professeur aux départements d’informatique et d’ingénierie (CSE) et de génie électrique. Il dirige également le département d’informatique et est le chercheur principal du laboratoire de vision par ordinateur, d’imagerie et de graphisme (CVIG). L’équipe comprenait également le Dr Indra Deep Mastan, maître de conférences au département d’informatique et d’ingénierie de l’IIT BHU.
Raman a également participé à une étude sur la génération de vidéos à partir de texte. Publiée dans les actes de la conférence d’hiver IEEE/CVF 2026 sur les applications de la vision par ordinateur, cette étude propose une approche ne nécessitant aucun apprentissage pour générer des vidéos à partir de texte.
Video-ASTAR : un nouveau cadre
Imaginez demander à une IA de générer une vidéo à partir de la consigne : « Une fille court dans un parc avec un ballon rose à la main et regarde un chaton brun assis près d’un arbre. » Un système classique peut produire une vidéo de bonne qualité, mais avec des détails incohérents : le ballon pourrait passer du rose au bleu ou l’arbre pourrait disparaître, entre autres. En effet, face à plusieurs éléments ou concepts dans la consigne, l’IA peut ne pas accorder suffisamment d’attention à l’un d’eux au fil du temps, ce qui entraîne la modification de l’objet correspondant dans la scène générée.
Pour résoudre ce problème, les chercheurs ont proposé une nouvelle approche, Video-ASTAR, qui vise à lier les éléments visuels, comme le ballon rose (de l’exemple ci-dessus), aux mots qui les décrivent dans l’invite.
Il s’agit de suivre les objets individuellement et leurs relations d’une image à l’autre, plutôt que d’être submergé par les détails, afin que la vidéo générée reste fidèle à la description originale. L’équipe comprenait également le Dr Prajwal Singh, chercheur postdoctoral au laboratoire CVIG (IITGN), ainsi que les Drs Kuldeep Kulkarni et Harsh Rangwani, chercheurs chez Adobe Research, en Inde.
À l’approche de la Journée mondiale de la photographie, le 19 août, des innovations telles que GenR soulignent le rôle crucial des outils d’intelligence artificielle dans la préservation du patrimoine visuel. Ces outils peuvent contribuer aux efforts de préservation du patrimoine numérique à l’échelle nationale et internationale. Ce travail s’inscrit pleinement dans la vision de la mission IndiaAI et du programme Digital India du gouvernement indien.
Elle fait également écho à l’initiative « Mémoire du monde » de l’UNESCO, qui souligne que le patrimoine documentaire mondial appartient à tous et doit être protégé pour tous.
À l’opposé, des systèmes comme Video-ASTAR mettent en lumière le rôle de l’IA dans la construction de souvenirs visuels sans qu’aucune photographie n’ait jamais été prise. Imaginez un grand-père racontant à ses petits-enfants comment il jouait à cache-cache avec son grand-père lorsqu’il avait 5 ans. Ces enfants n’ont aucune trace visuelle de la façon dont leur arrière-arrière-grand-père s’habillait, marchait ou parlait.
Dans ce cas, l’outil de conversion texte-vidéo pourrait traduire une description détaillée en une représentation visuelle, offrant ainsi aux petits-enfants la possibilité d’entrevoir ce qui n’existait que dans les souvenirs de leur grand-père. De cette manière, les souvenirs visuels pourraient se transmettre de génération en génération. L’IA pourrait donc nous être utile dans les deux sens, nous aidant à préserver les images héritées et à donner forme aux souvenirs restés sans support visuel.
https://techxplore.com/news/2026-08-stage-ai-rebuilds-blurred-facial.html
https://www.sciencedirect.com/science/article/pii/S016786552600142X
