Un nouvel outil offre un contrôle direct de l'éclairage pour les photographies à l'aide de la modélisation de scènes 3D
infohightech ·
L'éclairage joue un rôle crucial dans la narration visuelle. Qu'il s'agisse de cinéma ou de photographie, les créateurs consacrent d'innombrables heures, et souvent des budgets conséquents, à créer l'éclairage parfait pour leur prise de vue. Mais une fois la photo ou la vidéo prise, l'éclairage est quasiment fixe. Son ajustement ultérieur, appelé « relighting » ou « rééclairage », exige généralement un travail manuel fastidieux de la part d'artistes qualifiés.
Bien que certains outils d'IA générative tentent de s'attaquer à cette tâche, ils s'appuient sur des réseaux neuronaux à grande échelle et des milliards d'images d'entraînement pour deviner comment la lumière pourrait interagir avec une scène. Mais le processus est souvent une boîte noire ; les utilisateurs ne peuvent pas contrôler directement l'éclairage ni comprendre comment le résultat a été généré, ce qui conduit souvent à des résultats imprévisibles qui peuvent s'écarter du contenu original de la scène. Obtenir le résultat escompté nécessite souvent une ingénierie rapide et des essais-erreurs, ce qui entrave la créativité de l'utilisateur.
Dans un nouvel article présenté lors de la conférence SIGGRAPH de cette année à Vancouver, des chercheurs du laboratoire de photographie computationnelle de la SFU (Simon Fraser University) au Canada, proposent une approche différente du rééclairage. Leur travail, intitulé « Physically Controllable Relighting of Photographs », permet d'appliquer un contrôle explicite des lumières, généralement disponibles dans les logiciels d'infographie tels que Blender ou Unreal Engine, à la retouche d'images et de photos.
À partir d'une photographie, la méthode commence par estimer une version 3D de la scène. Ce modèle 3D représente la forme et les couleurs de surface de la scène, en excluant volontairement tout éclairage. La création de cette représentation 3D est rendue possible par des travaux antérieurs, notamment des recherches menées au Laboratoire de photographie computationnelle.
Crédit : Université Simon Fraser
« Après avoir créé la scène 3D, les utilisateurs peuvent y placer des sources lumineuses virtuelles, comme ils le feraient dans un vrai studio photo ou un logiciel de modélisation 3D », explique Chris Careaga, doctorant à la SFU et auteur principal de l'étude. « Nous simulons ensuite de manière interactive les sources lumineuses définies par l'utilisateur grâce à des techniques éprouvées en infographie. »
Le résultat est un aperçu approximatif de la scène sous le nouvel éclairage, mais il ne semble pas tout à fait réaliste en soi, explique Careaga. Dans cette nouvelle étude, les chercheurs ont développé un réseau neuronal capable de transformer cet aperçu approximatif en une photographie réaliste.
« Notre approche est unique car elle offre aux utilisateurs le même type de contrôle de l'éclairage que celui que l'on attend d'outils 3D comme Blender ou Unreal Engine », ajoute Careaga. « En simulant les lumières, nous garantissons un rendu physiquement fidèle de l'éclairage souhaité par l'utilisateur. »
Leur approche permet d'insérer de nouvelles sources lumineuses dans les images et de les faire interagir de manière réaliste avec la scène . Il en résulte la possibilité de créer des images ré-éclairées jusqu'alors impossibles à obtenir.
Crédit : Université Simon Fraser
Le système de rééclairage de l'équipe fonctionne actuellement avec des images statiques, mais l'équipe souhaite étendre la fonctionnalité à la vidéo à l'avenir, ce qui en ferait un outil précieux pour les artistes VFX et les cinéastes.
Crédit : Université Simon Fraser
« À mesure que cette technologie se développe, elle pourrait faire gagner beaucoup de temps et d'argent aux cinéastes indépendants et aux créateurs de contenu », explique le Dr Yağız Aksoy, responsable du laboratoire de photographie computationnelle de la SFU. « Au lieu d'acheter du matériel d'éclairage coûteux ou de refaire des scènes, ils peuvent apporter des modifications d'éclairage réalistes après coup, sans avoir à filtrer leur vision créative par un modèle d'IA générative. »
Cet article est le dernier d'une série de projets de recherche « sensibilisés à l'éclairage » menés par le Laboratoire de photographie computationnelle. Les travaux antérieurs du groupe sur la décomposition intrinsèque jettent les bases de leur nouvelle méthode de rééclairage, et ils expliquent comment tout cela fonctionne dans leur vidéo explicative.