Amélioration des images générées par l’IA, pixel par pixel

Des chercheurs de l’Université de Rochester et de NVIDIA développent de nouveaux modèles qui permettent un contrôle au niveau du pixel de la génération d’images par IA.

Si vous avez déjà utilisé un générateur de texte en image basé sur l’intelligence artificielle comme ChatGPT ou Google Gemini, vous avez peut-être rencontré un problème courant mais exaspérant : l’image semble presque parfaite, mais lorsque vous demandez à l’IA de corriger un petit détail, elle en altère un autre qui n’a rien à voir.

Le problème vient de la façon dont les modèles d’IA sont construits. La plupart des générateurs d’images IA les plus performants utilisent un modèle de diffusion dans l’espace latent ; autrement dit, ils compressent des concepts comme un chat ou un chien en leurs détails essentiels et les stockent afin de pouvoir les récupérer rapidement et efficacement lors de la création d’une image. C’est en partie ce qui confère à ces modèles leur capacité apparemment magique à générer les images que vous décrivez en quelques secondes. Mais cette méthode a ses inconvénients.

« L’utilisation de l’espace latent permet de réduire la charge de calcul, mais le problème est que l’on perd en précision car on ne peut plus ajuster chaque pixel individuellement », explique Jiebo Luo , professeur d’ingénierie Albert Arendt Hopeman à l’ Université de Rochester . « De ce fait, il est difficile de contrôler des parties spécifiques des images générées. »

Développé par des chercheurs de l’Université de Rochester et de NVIDIA, PixelDiT2 met en œuvre efficacement la diffusion dans l’espace des pixels pour atteindre des performances presque identiques à celles des modèles de pointe, tout en offrant un contrôle sur les pixels individuels.

Repenser la génération d’images au niveau du pixel

Le laboratoire de Luo et ses collaborateurs de NVIDIA, entreprise spécialisée dans l’infrastructure d’IA, ont été parmi les premiers à développer un modèle, baptisé PixelDiT , qui remplace l’espace latent par l’espace des pixels. Ils ont présenté leur première version lors de la conférence IEEE/CVF 2026 sur la vision par ordinateur et la reconnaissance des formes (CVPR), où elle a été finaliste pour le prix du meilleur article , décerné à seulement 15 des plus de 4 000 articles acceptés. Ce modèle permet aux utilisateurs de se concentrer sur certaines zones d’une image, par exemple en corrigeant uniquement les pixels qui représentent une paire de lunettes sur le visage d’une personne ou en ajustant la couleur d’une voiture.

L’équipe a depuis créé un modèle encore plus performant, PixelDiT2, qui implémente la diffusion dans l’espace des pixels de manière efficace, atteignant des performances quasi identiques à celles des modèles d’espace latent de pointe, tout en offrant un contrôle précis sur chaque pixel. L’équipe présentera un article sur PixelDiT2 lors de la conférence NeurIPS (Neural Information Processing Systems ) en décembre prochain.

Luo et ses collaborateurs, parmi lesquels Yongsheng Yu, doctorant en informatique et stagiaire chez NVIDIA, ainsi que Wei Xiong, ancien élève de la promotion 2022 (doctorat en informatique) et chercheur principal chez NVIDIA, se sont désormais intéressés à un problème encore plus difficile : la génération vidéo.

« La vidéo représente un défi de taille, car il faut veiller à la fluidité des transitions entre les images ; sinon, le résultat est étrange à l’œil nu », explique Luo. « De plus, on a beaucoup plus de données à traiter. »

Mais Luo affirme que les progrès réalisés par l’équipe avec PixelDiT2 la placent en bonne position pour poursuivre la génération de vidéos par IA dans l’espace pixel, ce qui offrirait aux utilisateurs de nouveaux niveaux de contrôle puissants sur les vidéos qu’ils génèrent.

https://www.rochester.edu/newscenter/how-to-fix-ai-generated-images-pixel-by-pixel-728132/