L'IA, l'infographie et l'optique ondulatoire se combinent pour des affichages VR/AR holographiques plus réalistes.

Illustration conceptuelle des recherches de l'Université de Hong Kong sur les écrans holographiques. En combinant la génération d'hologrammes par maillage, qui préserve la géométrie 3D et la profondeur, avec HoloPathTracer, qui modélise le transport de la lumière et l'apparence des matériaux, ces travaux visent à produire des expériences de réalité virtuelle/augmentée holographiques plus réalistes, avec des repères de mise au point naturels et des effets visuels dépendant du point de vue. Crédit : Université de Hong Kong

En combinant l'infographie, l'optique ondulatoire et l'étalonnage basé sur l'IA, des chercheurs de l'Université de Hong Kong (HKU) ont développé deux techniques qui aident les écrans holographiques à reproduire des changements plus naturels de mise au point, de perspective et d'apparence des matériaux.

Sous la direction du professeur Yifan Evan Peng du département de génie électrique et informatique de la faculté d'ingénierie de l'université de Hong Kong, l'équipe associe des modèles informatiques 3D à des calculs de la propagation et des interférences de la lumière. Une technique préserve la géométrie et la profondeur d'une scène lors de sa transformation en hologramme ; l'autre suit le parcours de la lumière, de sa réflexion à sa diffusion dans la scène.

Démontrées à travers des simulations informatiques et des prototypes d'affichage en laboratoire, les méthodes abordent un défi clé pour la réalité virtuelle et augmentée (RV/RA) future : transformer des mondes numériques détaillés en expériences visuelles tridimensionnelles convaincantes.

Plus qu'une image 3D

Lorsqu'on regarde autour de soi dans une pièce, les objets proches et éloignés apparaissent nets à des distances différentes. Des surfaces cachées sous un angle apparaissent sous un autre, et les reflets se déplacent sur les matériaux brillants. Les écrans holographiques visent à reproduire ces repères familiers en reconstruisant les ondes lumineuses, plutôt qu'en présentant simplement une image plane.

Mais le calcul de ces ondes est complexe. De nombreuses méthodes existantes commencent par décrire une scène à l'aide d'images prises à des profondeurs ou des points de vue spécifiques, puis convertissent ces images en un hologramme. Des informations importantes peuvent se perdre entre ces deux étapes, entraînant des modifications artificielles du flou, une visibilité incorrecte ou des effets visuels qui ne fonctionnent que depuis certains points de vue.

Illustration conceptuelle d'une future expérience de réalité augmentée holographique, où un objet virtuel tridimensionnel s'intègre naturellement au monde réel. Les progrès en matière de génération d'hologrammes visent à reproduire la profondeur, la mise au point, les changements de point de vue et l'apparence des matériaux de manière réaliste sur des écrans légers placés près des yeux. Crédit : Université de Hong Kong

Préserver la scène intacte

Dans une étude publiée dans Nature Communications , les chercheurs utilisent des maillages polygonaux – des surfaces interconnectées servant à construire des modèles 3D en animation, en ingénierie et en visualisation scientifique. Ceci permet au calcul de l'hologramme de disposer d'une description des surfaces et de la profondeur de la scène, et non d'une simple collection d'images planes.

« L’utilisation de maillages nous permet de conserver la structure 3D d’une scène tout au long de la génération de l’hologramme », a déclaré Xiangyu Meng, co-premier auteur des deux études.

L'équipe s'intéresse également à d'autres aspects que la simple luminosité de l'image. Son optimisation préserve à la fois l'amplitude de l'onde lumineuse, qui détermine son intensité, et sa phase, qui décrit sa position au sein d'un cycle d'oscillation. Ensemble, ces éléments permettent de définir la propagation de la lumière et la formation de l'image à différentes profondeurs.

L'étalonnage basé sur l'IA permet de réduire l'écart entre le calcul et l'affichage réel. À partir des mesures de la caméra, un modèle d'apprentissage corrige les imperfections du système optique. Lors de tests en laboratoire, cette approche a permis d'obtenir des transitions de mise au point plus fluides et des détails d'image plus nets, tout en rendant visibles, depuis un autre point de vue, des objets invisibles depuis un autre.

Crédit : HoloPathTracer génère des hologrammes à partir de scènes 3D complexes et reconstruit des indices de profondeur et de mise au point réalistes grâce à divers effets visuels. ACM Transactions on Graphics (2026). DOI : 10.1145/3811351

En suivant la lumière

Dans la seconde étude , publiée dans ACM Transactions on Graphics , HoloPathTracer s'attaque à un autre défi : l'interaction de la lumière avec les matériaux. Un miroir reflète la scène environnante, le verre dévie la lumière qui le traverse et une surface brillante envoie des quantités de lumière différentes dans différentes directions.

Pour reproduire ces effets, les chercheurs combinent le lancer de rayons, une technique d'infographie qui suit la lumière dans une scène virtuelle, avec l'optique ondulatoire. Au lieu de calculer uniquement la luminosité d'une image, la méthode conserve également les informations de phase nécessaires à la formation d'un hologramme.

« HoloPathTracer modélise plus en détail la façon dont la lumière interagit physiquement avec la géométrie et les matériaux de la scène », a déclaré Wenbin Zhou, co-premier auteur des deux études.

Les hologrammes obtenus reproduisent des effets tels que les réflexions, les réfractions, les variations de luminosité et l'éclairage indirect, ainsi que les changements naturels de mise au point et de point de vue. L'équipe réduit également les calculs répétitifs en réutilisant les trajets lumineux lors de la génération de plusieurs hologrammes pour un affichage successif et en mettant en cache des éléments de l'éclairage de la scène.

Vers des affichages quotidiens

Ces deux études abordent différents aspects d'un même objectif. L'approche par maillage offre une méthode calibrée pour passer de modèles 3D classiques à des images holographiques, tandis que HoloPathTracer étend les possibilités de ces images en modélisant des interactions plus complexes entre la lumière et les matériaux.

Ces travaux en sont encore au stade de prototype de recherche. Les applications grand public en temps réel nécessiteront une puissance de calcul plus rapide et de nouvelles avancées au niveau des modulateurs spatiaux de lumière (les dispositifs qui façonnent la lumière dans un affichage holographique) et des systèmes optiques environnants.

« Nous pensons que cette orientation pourrait contribuer à créer des expériences holographiques plus naturelles et visuellement réalistes pour les futurs systèmes de réalité virtuelle et de réalité augmentée », a déclaré Peng.

https://dx.doi.org/10.1038/s41467-026-74557-0

https://dx.doi.org/10.1145/3811351

https://techxplore.com/news/2026-11-ai-graphics-optics-combine-realistic.html