Skip to main content

4 Juil, 2023

Des scientifiques reconstruisent des images 3D à partir de ce que vous regardez

Des scientifiques reconstruisent des images 3D à partir de ce que vous regardez

La criminalistique de la télévision sauvage commence à paraître plus plausible.

Nous pourrions bientôt devoir à Hollywood des excuses pour certaines de ses ridicules analyses médico-légales . Des chercheurs de l’Université du Maryland ont développé une technique étrange qui peut reconstruire des images 3D à partir des reflets dans vos yeux, en s’appuyant sur un modèle de réseau neuronal appelé champs de rayonnement neuronal (NeRF).

Sur leur site Web , les chercheurs présentent certaines de leurs réalisations impressionnantes, comme le calcul d’un rendu 3D flou mais reconnaissable d’un jouet Kirby reflété dans l’œil d’un sujet. Ils ont également réussi à rendre primitivement des scènes simples, comme une salle de classe.

Cependant, les scénaristes de télévision ne sont pas encore justifiés. Les photos qu’ils ont prises sont en très haute résolution – comme à partir d’un appareil photo de smartphone très net – et ont été méticuleusement orchestrées. Une autre contrainte ? Les conditions d’éclairage doivent être très, très spécifiques.

Une tentative plus ambitieuse qui utilise des images provenant de sources du monde réel illustre mieux une certaine marge d’amélioration.

Admirablement, les chercheurs ont tenté de reconstituer ce qui se reflétait dans les yeux de Miley Cyrus et Lady Gaga dans leurs clips, mais au mieux, leurs résultats n’ont révélé que des formes noires nébuleuses. Une forme, affirment-ils, ressemble en quelque sorte à la partie supérieure du torse.

L’énigme de la cornée

C’est quand même un travail impressionnant et très intelligent. Selon une étude pré-imprimée sur le projet, la plupart des applications de NeRF nécessitent plusieurs caméras mobiles capturant une scène pour générer un rendu 3D. Cette nouvelle technique ne nécessite qu’une seule caméra fixe et un globe oculaire.

Les chercheurs ont profité de la géométrie de la cornée humaine, qui est « approximativement » la même pour les adultes en bonne santé. Ce fait pratique leur a permis de mesurer le nombre de pixels qu’une cornée occupe dans une image et de l’utiliser pour positionner les yeux dans l’espace.

Faire cela avec précision, cependant, est un défi majeur, et les iris colorés qui obscurcissent massivement les reflets compliquent davantage les choses. Bien qu’ils aient leurs méthodes pour contourner quelque peu ces obstacles, ils sont loin d’être parfaits.

Donc, en d’autres termes, ce n’est pas tout à fait l’étoffe d’une scène « CSI » (Crime Scene Investigation: série américaine à la télévision) qui peut deviner un reflet du globe oculaire à partir d’horribles images de vidéosurveillance – mais cela pourrait bien y arriver.

https://futurism.com/the-byte/scientists-reconstruct-reflection-eye