Ce n’est pas une photo prise par un drone de la côte d’Amalfie en Italie. Il s’agit d’un rendu 3D volumétrique construit à partir d’images basées sur des drones utilisant la technologie Neural Radiance Field (NeRF)

Si vous n’avez pas encore remarqué ces incroyables effets vidéo nouvelle génération, vous les verrez bientôt partout. La technologie Neural Radiance Field (NeRF) progresse au même rythme effréné que le reste du monde de l’IA, avec des résultats stupéfiants.

Lancés par des chercheurs de l’Uc Berkeley, de l’UC San Diego et de Google, les NeRF sont apparus pour la première fois sur notre radar en mars 2022 lorsque nVidia a dévoilé sa démo ultra-rapide « Instant NeRF » lors de la GTC Developer Conference.

En effet, vous vous promenez dans une scène en prenant des photos ou des vidéos avec un smartphone, puis téléchargez les résultats sur un service où un réseau de neurones utilise une variété de techniques d’IA pour prendre une séquence d’images du monde réel et l’utiliser pour créer un modèle 3D de votre sujet et son environnement.

Vous pouvez ensuite prendre ce modèle et faire toutes sortes de choses avec, y compris faire des prises de vue sauvages avec une caméra volante ou créer des ressources et des environnements 3D photoréalistes à utiliser dans les jeux vidéo, les expériences VR ou une gamme d’autres utilisations.

Les vidéos qui en résultent peuvent être absolument dingues, comme en témoigne cette extraordinaire vidéo Hilux qui plie la physique, créée (et intelligemment éditée) par le japonais Arata Fukoe. Ceci, rappelez-vous, est une production d’un seul homme.

NeRFという最新技術を用いてHILUX GR SPORTの広告を制作させていただきました。@LumaLabsAI #NeRF pic.twitter.com/d98QFgoTbv

– Arata Fukoe (@Arata_Fukoe) 14 avril 2023

Le mois dernier, Luma Labs a fait chuter le prix de ce type de service à 1 dollar par scène, via une API qui prend « des visites vidéo d’objets ou de scènes, regardant à l’extérieur, à partir de 2-3 niveaux », et produit « un 3D interactif scène qui peut être intégrée directement, des modèles à texture grossière pour créer des interactions dans les pipelines 3D traditionnels, et des images et vidéos 360 pré-rendues ».

La créatrice Karen X Cheng a utilisé l’IA Luma Labs pour créer l’effet de zoom Monster Dolly dans la vidéo ci-dessous. Cliquez sur le fil Twitter pour voir comment il a été capturé et post-édité.

Mise à jour NeRF : Dollyzoom est désormais possible avec @LumaLabsAI
J’ai filmé ceci sur mon téléphone. NeRF va permettre à tant de gens d’obtenir des plans de niveau cinématographique
Tutoriel ci-dessous –

– #NeRF #NeuralRadianceFields #artificialintelligence #LumaAI pic.twitter.com/Om20ugbR0O

– Karen X. Cheng (@karenxcheng) 5 décembre 2022

D’autres associent des captures NeRF 3D à des services d’IA génératifs séparés pour prendre ce qui pourrait être une capture de scène photoréaliste plutôt terne et l’imaginer avec des textures plus impressionnantes. Le créateur Bilawal Sidhu appelle cela « reskinning le monde réel », et bien que les résultats puissent parfois être un peu loufoques à ce stade, nous ne doutons pas qu’il sera intégré de manière transparente d’ici peu dans un système qui vous permettra d’éditer et ajouter à une scène NeRF à l’aide d’invites en langage naturel.

️ Ok, donc « reskinning » le monde réel avec la capture 3D + l’IA générative continue d’être une explosion ✨

Les techniques de capture de la réalité comme la photogrammétrie et les NeRF vous permettent de capturer les espaces, les lieux et les objets qui vous intéressent – créant une bibliothèque croissante d’actifs que vous peut tirer sur… pic.twitter.com/IFctTlLLfo

– Bilawal Sidhu (@bilawalsidhu) 23 avril 2023

Pendant ce temps, le projet Zip-NeRF de Google en est encore au stade de la recherche, mais des progrès récents l’ont fait fonctionner environ 22 fois plus vite que le modèle mip-NeRF précédent et produire entre 8 et 76 % d’erreurs en moins. Les résultats sont absolument spectaculaires et feront baver les agents immobiliers.

Zip-NeRF : Champs de rayonnement neuronal anti-aliasés basés sur une grille

abs : https://t.co/y1G5blfxLG
page du projet : https://t.co/56OnpwQVwh pic.twitter.com/GvSmEN7XvR

– AK (@_akhaliq) 14 avril 2023

L’UC Berkeley, pour sa part, a combiné un réseau de modélisation NeRF avec un modèle de langage, pour créer un modèle « Language Embedded Radiance Field », ou LERF , qui vous permet de rechercher des éléments particuliers dans une scène 3D en utilisant le langage naturel.

LeRF Teaser, champs de rayonnement intégrés au langage

À terme, l’équipe du LERF espère développer cette technologie en quelque chose qui aidera les robots à utiliser la vision artificielle et l’IA pour accomplir des tâches. Un robot chargé verbalement de nettoyer du marc de café renversé, par exemple, peut entrer dans votre cuisine et utiliser cette technologie, combinée à une routine de génération d’invites de type GPT, pour identifier et localiser une gamme d’articles pertinents pour la tâche dans la pièce. , des pelles à poussière et des brosses aux poubelles, éviers, armoires, tiroirs, sprays de nettoyage, aspirateurs et plus encore.

Un autre projet voit une équipe de développeurs japonais travailler sur un moyen de rendre des scènes 3D générées par NeRF en temps réel dans Unreal Engine. L’équipe affirme qu’elle atteint déjà plus de 60 ips sur un processeur graphique nVidia RTX3070, avec une consommation de mémoire minimale. En effet, il s’agit d’un premier aperçu d’une capacité naissante à flasher votre smartphone dans un environnement donné et à le transformer en niveau de jeu vidéo.

Rendu NeRF en temps réel sur Unreal Engine

Et si tout ce qui précède ne suffisait pas à cuire vos nouilles dorées, jetez un coup d’œil au projet HOSNeRF de l’ Université nationale de Singapour . Nous ne pouvons pas commencer à comprendre comment, mais cette équipe a réussi à développer un système NeRF qui peut non seulement générer des modèles 3D de personnes et d’environnements entiers, mais peut également capturer et restituer une action dynamique.

Ainsi, vous pouvez filmer quelqu’un se promenant et faisant quelque chose, ramassant des objets et les posant à sa guise, et HOSNeRF le recrachera sous la forme d’une scène d’action 3D photoréaliste que vous pourrez voir sous n’importe quel angle.

HOSNeRF : Champs dynamiques de rayonnement neuronal humain-objet-scène à partir d’une seule vidéo

Bon chagrin. Une fois que cela a atteint un service, vous pourrez reconstruire des scènes d’action du monde réel sous forme de modèles dynamiques que vous pouvez parcourir en VR, avec des modèles 3D mobiles de personnes et d’objets avec lesquels vous pourrez potentiellement interagir. à l’aide de moteurs physiques de jeux vidéo. L’esprit s’embrouille.

Il semble que tous les coins obscurs du monde de l’IA connaissent un rythme de progrès vraiment choquant ces derniers mois. Alors que toutes ces technologies extrêmement innovantes commencent à converger, il est plus difficile que jamais d’imaginer à quoi ressemblera la vie dans cinq ou dix ans.

Source : Luma Labs , entre autres