Pour rendre les mondes virtuels plus immersifs, les artistes doivent les remplir de bâtiments, de rochers, d’arbres et d’autres objets. La création et le placement de tous ces objets virtuels entraînent rapidement des coûts et des délais de développement assez élevés. Mais à présent, les chercheurs de Nvidia ont enseigné aux systèmes d’intelligence artificielle comment générer et détailler de nouveaux paysages urbains virtuels, en formant des réseaux de neurones sur des séquences vidéo réelles.
Contrairement aux algorithmes traditionnels qui devraient être programmés avec des instructions spécifiques, les réseaux de neurones ressemblent davantage à des cerveaux organiques, tirant des enseignements de « l’expérience » au fil du temps. Cette expérience peut être introduite sous forme de grands ensembles de données dans le système, qui peut ensuite utiliser les règles acquises pour générer son propre contenu. Ces dernières années, ceci a été utilisé pour appliquer différents styles artistiques aux vidéos, créer de courtes vidéos à partir de photos fixes basées sur des prédictions de ce qui allait se passer ensuite, et générer des images intermédiaires supplémentaires pour que tout clip soit visible au ralenti.
Dans ce nouveau travail, l’équipe a utilisé un framework d’apprentissage approfondi PyTorch fonctionnant sur des GPU Nvidia Tesla V100 sur un DGX-1 et les a formés (entrainés : trained) avec des milliers de vidéos Cityscapes et de jeux de données Apolloscapes. Les chercheurs auraient ensuite construit les bases d’une ville virtuelle avec Unreal Engine 4 et souligneraient les grandes lignes et l’emplacement des bâtiments, des arbres et des voitures. Ensuite, basé sur tout ce qu’il a appris, le réseau de neurones comble les blancs, y compris les détails les plus fins, la couleur, l’éclairage et la texture.
Le résultat final est un monde virtuel pour l’animation ou les jeux vidéo qui peut être généré beaucoup plus rapidement que si des artistes humains le construisaient à partir de zéro. Bien sûr, si des éléments spécifiques doivent être ajoutés, supprimés ou modifiés à la main, vous pouvez le faire ultérieurement. La technique ne vise pas à supprimer l’élément humain créatif du processus, mais à accélérer l’ennui de certains aspects.
« Les réseaux de neurones, en particulier, les modèles génératifs vont changer la façon dont les graphiques sont créés », a déclaré Bryan Catanzaro, chercheur principal de l’équipe. « L’un des principaux obstacles auxquels les développeurs sont confrontés lors de la création de mondes virtuels, que ce soit pour le développement de jeux, la téléprésence ou d’autres applications, est que la création du contenu est coûteuse. Cette méthode permet aux artistes et aux développeurs de créer à un coût bien inférieur, en utilisant une intelligence artificielle qui apprend du monde réel « .
Une démonstration du système, qui comprend un jeu de conduite simple à travers un paysage urbain généré par l’IA, sera présentée à la conférence NeurIPS à Montréal cette semaine.
https://news.developer.nvidia.com/nvidia-invents-ai-interactive-graphics/
