Grâce à l’intelligence artificielle générative, une équipe de chercheurs de l’Université du Texas à Austin a converti des sons provenant d’enregistrements audio en images de rue. La précision visuelle de ces images générées démontre que les machines peuvent reproduire le lien humain entre la perception audio et visuelle des environnements.
Dans un article publié dans Computers, Environment and Urban Systems , l’équipe de recherche décrit la formation d’un modèle d’IA de paysage sonore à image en utilisant des données audio et visuelles recueillies à partir d’une variété de paysages de rue urbains et ruraux, puis en utilisant ce modèle pour générer des images à partir d’enregistrements audio.
« Notre étude a révélé que les environnements acoustiques contiennent suffisamment de repères visuels pour générer des images de paysages urbains très reconnaissables qui représentent avec précision différents endroits », a déclaré Yuhao Kang , professeur adjoint de géographie et d’environnement à l’UT et co-auteur de l’étude. « Cela signifie que nous pouvons convertir les environnements acoustiques en représentations visuelles vivantes, traduisant efficacement les sons en images. »
À l’aide de vidéos et d’audios YouTube provenant de villes d’Amérique du Nord, d’Asie et d’Europe, l’équipe a créé des paires de clips audio de 10 secondes et d’images fixes provenant de différents endroits et les a utilisées pour former un modèle d’IA capable de produire des images haute résolution à partir d’une entrée audio.
Ils ont ensuite comparé les créations de sons et d’images de l’IA réalisées à partir de 100 clips audio à leurs photos respectives du monde réel, en utilisant à la fois des évaluations humaines et informatiques. Les évaluations informatiques ont comparé les proportions relatives de verdure, de bâtiments et de ciel entre les images source et générées, tandis que les juges humains ont été invités à faire correspondre correctement l’une des trois images générées à un échantillon audio.
Les résultats ont montré une forte corrélation entre les proportions de ciel et de verdure entre les images générées et celles du monde réel, et une corrélation légèrement moindre entre les proportions des bâtiments. Les participants humains ont en moyenne atteint 80 % de précision dans la sélection des images générées correspondant aux échantillons audio sources.
« Traditionnellement, la capacité à visualiser une scène à partir de sons est une capacité exclusivement humaine, qui reflète notre profonde connexion sensorielle avec l’environnement. Notre utilisation de techniques d’IA avancées soutenues par de grands modèles de langage (LLM) démontre que les machines ont le potentiel d’approximer cette expérience sensorielle humaine », précise Yuhao Kang. « Cela suggère que l’IA peut aller au-delà de la simple reconnaissance de l’environnement physique pour potentiellement enrichir notre compréhension des expériences subjectives humaines à différents endroits. »
En plus de reproduire approximativement les proportions du ciel, de la verdure et des bâtiments, les images générées ont souvent conservé les styles architecturaux et les distances entre les objets de leurs homologues du monde réel, tout en reflétant avec précision si les paysages sonores ont été enregistrés dans des conditions d’éclairage ensoleillées, nuageuses ou nocturnes.
Les auteurs notent que les informations sur l’éclairage peuvent provenir de variations d’activité dans les paysages sonores. Par exemple, les bruits de la circulation ou le chant des insectes nocturnes pourraient révéler l’heure de la journée. De telles observations permettent de mieux comprendre comment les facteurs multisensoriels contribuent à notre expérience d’un lieu.
« Lorsque vous fermez les yeux et écoutez, les sons qui vous entourent peignent des images dans votre esprit », souligne Yuhao Kang. « Par exemple, le bourdonnement lointain de la circulation se transforme en un paysage urbain animé, tandis que le doux bruissement des feuilles vous entraîne dans une forêt sereine. Chaque son tisse une tapisserie vivante de scènes, comme par magie, dans le théâtre de votre imagination. »
Les travaux de Yuhao Kang se concentrent sur l’utilisation de l’IA géospatiale pour étudier l’interaction des humains avec leur environnement. Dans un autre article récent publié dans Nature , lui et ses co-auteurs ont examiné le potentiel de l’IA pour capturer les caractéristiques qui confèrent aux villes leur identité unique.
