Quand on regarde une scène du film Jurassic Park où un dinosaure géant s’approche, on imagine naturellement un lourd,Un grondement sourd, comme si le sol tremblait. En effet, l’être humain perçoit les sons en tenant compte non seulement de la forme d’un objet, mais aussi de ses propriétés physiques telles que sa taille, son poids et sa vitesse. Or, les IA actuelles de conversion vidéo-audio se basent principalement sur la catégorie des objets ou les informations de la scène, sans prendre suffisamment en compte les propriétés physiques qui varient selon le poids ou la vitesse.
Le 26 mai, KAIST (président Kwang Hyung Lee) a annoncé qu’une équipe de recherche collaborative comprenant le professeur Tae-Hyun Oh de l’École d’informatique de KAIST , ainsi que des chercheurs de POSTECH (président Sung Keun Kim) et de Sony AI, avait développé « PAVAS (Physics-Aware Video-to-Audio Synthesis) », une technologie d’intelligence artificielle (IA) qui comprend la situation physique dans une vidéo et génère un son plus réaliste.
Schéma conceptuel de la technologie PAVAS (Synthèse vidéo-audio prenant en compte la physique)
La principale caractéristique de cette technologie est sa capacité à permettre à l’IA de déduire automatiquement des informations physiques invisibles, telles que la masse et la vitesse des objets présents dans une vidéo. Les vidéos classiques ne fournissent pas de valeurs numériques précises pour le poids ou la vitesse d’un objet, mais l’équipe de recherche a programmé l’IA pour qu’elle les estime en analysant l’environnement et le contexte de mouvement, et qu’elle intègre ces résultats dans le processus de génération sonore.
Autrement dit, l’IA a été conçue pour aller au-delà de la simple reconnaissance de « ce qui est visible » et pour comprendre la cause physique de « la raison pour laquelle ce son devrait se produire ».
Suite à une validation technique, l’IA de l’équipe de recherche a généré des sons très proches de ceux d’environnements réels dans des scènes impliquant des interactions physiques telles que des collisions ou des impacts entre objets. Elle a notamment produit un son plus réaliste où le volume et la tonalité variaient naturellement en fonction de la masse et de la vitesse des objets.
Récemment, les technologies d’IA générative capables de générer simultanément vidéo et audio ont connu des progrès rapides. On peut citer par exemple « Veo 3 » de Google et « Seedance 2.0 » de ByteDance. Cependant, sur les plateaux de production cinématographiques, publicitaires et de jeux vidéo, la demande est bien plus forte pour des travaux de post-production consistant à ajouter des effets sonores adaptés aux scènes vidéo existantes ou à enrichir l’audio que pour la création de vidéos entièrement nouvelles.
Alors que les modèles d’IA commerciaux existants se concentrent sur la génération simultanée de vidéo et d’audio, PAVAS se distingue par sa capacité à analyser les caractéristiques de mouvement et de collision des objets dans une vidéo et à générer des effets sonores réalistes qui correspondent précisément à la scène.
Comparaison des spectrogrammes générés par les modèles vidéo-audio conventionnels et PAVAS
L’équipe de recherche a expliqué que cette technologie ouvre de nouvelles perspectives dans le domaine de l’« IA physique », ou IA générative physiquement cohérente. L’IA générative physiquement cohérente désigne une IA qui ne se contente pas de produire des résultats plausibles, mais qui comprend les lois de la physique et les relations causales du monde réel.
À l’avenir, cette technologie devrait offrir des expériences utilisateur plus immersives dans un large éventail de domaines, notamment l’automatisation de la production sonore de contenu, le contenu de réalité augmentée (RA) et de réalité virtuelle (RV), le métavers et la simulation robotique.
Le professeur Tae-Hyun Oh a déclaré : « Alors que l’IA générative existante s’est développée en augmentant l’échelle des données et des modèles, cette recherche est significative en ce qu’elle a été conçue pour que l’IA comprenne directement les quantités physiques et les relations causales », ajoutant : « À l’avenir, elle pourra être étendue pour devenir une technologie fondamentale pour l’IA multimodale de nouvelle génération, capable de comprendre et de traiter simultanément divers types d’informations, notamment le texte, la vidéo et la parole. »
