SmartDJ combine plusieurs types de modèles d’IA pour permettre aux utilisateurs de modifier les sons à l’aide du langage courant. Crédit : WAVES Lab
Les ingénieurs de Penn ont développé SmartDJ, un éditeur basé sur l’IA qui permet aux utilisateurs de modifier des environnements audio immersifs grâce à des instructions simples en langage courant. Ses applications potentielles incluent la réalité virtuelle, la réalité augmentée, les jeux vidéo et la conception sonore. Au lieu d’exiger des utilisateurs qu’ils spécifient chaque modification individuellement, SmartDJ peut répondre à des requêtes générales telles que « créer l’ambiance d’un bureau animé », puis planifier et exécuter les étapes nécessaires pour obtenir le résultat souhaité.
Ce système remédie à deux limitations majeures des précédents outils de montage audio par IA. Premièrement, la plupart des systèmes antérieurs fonctionnaient de manière optimale avec des commandes rigides et prédéfinies, obligeant les utilisateurs à identifier les sons à ajouter ou à supprimer. Deuxièmement, ces outils fonctionnaient généralement sur un seul canal audio, ou « mono », ce qui entraînait une perte des repères spatiaux nécessaires à une expérience audio immersive.
SmartDJ, en revanche, peut interpréter des instructions de haut niveau et est conçu pour l’audio stéréo, ce qui lui permet d’effectuer des modifications qui préservent ou remodèlent mieux la structure spatiale d’une scène.
De plus, le système est interprétable : les utilisateurs peuvent visualiser chaque étape effectuée par SmartDJ. Par exemple, une requête comme « créer une ambiance de bureau animée » pourrait amener SmartDJ à générer une instruction comme « Ajouter le son d’une sonnerie de téléphone à droite, à 3 dB ». Les utilisateurs peuvent ensuite modifier, supprimer ou ajouter des étapes individuelles, ce qui leur permet de mieux contrôler le résultat final.
« Avec SmartDJ, les utilisateurs peuvent décrire le résultat souhaité en langage naturel, et le système se charge de le réaliser », explique Mingmin Zhao, professeur adjoint en informatique et sciences de l’information. « Nous démontrons que l’IA peut aider les utilisateurs à éditer de l’audio de manière intuitive grâce à un langage simple. »
Zhao est l’auteur principal de l’étude présentée cette semaine à la Conférence internationale sur les représentations d’apprentissage ( ICLR 2026 ), qui se tient à Rio de Janeiro. L’article est également disponible sur le serveur de prépublications arXiv .
Crédit : Université de Pennsylvanie
Combinaison des modèles de langage et de diffusion
L’un des principaux défis du montage audio par IA réside dans le fait que la compréhension de la requête de l’utilisateur et la génération des sons sont généralement assurées par des systèmes d’IA différents. « Nous utilisons des modèles de langage pour traiter le texte », explique Zitong Lan, doctorant en génie électrique et des systèmes (ESE) et premier auteur de l’étude. « Nous utilisons ensuite des modèles de diffusion pour éditer les sons. »
La différence réside dans la fonction pour laquelle chaque système a été entraîné. Les modèles de langage — la même technologie qui alimente les chatbots — apprennent les schémas des mots, ce qui leur permet d’interpréter les intentions des utilisateurs et de générer des réponses textuelles. Les modèles de diffusion, en revanche, sont conçus pour créer du contenu multimédia en transformant progressivement du bruit en un signal cohérent.
Pour pallier ce manque, l’équipe a intégré un modèle de langage audio (ALM) au processus d’édition. Entraîné sur le son et le texte, l’ALM analyse l’audio original ainsi que la commande de l’utilisateur, puis décompose cette commande en une séquence d’actions d’édition plus simples, comme l’ajout, la suppression ou le repositionnement d’un son. Un modèle de diffusion exécute ensuite ces actions étape par étape, permettant ainsi à SmartDJ d’interpréter le langage et de réaliser des modifications audio.
En résumé, le modèle de langage agit comme un producteur, déterminant l’évolution du paysage sonore, tandis que le modèle de diffusion, tel un musicien de studio, concrétise ces instructions audio. « Le modèle de langage donne une direction au système », explique Yiduo Hao, doctorant en informatique et co-auteur de l’étude. « Le modèle de diffusion, quant à lui, exécute ces instructions. »
Formation SmartDJ
Pour apprendre à transformer les demandes générales des utilisateurs en modifications audio étape par étape, SmartDJ avait besoin d’exemples qui réunissaient trois éléments à la fois : une instruction de haut niveau, la séquence d’actions de montage nécessaires pour la réaliser et l’audio avant et après chaque modification.
Malheureusement, ce type de données d’entraînement n’existait pas. « Ce problème nécessitait un ensemble de données très inhabituel », explique Lan. « Il fallait qu’il prenne en compte à la fois l’objectif, les étapes et le résultat. »
L’équipe a donc conçu le système elle-même. En s’appuyant sur des bibliothèques sonores publiques, les chercheurs ont créé un pipeline utilisant un modèle de langage complexe pour générer des instructions de montage de haut niveau et les étapes intermédiaires nécessaires à leur exécution, tandis que le traitement du signal audio produisait les sorties éditées correspondantes. « Pour que cela fonctionne, nous ne pouvions pas nous contenter de montrer au modèle une entrée et une sortie », explique Hao. « Nous devions lui montrer le raisonnement qui les sous-tend. »
Vers un montage audio plus accessible
Pour tester SmartDJ, les chercheurs l’ont comparé à des systèmes de montage audio antérieurs et ont constaté qu’il produisait des résultats plus réalistes et mieux synchronisés. Que ce soit par des évaluations quantitatives ou des études menées auprès d’utilisateurs, SmartDJ a surpassé les méthodes précédentes sur des critères tels que la qualité audio, la fidélité des résultats aux instructions de l’utilisateur et le réalisme du placement spatial des sons.
Les chercheurs entrevoient des applications potentielles dans la réalité virtuelle, la réalité augmentée, les jeux vidéo, la conception sonore, la visioconférence et d’autres formes de médias interactifs, où les utilisateurs pourraient souhaiter remodeler un environnement audio sans avoir à spécifier manuellement chaque modification individuelle.
L’objectif ultime des chercheurs est de rendre le montage audio plus accessible, permettant à toute personne créative de composer des paysages sonores. « Pour d’autres médias, comme le texte et les images, les utilisateurs peuvent déjà recourir à l’IA pour effectuer des modifications complexes », explique Zhao. « SmartDJ ouvre des perspectives similaires pour l’audio, permettant ainsi à un plus grand nombre de personnes de concrétiser leurs idées. »
