En utilisant du texte et de l’audio comme entrées, un nouveau modèle d’IA générative de NVIDIA peut créer n’importe quelle combinaison de musique, de voix et de sons.
Une équipe de chercheurs en IA générative a créé un couteau suisse pour le son, qui permet aux utilisateurs de contrôler la sortie audio simplement à l’aide de texte.
Si certains modèles d’IA peuvent composer une chanson ou modifier une voix, aucun n’a la dextérité de la nouvelle offre.
Appelé Fugatto (abréviation de Foundational Generative Audio Transformer Opus 1), il génère ou transforme n’importe quel mélange de musique, de voix et de sons décrits avec des invites en utilisant n’importe quelle combinaison de fichiers texte et audio.
Par exemple, il peut créer un extrait musical basé sur une invite de texte, supprimer ou ajouter des instruments d’une chanson existante, modifier l’accent ou l’émotion d’une voix — et même permettre aux gens de produire des sons jamais entendus auparavant.
« C’est un truc dingue », a déclaré Ido Zmishlany, producteur et auteur-compositeur multi-platine et cofondateur de One Take Audio , membre du programme NVIDIA Inception pour les startups de pointe. « Le son est mon inspiration. C’est ce qui me pousse à créer de la musique. L’idée de pouvoir créer des sons entièrement nouveaux à la volée en studio est incroyable. »
Une bonne compréhension de l’audio
« Nous voulions créer un modèle qui comprend et génère le son comme le font les humains », a déclaré Rafael Valle, responsable de la recherche audio appliquée chez NVIDIA et l’une des douzaines de personnes derrière Fugatto, ainsi que chef d’orchestre et compositeur.
Prenant en charge de nombreuses tâches de génération et de transformation audio, Fugatto est le premier modèle d’IA générative fondamental qui présente des propriétés émergentes – des capacités qui découlent de l’interaction de ses diverses capacités entraînées – et la capacité de combiner des instructions de forme libre.
« Fugatto est notre première étape vers un avenir où l’apprentissage multitâche non supervisé dans la synthèse et la transformation audio émerge de l’échelle des données et du modèle », lance Rafael Valle.
Une liste de lecture d’exemples de cas d’utilisation
Par exemple, les producteurs de musique peuvent utiliser Fugatto pour prototyper ou éditer rapidement une idée de chanson, en essayant différents styles, voix et instruments. Ils peuvent également ajouter des effets et améliorer la qualité audio globale d’un morceau existant.
« L’histoire de la musique est aussi une histoire de la technologie. La guitare électrique a donné naissance au rock and roll. Avec l’apparition du sampler, le hip-hop est né », explique Ido Zmishlany. « Avec l’IA, nous écrivons le prochain chapitre de la musique. Nous disposons d’un nouvel instrument, d’un nouvel outil pour faire de la musique, et c’est très excitant. »
Une agence de publicité pourrait utiliser Fugatto pour cibler rapidement une campagne existante pour plusieurs régions ou situations, en appliquant différents accents et émotions aux voix off.
Les outils d’apprentissage des langues peuvent être personnalisés pour utiliser la voix de l’interlocuteur. Imaginez un cours en ligne prononcé avec la voix d’un membre de la famille ou d’un ami.
Les développeurs de jeux vidéo pourraient utiliser le modèle pour modifier les ressources préenregistrées dans leur titre afin de s’adapter à l’action changeante pendant que les utilisateurs jouent au jeu. Ils pourraient également créer de nouvelles ressources à la volée à partir d’instructions textuelles et d’entrées audio facultatives.
Faire un bruit joyeux
« L’une des fonctionnalités du modèle dont nous sommes particulièrement fiers est ce que nous appelons la chaise avocat », précise Rafael Valle, faisant référence à un nouveau visuel créé par un modèle d’IA génératif pour l’imagerie.
Par exemple, Fugatto peut faire aboyer une trompette ou miauler un saxophone. Tout ce que les utilisateurs peuvent décrire, le modèle peut le créer.
Grâce à un réglage précis et à de petites quantités de données de chant, les chercheurs ont découvert qu’il pouvait gérer des tâches pour lesquelles il n’était pas pré-entraîné, comme générer une voix chantée de haute qualité à partir d’une invite de texte.
Les utilisateurs bénéficient de commandes artistiques
Plusieurs fonctionnalités ajoutent à la nouveauté de Fugatto.
Lors de l’inférence, le modèle utilise une technique appelée ComposableART pour combiner des instructions qui n’étaient vues que séparément pendant l’entraînement. Par exemple, une combinaison d’invites pourrait demander un texte prononcé avec un sentiment de tristesse et un accent français.
La capacité du modèle à interpoler entre les instructions donne aux utilisateurs un contrôle précis sur les instructions textuelles, dans ce cas, la lourdeur de l’accent ou le degré de tristesse.
« Je voulais permettre aux utilisateurs de combiner des attributs de manière subjective ou artistique, en sélectionnant l’importance qu’ils accordent à chacun d’eux », assure Rohan Badlani, un chercheur en IA qui a conçu ces aspects du modèle.
« Lors de mes tests, les résultats étaient souvent surprenants et me donnaient l’impression d’être un peu un artiste, même si je suis informaticien », a déclaré Rohan Badlani, titulaire d’une maîtrise en informatique avec une spécialisation en IA de Stanford.
Le modèle génère également des sons qui évoluent au fil du temps, une fonction qu’il appelle interpolation temporelle. Il peut, par exemple, créer les sons d’un orage se déplaçant dans une zone avec des crescendos de tonnerre qui s’estompent lentement au loin. Il offre également aux utilisateurs un contrôle précis sur l’évolution du paysage sonore.
De plus, contrairement à la plupart des modèles, qui ne peuvent recréer que les données d’entraînement auxquelles ils ont été exposés, Fugatto permet aux utilisateurs de créer des paysages sonores jamais vus auparavant, comme un orage se transformant en une aube avec le chant des oiseaux.
Un coup d’oeil sous le capot
Fugatto est un modèle de transformateur génératif fondamental qui s’appuie sur les travaux antérieurs de l’équipe dans des domaines tels que la modélisation de la parole , le vocodage audio et la compréhension audio .
La version complète utilise 2,5 milliards de paramètres et a été formée sur une banque de systèmes NVIDIA DGX comprenant 32 GPU NVIDIA H100 Tensor Core .
Fugatto a été créé par un groupe de personnes issues de différents pays, dont l’Inde, le Brésil, la Chine, la Jordanie et la Corée du Sud. Leur collaboration a renforcé les capacités multilingues et multiaccent de Fugatto.
L’une des tâches les plus difficiles a été de générer un ensemble de données mixtes contenant des millions d’échantillons audio utilisés pour la formation. L’équipe a utilisé une stratégie à multiples facettes pour générer des données et des instructions qui ont considérablement élargi la gamme de tâches que le modèle pouvait effectuer, tout en obtenant des performances plus précises et en permettant de nouvelles tâches sans nécessiter de données supplémentaires.
Ils ont également examiné les ensembles de données existants pour révéler de nouvelles relations entre les données. L’ensemble des travaux a duré plus d’un an.
Rafael Valle se souvient de deux moments où l’équipe a su qu’elle tenait quelque chose. « La première fois qu’elle a généré de la musique à partir d’une invite, ça nous a époustouflés », a-t-il déclaré.
Plus tard, l’équipe a fait une démonstration de Fugatto en réponse à une invite de créer de la musique électronique avec des chiens aboyant au rythme du rythme.
