Apprendre à l'IA à communiquer des sons comme le font les humains
infohightech ·
Inspiré par la mécanique du conduit vocal humain, un nouveau modèle d'IA peut produire et comprendre des imitations vocales de sons quotidiens. Cette méthode pourrait permettre de créer de nouvelles interfaces sonores pour le divertissement et l'éducation.
Un nouveau modèle peut prendre de nombreux sons du monde et en générer une imitation humaine, comme le sifflement d'un serpent ou la sirène d'une ambulance qui s'approche. Le système peut également fonctionner à l'envers pour deviner les sons du monde réel à partir d'imitations vocales humaines.
Que vous décriviez le bruit du moteur défectueux de votre voiture ou que vous miauliez comme le chat de votre voisin, imiter des sons avec votre voix peut s'avérer utile pour transmettre un concept lorsque les mots ne suffisent pas.
L'imitation vocale est l'équivalent sonore du gribouillage d'un dessin rapide pour communiquer quelque chose que vous avez vu - sauf qu'au lieu d'utiliser un crayon pour illustrer une image, vous utilisez votre conduit vocal pour exprimer un son. Cela peut sembler difficile, mais c'est quelque chose que nous faisons tous intuitivement : Pour vous en convaincre, essayez d'utiliser votre voix pour reproduire le son d'une sirène d'ambulance, d'un corbeau ou d'une cloche que l'on frappe.
Inspirés par les sciences cognitives de la communication, les chercheurs du Computer Science and Artificial Intelligence Laboratory (CSAIL) du MIT ont mis au point un système d'IA capable de produire des imitations vocales semblables à celles d'un être humain, sans entraînement et sans avoir jamais « entendu » d'impression vocale humaine auparavant.
Pour y parvenir, les chercheurs ont conçu leur système de manière à ce qu'il produise et interprète les sons comme nous le faisons. Ils ont commencé par construire un modèle du conduit vocal humain qui simule la façon dont les vibrations de la boîte vocale sont modelées par la gorge, la langue et les lèvres. Ils ont ensuite utilisé un algorithme d'IA d'inspiration cognitive pour contrôler ce modèle de conduit vocal et lui faire produire des imitations, en tenant compte des moyens spécifiques au contexte que les humains choisissent pour communiquer des sons.
Le modèle peut effectivement prendre de nombreux sons du monde et en générer une imitation humaine, y compris des bruits comme le bruissement des feuilles, le sifflement d'un serpent et l'approche d'une sirène d'ambulance. Le modèle peut également être exécuté à l'envers pour deviner des sons réels à partir d'imitations vocales humaines, de la même manière que certains systèmes de vision par ordinateur peuvent récupérer des images de haute qualité à partir d'esquisses. Par exemple, le modèle peut distinguer correctement le son d'un humain imitant le « miaulement » d'un chat de son « sifflement ».
À l'avenir, ce modèle pourrait déboucher sur des interfaces « basées sur l'imitation » plus intuitives pour les concepteurs sonores, sur des personnages IA plus proches de l'homme dans la réalité virtuelle et même sur des méthodes pour aider les étudiants à apprendre de nouvelles langues.
Les co-auteurs principaux - Kartik Chandra SM '23 et Karima Ma, doctorants au MIT CSAIL, et Matthew Caren, chercheur de premier cycle - notent que les chercheurs en infographie reconnaissent depuis longtemps que le réalisme est rarement l'objectif ultime de l'expression visuelle. Par exemple, une peinture abstraite ou un gribouillage d'enfant au crayon peuvent être tout aussi expressifs qu'une photographie.
« Au cours des dernières décennies, les progrès des algorithmes d'esquisse ont conduit à de nouveaux outils pour les artistes, à des avancées en matière d'IA et de vision par ordinateur, et même à une compréhension plus approfondie de la cognition humaine », note Kartik Chandra. « De la même manière qu'un croquis est une représentation abstraite et non photoréaliste d'une image, notre méthode capture les manières abstraites et non phono-réalistes dont les humains expriment les sons qu'ils entendent. Cela nous renseigne sur le processus d'abstraction auditive ».
« L'objectif de ce projet était de comprendre et de modéliser informatiquement l'imitation vocale, que nous considérons comme l'équivalent auditif de l'esquisse dans le domaine visuel », explique Matthew Caren.
L'art de l'imitation en trois parties
L'équipe a développé trois versions de plus en plus nuancées du modèle pour les comparer aux imitations vocales humaines. Ils ont d'abord créé un modèle de base qui visait simplement à générer des imitations aussi proches que possible des sons du monde réel, mais ce modèle ne correspondait pas très bien au comportement humain.
Les chercheurs ont alors conçu un second modèle « communicatif ». Selon Matthew Caren, ce modèle tient compte de ce qui caractérise un son pour un auditeur. Par exemple, vous imiterez probablement le son d'un bateau à moteur en imitant le grondement de son moteur, car c'est sa caractéristique auditive la plus distinctive, même si ce n'est pas l'aspect le plus bruyant du son (comparé, par exemple, à l'éclaboussement de l'eau). Ce deuxième modèle a permis de créer des imitations plus performantes que le modèle de base, mais l'équipe souhaitait l'améliorer encore.
Pour aller plus loin, les chercheurs ont ajouté une dernière couche de raisonnement au modèle. « Les imitations vocales peuvent sonner différemment en fonction de l'effort fourni. Produire des sons parfaitement exacts coûte du temps et de l'énergie », explique Kartik Chandra. Le modèle complet des chercheurs en tient compte en essayant d'éviter les énoncés très rapides, forts, aigus ou graves, que les gens sont moins susceptibles d'utiliser dans une conversation. Le résultat : des imitations plus proches de l'humain qui correspondent à de nombreuses décisions prises par les humains lorsqu'ils imitent les mêmes sons.
Après avoir construit ce modèle, l'équipe a mené une expérience comportementale pour déterminer si les imitations vocales générées par l'IA ou par l'homme étaient perçues comme meilleures par les juges humains. Les participants à l'expérience ont notamment privilégié le modèle d'IA dans 25 % des cas en général, et dans 75 % des cas pour une imitation de bateau à moteur et dans 50 % des cas pour une imitation de coup de feu.
Vers une technologie sonore plus expressive
Passionnée par la technologie au service de la musique et de l'art, Matthew Caren pense que ce modèle pourrait aider les artistes à mieux communiquer les sons aux systèmes informatiques et aider les cinéastes et autres créateurs de contenu à générer des sons d'IA plus nuancés en fonction d'un contexte spécifique. Il pourrait également permettre à un musicien de rechercher rapidement un son dans une base de données en imitant un bruit difficile à décrire, par exemple dans un texte.
Entre-temps, Caren, Chandra et Ma étudient les implications de leur modèle dans d'autres domaines, notamment le développement du langage, la manière dont les nourrissons apprennent à parler et même les comportements d'imitation chez des oiseaux tels que les perroquets et les oiseaux chanteurs.
L'équipe a encore du travail à faire avec l'itération actuelle de son modèle : Il a des difficultés avec certaines consonnes, comme le « z », ce qui entraîne des impressions inexactes de certains sons, comme le bourdonnement des abeilles. Ils ne peuvent pas non plus reproduire la façon dont les humains imitent la parole, la musique ou les sons qui sont imités différemment d'une langue à l'autre, comme les battements de cœur.
Robert Hawkins, professeur de linguistique à l'université de Stanford, explique que le langage regorge d'onomatopées et de mots qui imitent mais ne reproduisent pas complètement les choses qu'ils décrivent, comme le son « miaou » qui se rapproche très inexactement du son émis par les chats. "Les processus qui nous permettent de passer du son d'un vrai chat à un mot comme « miaou » en disent long sur l'interaction complexe entre la physiologie, le raisonnement social et la communication dans l'évolution du langage », explique Roger Hawkins, qui n'a pas participé à la recherche CSAIL. « Ce modèle représente une étape passionnante vers la formalisation et la vérification des théories de ces processus, en démontrant que les contraintes physiques du conduit vocal humain et les pressions sociales de la communication sont nécessaires pour expliquer la distribution des imitations vocales."
https://news.mit.edu/2025/teaching-ai-communicate-sounds-humans-do-0109