Les écouteurs IA traduisent plusieurs locuteurs à la fois, clonant leurs voix en son 3D
Tuochao Chen , doctorant à l’Université de Washington, a récemment visité un musée au Mexique. Ne parlant pas espagnol, il a lancé une application de traduction sur son téléphone et a pointé le microphone vers le guide. Mais même dans le calme relatif du musée, le bruit ambiant était trop fort. Le texte qui en résultait était inutile.
Diverses technologies ont récemment émergé, promettant une traduction fluide, mais aucune n’a résolu le problème de Chen dans les espaces publics. Les nouvelles lunettes de Meta , par exemple, ne fonctionnent qu’avec un locuteur isolé ; elles diffusent une traduction vocale automatique une fois que l’orateur a terminé.
Chen et une équipe de chercheurs de l’UW ont conçu un système de casque audio capable de traduire simultanément plusieurs locuteurs , tout en préservant la direction et la qualité de la voix. L’équipe a conçu ce système, baptisé « Spatial Speech Translation », à l’aide de casques antibruit standard équipés de microphones. Les algorithmes de l’équipe distinguent les différents locuteurs dans un espace et les suivent dans leurs déplacements, traduisent leur discours et le restituent avec un décalage de 2 à 4 secondes.
L’ équipe a présenté ses recherches le 30 avril lors de la conférence ACM CHI sur les facteurs humains dans les systèmes informatiques à Yokohama, au Japon. Le code de ce dispositif de validation de principe est disponible pour d’autres utilisateurs. « Les autres technologies de traduction partent du principe qu’une seule personne parle », explique Shyam Gollakota , auteur principal et professeur à l’UW à la Paul G. Allen School of Computer Science & Engineering. « Mais dans le monde réel, une seule voix robotique ne peut pas parler à plusieurs personnes dans une même pièce. Pour la première fois, nous avons préservé le son de la voix de chaque personne et sa provenance. »
Le système propose trois innovations. Tout d’abord, dès sa mise en marche, il détecte immédiatement le nombre d’enceintes présentes dans un espace intérieur ou extérieur.
« Nos algorithmes fonctionnent un peu comme un radar », explique Chen, auteur principal et doctorant à l’Université de Washington et membre de l’École Allen. « Ils balayent l’espace à 360 degrés et déterminent et mettent à jour en permanence s’il y a une personne, six ou sept. »
Le système traduit ensuite le discours et conserve les qualités expressives et le volume de la voix de chaque locuteur tout en fonctionnant sur un appareil, comme les appareils mobiles équipés d’une puce Apple M2 comme les ordinateurs portables et Apple Vision Pro. (L’équipe a évité d’utiliser le cloud computing en raison des problèmes de confidentialité liés au clonage vocal.) Enfin, lorsque les locuteurs bougent la tête, le système continue de suivre la direction et les qualités de leur voix à mesure qu’ils changent.
Le système a fonctionné lors de tests effectués dans dix environnements intérieurs et extérieurs. Lors d’un test mené auprès de 29 participants, les utilisateurs ont préféré le système aux modèles ne permettant pas le suivi des enceintes dans l’espace.
Lors d’un test utilisateur distinct, la plupart des participants ont préféré un délai de 3 à 4 secondes, car le système commettait davantage d’erreurs lors de la traduction avec un délai de 1 à 2 secondes. L’équipe travaille à réduire la vitesse de traduction lors des prochaines itérations. Le système ne fonctionne actuellement que pour le langage courant, et non pour le langage spécialisé comme le jargon technique. Pour cet article, l’équipe a travaillé avec l’espagnol, l’allemand et le français, mais des travaux antérieurs sur les modèles de traduction ont montré qu’ils peuvent être entraînés à traduire une centaine de langues.
« C’est un pas en avant vers l’abolition des barrières linguistiques entre les cultures », a déclaré Chen. « Ainsi, si je marche dans la rue au Mexique, même si je ne parle pas espagnol, je peux traduire les voix de tous les gens et savoir qui a dit quoi. »