La nouvelle IA de traduction de Meta est presque un « poisson de Babel »

Les traducteurs universels de science-fiction, comme le poisson de Babel dans Le Guide du voyageur galactique , ont longtemps proposé le rêve d'une traduction instantanée d'une langue parlée à une autre. Aujourd'hui, dans ce qui pourrait être une étape clé vers la réalisation de ce fantasme, les scientifiques de Meta, la société mère de Facebook, ont développé un système d'intelligence artificielle capable de traduire instantanément la parole et le texte, y compris des traductions directes de parole à parole, dans 101 langues.

« La science-fiction fournit un objectif clair sur lequel notre groupe peut se concentrer », explique Marta Costa-jussà , chercheuse scientifique au sein de l'équipe de recherche fondamentale en IA de Meta à Menlo Park, en Californie. Les scientifiques ont décrit leurs travaux le 15 janvier dans la revue Nature .

À mesure que le monde devient de plus en plus interconnecté, les gens ont plus que jamais accès à des contenus multilingues. Cependant, la plupart des systèmes de traduction automatique sont conçus pour saisir et restituer uniquement du texte. Jusqu’à présent, les systèmes de traduction automatique de la parole à la parole qui existaient couvraient beaucoup moins de langues que les systèmes de traduction de texte à texte. De plus, les systèmes de traduction automatique de la parole à la parole précédents étaient souvent orientés vers la traduction d’une langue donnée vers l’anglais, plutôt que de l’anglais vers une autre langue.

Technologie de traduction SeamlessM4T de Meta

Meta a développé un système d’intelligence artificielle appelé SeamlessM4T qui peut traduire des paroles et des textes dans 101 langues. Plus précisément, il peut prendre en charge la traduction parole-parole pour 101 à 36 langues, la traduction parole-texte pour 101 à 96 langues, la traduction texte-parole pour 96 à 36 langues, la traduction texte-texte pour 96 langues et la reconnaissance vocale automatique pour 96 langues. (La capacité ou non de traduire d’une langue à l’autre dépend de la disponibilité de données vocales de qualité, souligne Marta Costa-jussà.)

Pour développer SeamlessM4T, les chercheurs ont entraîné un système d’IA de réseau neuronal imitant le cerveau sur 4 millions d’heures d’audio multilingue et des dizaines de milliards de phrases issues de référentiels de données Web accessibles au public. Ils lui ont également fait analyser environ 443 000 heures d’audio avec du texte correspondant (par exemple, des clips vidéo Internet avec sous-titres) pour améliorer encore le système.

En ce qui concerne la traduction parole-parole, l'équipe de recherche a constaté que les traductions de SeamlessM4T étaient jusqu'à 23 % plus précises que celles des systèmes de pointe précédents. Pour les tâches de conversion parole-texte, la précision était de 8 % supérieure à celle des systèmes précédents.

De plus, SeamlessM4T s’est montré environ 50 % plus résistant au bruit de fond et aux variations dans la façon dont les locuteurs parlaient lors de tâches de conversion de la parole en texte. De plus, il pouvait traduire des énoncés en mélangeant deux langues ou plus.

Vérification de la toxicité et des biais

Pour réduire les risques que SeamlessM4T ajoute des grossièretés et d’autres termes toxiques à ses traductions, les chercheurs ont utilisé deux stratégies pour éliminer la toxicité pendant son apprentissage et son fonctionnement. Lorsqu’ils ont comparé les modèles SeamlessM4T à l’état de l’art, ils ont constaté que ces approches réduisaient la toxicité des traductions jusqu’à 20 %.

« Les chercheurs de SeamlessM4T prennent soin de vérifier les risques potentiels liés à leurs traductions », explique Allison Koenecke , professeure adjointe en technologies de l’information à l’université Cornell d’Ithaca, dans l’État de New York, qui n’a pas participé à cette étude. « C’est particulièrement important, car la traduction vocale assistée par ordinateur est de plus en plus utilisée dans toute une série d’applications à enjeux élevés, des rendez-vous médicaux aux recrutements sur le lieu de travail. »

Les scientifiques de Meta ont également examiné si SeamlessM4T favorisait injustement un sexe lors de la traduction de phrases neutres en langues genrées. Cependant, ils ont constaté qu'ils ne pouvaient pas améliorer de manière significative les performances en matière de biais sexistes et affirment qu'ils doivent développer des techniques spécifiques pour contrer ce biais.

En plus de SeamlessM4T, Meta a lancé plusieurs systèmes d’IA pour l’analyse de la parole et du texte, note Tanel Alumäe , professeur associé de traitement de la parole à l’Université de technologie de Tallinn en Estonie, qui n’a pas travaillé sur SeamlessM4T. Tanel Alumäe et ses collègues ont utilisé avec succès l’un de ces outils « pour des choses comme la reconnaissance des émotions à partir de la parole et la détection du déclin cognitif précoce – par exemple, la maladie d’Alzheimer – à partir de la parole », note-t-il.

Actuellement, Meta utilise SeamlessM4T pour doubler automatiquement des vidéos sur Instagram et Facebook . Il permet également de traduire en temps réel l'espagnol, le français ou l'italien vers l'anglais grâce à des haut-parleurs équipés de lunettes Ray-Ban spéciales , assure Marta Costa-jussà. Pour stimuler les recherches futures sur les technologies de traduction vocale, Meta met à disposition du public du code, des outils, des bibliothèques et d'autres ressources associées à SeamlessM4T pour une utilisation non commerciale.

Il reste encore beaucoup à faire si les chercheurs veulent faire de SeamlessM4T un outil de traduction universel sur Terre. Bien qu'il soit intéressant de constater que la technologie actuelle prend en charge environ 100 langues, « le nombre de langues parlées dans le monde est bien plus important : environ 6 500, selon certaines estimations », lance Tanel Alumäe.

https://spectrum.ieee.org/machine-translation

https://www.canva.com/fr_fr/outils/traduction-image

Avec plus de 100 millions d'utilisateurs dans le monde, dont plus de 5 millions en France, Canva facilite déjà la vie à de nombreux utilisateurs. Grâce à la récente introduction de l'IA sur cette plateforme, il est désormais possible d'automatiquement traduire les légendes des images.