Microsoft brevète une IA capable de mettre littéralement des mots dans la bouche des gens en temps réel.
La rédaction ·
Voilà un nouveau type de filtre !
Le brevet, initialement repéré par le site de suivi des brevets Patentlyze , est décrit par ses inventeurs comme une « amélioration quasi en temps réel par intelligence artificielle (IA) des présentations vidéo ou en réalité augmentée (RA) d'événements en direct ».
Grâce à des agents d'IA, le système identifierait et modifierait ou supprimerait certains mots, tout en adaptant les expressions du visage et des lèvres de l'orateur. Ces agents s'appuieraient sur des paramètres prédéfinis ou des profils d'utilisateurs pour effectuer les modifications, et ajusteraient également la vidéo et l'audio juste avant et après chaque mot supprimé ou remplacé afin d'assurer des transitions fluides.
À l'ère des médias et d'Internet de plus en plus marqués par les deepfakes, la désinformation et les contenus trompeurs alimentés par l'IA, le système décrit dans ce brevet pourrait ouvrir la voie à un nouveau monde d'outils de filtrage capables de modifier subtilement la réalité en temps réel, ici de manière hautement personnalisée. Le brevet suggère que les spectateurs pourraient ainsi suivre n'importe quel événement en direct sans entendre ce qu'ils ne souhaitent pas entendre.
Les cas d'utilisation potentiels évoqués dans le brevet sont variés. Une application possible est la traduction en temps réel, le système permettant de diffuser des émissions et autres séquences vidéo en direct dans la langue préférée du spectateur.
Le brevet suggère également qu'un tel outil pourrait être utilisé pour supprimer les mots de remplissage comme « euh » ou « ah » dans la parole en direct, ou pour effacer les bégaiements ou les troubles de la parole.
D'autres cas d'utilisation possibles vont cependant beaucoup plus loin. Selon le brevet, le système pourrait servir à réduire l'utilisation de mots ou d'expressions personnelles, comme les néologismes, ainsi que les expressions familières telles que « vous autres » ou « prendre son courage à deux mains ». Le brevet affirme également que le système pourrait éliminer les mots marmonnés, mal prononcés, mal utilisés, mal dits, offensants, insensibles ou inappropriés. Les mots de remplacement, précise-t-il, pourraient provenir d'une recherche Internet.
Autrement dit, les diffusions en direct ne sont peut-être plus si directes que ça.
Le doublage existe depuis longtemps et les vidéos sont constamment montées, pour des raisons légitimes ou malveillantes. Cependant, le montage automatique de vidéos en direct grâce à l'intelligence artificielle pourrait transformer radicalement la façon dont le public interagit avec ces contenus. Actuellement, si un son ne plaît pas, il suffit de couper le son ; le système présenté par Microsoft propose un environnement où chacun pourrait adapter la parole d'une autre personne à ses préférences. Au-delà de la traduction, l'utilisation d'un outil qui corrige les erreurs ou supprime les mots et expressions propres au dialecte local ne nous isole-t-elle pas davantage ? Qu'y a-t-il de mal à entendre quelqu'un du Sud dire « y'all » ?
À cette fin, le brevet mentionne que la vidéo et l'audio en direct d'un événement peuvent être enregistrés et stockés à des fins de « vérité terrain », faisant allusion aux risques d'utilisation abusive et de confusion qui pourraient découler d'un tel outil.
Parmi les types de séquences vidéo en direct qui pourraient être transformées par ce système, on peut citer les conférences, les présentations, toute une gamme de productions télévisées (cérémonies de remise de prix, jeux télévisés et émissions culinaires), et les événements sportifs en direct, entre autres.
https://futurism.com/artificial-intelligence/microsoft-patents-ai-words-in-peoples-mouths
https://patentlyze.com/patent/microsoft-live-ai-video-rewrites-speech/#the-drawings