Un logiciel simple traduit des vidéos dans d'autres langues, grâce l'IA générative

infohightech ·

Le logiciel Video Translate de D-ID permet à quiconque crée du contenu en ligne de briser les barrières linguistiques et d'atteindre un public mondial.

"C'est moi qui parle arabe comme un natif, grâce à l'IA." Dans cette vidéo, John Jeffay parle japonais comme un natif, grâce à l'IA. Avec l'aimable autorisation de D-ID  

John Jeffray a téléchargé une vidéo depuis son téléphone et en quelques minutes, l’outil avait cloné sa voix, traduit ses mots et les avait synchronisés en play-back pour créer une image animée de la personne plus vraie que nature. Il existe également des versions en français et en japonais.

Il s’agit de la dernière d’une série d’avancées technologiques de la start-up israélienne D-ID, qui utilise l’IA générative pour créer des « humains numériques photoréalistes ».

Il permet à quiconque crée du contenu en ligne – d’un tutoriel sur la façon de réparer votre machine à laver à une vidéo marketing professionnelle – de briser les barrières linguistiques et d’atteindre un public mondial.

Le logiciel Video Translate est très facile à utiliser et les résultats sont remarquablement réalistes. La traduction est en grande partie précise, mais il y a des moments où l'IA n'a pas tout à fait compris ce qui est dit.

En fait, ce qui ai dit dans la vidéo de 30 secondes, est : « Je ne parle ni français, ni arabe, ni japonais. »  

Cela donne, dans la version française, « Je ne parle [mot inventé] ni arabe, ni [répète le mot inventé] ». Il ajoute ensuite une « bibliothèque » aléatoire qui n'ai certainement pas dite.

Nous savons tous que l'IA est formidable, sauf quand elle ne l'est pas. Selon D-ID, il n'existe actuellement aucun moyen de corriger ces défauts, à part le réenregistrement. Mais l'entreprise travaille sur une mise à niveau qui permettra de vérifier et de modifier la traduction avant de produire la vidéo.

Ce petit problème n’enlève rien au fait qu’il s’agit d’une technologie extrêmement intelligente.

Mieux que les sous-titres ou le doublage

« L'idée est de vous permettre de créer des vidéos dans des langues que vous ne parlez pas », explique Ron Friedman, responsable du contenu et du marketing créatif chez D-ID, « en téléchargeant une seule vidéo et en la traduisant automatiquement, en clonant votre voix pour en faire une réplique exacte et en faisant correspondre la synchronisation labiale et les mouvements du visage dans la vidéo originale."

« Le résultat est une vidéo de vous parlant un large éventail de langues que vous ne parlez pas nécessairement. »

Il s'adresse aussi bien aux utilisateurs particuliers – pour envoyer un message d'anniversaire dans l'une des 30 langues disponibles – qu'aux clients professionnels, pour cibler de nombreux pays avec une seule campagne.

La façon la plus simple de traduire une vidéo a toujours été de recourir aux sous-titres (pas très attrayants), suivis du doublage (idem) ou de l’enregistrement de plusieurs présentateurs dans plusieurs langues, ce qui peut être très coûteux.

La solution de D-ID est tout simplement géniale. Elle ouvre de nouveaux marchés aux utilisateurs professionnels en proposant des versions rapides, efficaces, abordables et convaincantes d'une même vidéo dans de nombreuses langues.

Alors, dans quelle mesure ce produit est-il convaincant ? « Je pense que comme pour toute fonctionnalité d'IA, certaines personnes, celles qui examinent de plus près chaque détail, pourraient remarquer [qu'il est généré par l'IA] », déclare Tal Ron-Pereg, directeur produit chez D-ID.

« Mais pour le public habituel qui regarde les images, la plupart d'entre eux ne sauront pas qu'il s'agit d'une IA et qu'il existe des trucs et astuces pour les rendre encore plus belles. Certains angles seront plus beaux que d'autres, mais la plupart du temps, elles auront l'air très, très réelles. »

S'améliore avec le temps

Comme pour toute IA, l’IA qui alimente Video Translate apprend et s’améliore. 

« Au fil du temps, les capacités de traduction et de synchronisation labiale s’améliorent », explique Tal Ron-Pereg.

« Nous ajouterons également des fonctionnalités supplémentaires qui vous permettront de réviser avant la soumission – en lisant la traduction avant de générer réellement la vidéo, afin que vous puissiez modifier un mot spécifique que vous pensez que nous avons mal traduit.

« Nous ajouterons également une fonctionnalité permettant à l'utilisateur de donner des instructions, par exemple la prononciation de certains mots ou de donner un peu plus de détails sur le sujet de la vidéo et à qui vous vous adressez, afin que le ton et le style soient mieux adaptés. »

Avec le temps, Video Translate sera capable de gérer plusieurs locuteurs (pour le moment, il est confondu par plusieurs personnes et peut finir par cloner deux voix en une seule). 

D'autres langues seront également disponibles. Pour l'instant, par exemple, Video Translate comprend l'hébreu comme langue d'entrée, mais ne le propose pas encore comme langue de sortie.

Désidentification

D-ID a débuté sa vie en 2017 en tant qu'entreprise pionnière en matière de désidentification (D-ID) - ce qui signifie tromper la technologie de reconnaissance faciale.

Les fondateurs Gil Perry (PDG), Sela Blundheim (COO) et Eliran Kota (CTO) étaient tous des vétérans de l'unité d'élite du renseignement des signaux 8200 des forces de défense israéliennes.

Ils ont modifié les photos des gens afin qu'ils soient toujours reconnaissables par les humains, mais qu'ils ne puissent pas être identifiés par les algorithmes de reconnaissance faciale.

L’entreprise, basée à Tel Aviv, a commencé à créer des avatars – des êtres humains numériques réalistes – qui peuvent engager des conversations en langage naturel en temps réel, raconter des vidéos à la place d’acteurs, etc. Elle a attiré 48 millions de dollars de financement, compte 90 employés et un avenir très prometteur, déclare Friedman.

« Au début, nous interagissions avec les ordinateurs en tapant des commandes en texte vert sur un écran noir. Puis est venue l’interface utilisateur graphique (GUI) – la souris, le glisser-déposer et les fonctions de défilement que nous utilisons aujourd’hui.

« Nous pensons que l'avenir est à l'interface utilisateur naturelle, dans laquelle vous interagissez avec votre appareil (votre ordinateur portable, votre téléphone, votre réfrigérateur, votre voiture, n'importe quoi) de manière naturelle, ce qui signifie des conversations en face à face."

« Au lieu d'aller sur un site Web et de le parcourir, vous aurez une conversation avec l'avatar de ce site Web. Vous pourrez lui demander comment résoudre un problème avec un véhicule. "

« Vous pourrez lui demander d'ouvrir un compte bancaire ou de prendre rendez-vous chez le médecin, le tout à travers une conversation très naturelle avec un avatar qui peut vous voir, qui peut vous entendre.

« Il reconnaît le ton de votre voix et votre langage corporel et vous répond de la manière la plus naturelle et stimulante. »

Pour plus d'informations, cliquez ici . 

https://www.israel21c.org/simple-software-translates-videos-to-other-languages

Cet article vous a été utile ? Partagez-le.