Qu’est ce qui pourrait aller mal?

Meta-anciennement-Facebook a dévoilé une nouvelle IA « révolutionnaire » de synthèse vocale qui peut éditer l’audio existant, parler en six langues et – dans un esprit plus troublant – reproduire les voix de vos proches.

Vous savez, juste au cas où vous voudriez avoir des nouvelles de votre tante, mais sans traîner au téléphone pendant une heure.

« Aujourd’hui, nous annonçons une percée dans l’IA générative pour la parole », a écrit Meta dans un communiqué de presse , publié en fin de semaine dernière. « Nous avons développé Voicebox, un modèle d’IA à la pointe de la technologie qui peut effectuer des tâches de génération de la parole – comme l’édition, l’échantillonnage et la stylisation – pour lesquelles il n’a pas été spécifiquement formé par l’apprentissage en contexte. »

Fondamentalement, tout ce que vous avez à faire pour reproduire la voix de quelqu’un est de fournir au programme un clip audio court de deux secondes. Voicebox « correspondra alors au style audio » et boum : avec un peu plus qu’une invite écrite et le clic de quelques boutons, vous pouvez obtenir une réplique alimentée par l’IA de la voix de votre ami ou membre de la famille – et les implications éthiques et juridiques sont palpables.

Deepfake ami

Pour être juste, Meta offre un cas d’utilisation convaincant pour cette fonction spécifique du modèle, arguant que la technologie pourrait « permettre aux personnes malvoyantes d’entendre des messages écrits d’amis dans leur voix ». Favoriser l’accessibilité dans la technologie est essentiel, et nous pourrions certainement voir que cela est utile.

Néanmoins, le concept de répliquer la voix de votre meilleur ami est encore un peu troublant, sans parler du fait qu’il est propice aux abus. Après tout, si vous pouvez reproduire la voix d’un ami avec seulement un clip sonore de deux secondes, vous pouvez pratiquement reproduire la voix de n’importe qui tant que vous avez l’audio.

Il s’agit d’un manquement potentiel à la sécurité qui pourrait donner lieu à des escroqueries par hameçonnage, à la désinformation et même à une version audio de la pornographie deepfake .

Heureusement, Meta est plus que conscient de cela et choisit de garder le modèle et son code source fermé pour le moment.

« Il existe de nombreux cas d’utilisation passionnants pour les modèles de parole génératifs, mais en raison des risques potentiels d’utilisation abusive, nous ne rendons pas le modèle ou le code Voicebox accessible au public pour le moment », a écrit la société dans un blog de recherche séparé.

Et cela ne peut être qu’une bonne chose étant donné le potentiel d’abus. 

https://about.fb.com/news/2023/06/introducing-voicebox-ai-for-speech-generation/     

https://ai.facebook.com/blog/voicebox-generative-ai-model-speech/