Les deepfakes audio en temps réel sont arrivés.
infohightech ·
Les premiers deepfakes d’IA , bien qu’impressionnants d’un point de vue technique, étaient à la fois difficiles à créer et pas encore entièrement convaincants.
La technologie a toutefois progressé rapidement depuis 2020 environ et a récemment franchi un obstacle majeur : il est désormais possible de créer des deepfakes audio convaincants en temps réel grâce à une combinaison d'outils accessibles au public et de matériel abordable. C'est ce qu'indique un rapport publié en septembre par NCC Group , une société de cybersécurité . Ce rapport décrit une technique de deepfake « vishing » ( hameçonnage vocal ) utilisant l'IA pour recréer la voix d'une cible en temps réel.
Pablo Alobera , consultant en sécurité chez NCC Group, explique que l'outil de deepfake en temps réel , une fois entraîné, peut être activé d'une simple pression sur un bouton. « Nous avons créé une interface, une page web, avec un bouton de démarrage. Il suffit de cliquer sur « Démarrer » et le système commence à fonctionner », explique Pablo Alobera.
Les deepfakes vocaux en temps réel peuvent se faire passer pour n'importe qui
Le groupe NCC n'a pas encore rendu public son outil de deepfake vocal en temps réel, mais son rapport de recherche inclut un échantillon de l'audio obtenu . Il démontre que le deepfake en temps réel est à la fois convaincant et peut être activé sans latence perceptible.
https://www.nccgroup.com/media/5wohajk3/sian_df.wav
La qualité du son d'entrée utilisé dans la démonstration est également plutôt médiocre, mais le son en sortie reste convaincant. Cela signifie que l'outil pourrait être utilisé avec une grande variété de microphones présents sur les ordinateurs portables et les smartphones .
Les deepfakes audio ne sont pas une nouveauté, bien sûr. Plusieurs entreprises, comme ElevenLabs , proposent des outils permettant de créer un deepfake audio avec seulement quelques minutes d'audio.
Cependant, les exemples précédents de deepfakes vocaux générés par IA n'étaient pas enregistrés en temps réel, ce qui pouvait les rendre moins convaincants. Les attaquants pouvaient préenregistrer des dialogues falsifiés, mais la victime pouvait facilement s'en apercevoir si la conversation s'écartait du scénario prévu. Par ailleurs, un attaquant pouvait tenter de générer le deepfake à la volée, mais cela nécessitait au moins plusieurs secondes (et souvent bien plus), entraînant des décalages perceptibles dans la conversation. Le deepfake en temps réel du groupe NCC, quant à lui, n'est pas affecté par ces problèmes.
Selon Alobera, avec l'accord de ses clients, NCC Group a utilisé le modificateur de voix ainsi que d'autres techniques, comme l'usurpation d'identité de l'appelant , pour se faire passer pour des personnes. « Presque à chaque fois, ça a fonctionné. La personne visée croyait que nous étions bien celle que nous imitions », précise Alobera.
La démonstration de NCC Group est également remarquable car elle ne repose pas sur un service tiers, mais utilise des outils open source et du matériel facilement disponible. Bien que les meilleures performances soient obtenues avec un GPU haut de gamme, le deepfake audio a également été testé sur un ordinateur portable équipé d'une carte graphique Nvidia RTX A1000 (l'A1000 figure parmi les GPU les moins performants de la gamme actuelle de Nvidia). Alobera affirme que l'ordinateur portable a été capable de générer un deepfake vocal avec un délai d'une demi-seconde seulement.
Les deepfakes vidéo en temps réel ne sont plus très loin derrière
Le succès de NCC Group dans la création d'un outil de deepfakes vocaux en temps réel laisse présager une popularisation imminente de cette technologie. Il semblerait qu'on ne puisse pas toujours se fier à ce qu'on entend, même lors d'un appel téléphonique avec une personne connue depuis des années.
Mais qu'en est-il de ce que vous pouvez voir ?
Les deepfakes vidéo connaissent également un regain de popularité, grâce à une vague de vidéos deepfake virales qui déferlent sur TikTok, YouTube , Instagram et d'autres plateformes vidéo.
Ceci a été rendu possible par la sortie de deux modèles d'IA récents : WAN 2.2 Animate d'Alibaba et Gemini Flash 2.5 Image de Google (souvent appelé Nano Banana). Alors que les modèles précédents pouvaient souvent reproduire les visages de célébrités, les modèles les plus récents permettent de créer des deepfakes à l'image de n'importe qui et de les intégrer dans quasiment n'importe quel environnement.
Trevor Wiseman , fondateur de Circuit, une société de conseil en cybersécurité spécialisée en intelligence artificielle, affirme avoir déjà constaté des cas où des entreprises et des particuliers ont été dupés par des deepfakes vidéo. Il raconte qu'une entreprise a été piégée lors d'un processus de recrutement et a « expédié un ordinateur portable à une adresse américaine qui s'est avérée être un point de transit pour une escroquerie ».
Aussi impressionnantes que soient les dernières vidéos truquées, elles présentent néanmoins des limites.

Les deepfakes audio en temps réel faciliteront les étapes nécessaires à la réussite des attaques de phishing vocal. NCC Group
Contrairement aux deepfakes audio du groupe NCC, les deepfakes vidéo les plus récents ne permettent toujours pas d'obtenir des résultats de haute qualité en temps réel. Il existe également quelques indices. Wiseman affirme que même les deepfakes vidéo les plus récents peinent à faire correspondre l'expression d'une personne avec son ton de voix et son comportement. « Si la personne est excitée, mais qu'elle ne manifeste aucune émotion, c'est du fake », dit-il.
Il se pourrait toutefois que l'exception confirme la règle. Wiseman souligne que la technologie est déjà suffisamment performante pour tromper la plupart des gens la plupart du temps. Il suggère que les entreprises et les particuliers auront besoin de nouvelles tactiques d'authentification, qui ne reposent pas sur des conversations vocales ou vidéo.
« Vous savez, je suis fan de baseball », dit-il. « Ils ont toujours des signaux … Ça peut paraître cliché, mais à notre époque, il faut trouver un moyen de dire si c'est vrai ou non. »