Les deepfakes générés par l’IA deviennent de plus en plus réalistes. Des chercheurs de l’université du Colorado aux Etats-Unis ont mis au point une méthode plus efficace pour les détecter.
infohightech ·
Des centaines des informaticiens les plus brillants du pays se sont réunis à Denver l’automne dernier pour une conférence, et Tuan Tran leur avait préparé un test de taille : Pourraient-ils faire la différence entre le vrai Brad Pitt et une version de lui générée par une IA ?
Tran, doctorant en informatique à l’université du Colorado à Boulder, a projeté la vidéo sur un grand écran. Seule la moitié du public a pu déceler le deepfake.
« Ces modèles de génération de deepfakes deviennent très performants », a déclaré Tran.
Pour remédier à ce problème, Tran et une équipe de chercheurs de l’Université du Colorado à Boulder ont entrepris l’an dernier de concevoir leur propre système de détection de faux contenus vidéo. Ce système utilise une puissance de calcul bien moindre pour obtenir les mêmes résultats que les modèles de détection actuels.
L’équipe de scientifiques de l’Université du Colorado à Boulder qui a mis au point un nouveau système de détection des deepfakes comprend, de gauche à droite : Eric Keller, Sangtae Ha, Shirin Ebadi et Tuan Tran. (Crédit : Scott Franz/Université du Colorado à Boulder)
Leurs conclusions ont été présentées à SIGCOMM, une conférence phare dans le domaine des réseaux et systèmes informatiques qui s’est tenue en août à Denver.
Des individus mal intentionnés ont utilisé des deepfakes générés par intelligence artificielle pour usurper l’identité de directeurs financiers de grandes entreprises et inciter des employés à leur transférer d’importantes sommes d’argent. À Hong Kong, une escroquerie de ce type a permis à une victime de transférer 25 millions de dollars à des fraudeurs.
Des millions de personnes restent vulnérables à ce type de manipulation lorsqu’elles participent à des visioconférences. Selon Tran, Zoom, Apple FaceTime et Google Meet ne disposent pas de système de détection des deepfakes en temps réel. Microsoft Teams en est également dépourvu, mais l’entreprise a récemment annoncé des efforts pour y remédier.
Les systèmes disponibles dans le commerce conçus pour détecter les imposteurs nécessitent une puissance de calcul massive, ce qui les rend difficiles à déployer à grande échelle et trop coûteux pour la plupart des utilisateurs.
L’équipe de Tran a entrepris de déterminer si la détection des deepfakes pouvait être suffisamment simplifiée pour être accessible au grand public.
« Certains pensaient que c’était impossible en raison des exigences du système et de l’architecture actuelle », explique Sangtae Ha, professeur d’informatique à l’université du Colorado à Boulder et codirecteur de l’équipe de recherche. « Mais en abordant le système sous un autre angle, on peut en réalité résoudre le problème. »
Pixels problématiques
L’équipe a passé de nombreuses heures devant un tableau blanc, au cœur du centre d’ingénierie de l’université du Colorado, à tenter de décrypter le code et de trouver un moyen de simplifier la détection des deepfakes. Il leur arrivait de ne rentrer chez eux qu’à 1 heure du matin.
Ils ont travaillé pendant les vacances d’automne, Noël et même le Nouvel An.
« L’expérience en elle-même était très enrichissante, même dans ses moments les plus intenses », a déclaré Shirin Ebadi, doctorante en génie électrique et informatique et co-auteure de l’étude. « Le plus passionnant, c’est de réaliser quelque chose d’inédit. »
Elle a expliqué que les détecteurs de deepfakes existants fonctionnent bien, mais qu’ils ont besoin de voir l’image originale pour fonctionner. La vidéo circulant sur Internet étant compressée, avant qu’un détecteur puisse analyser un visage, il doit reconstruire chaque image de la vidéo de chaque participant en pleine résolution.
Cela nécessite une puissance de calcul considérable.
Les chercheurs ont découvert qu’il n’était pas nécessaire de reconstruire la vidéo pour repérer les deepfakes. Les indices étaient déjà présents dans la version compressée de la vidéo qui circule sur le réseau.
Imaginez une vidéo d’une personne parlant devant un mur uni. La compression vidéo ne transmet pas chaque pixel de chaque image. Elle décrit plutôt les changements survenus depuis l’image précédente.
Le mur change à peine dans la vidéo, il est donc recouvert de quelques grands blocs de pixels, tandis que le visage et ses expressions changeantes sont découpés en de nombreux petits blocs pour capturer les détails.
Lorsqu’un changement d’apparence survient brutalement, un système de traitement de l’information doit enregistrer une grande quantité de nouvelles données. L’équipe a mesuré la proportion de ces nouvelles données qui se déposent sur le visage et leur étendue.
Point crucial, la méthode lit ces données directement dans la vidéo compressée, sans jamais la décompresser en haute résolution. Ce n’est que lorsqu’une activité paraît suspecte que le détecteur demande à l’appareil de l’expéditeur une image complète et récente, puis utilise l’IA pour vérifier s’il s’agit d’un deepfake.
« Nous n’avions qu’à examiner les données d’une image sur cent, au lieu de chaque image », a déclaré Ha.
Passage à l’échelle supérieure
L’équipe a démontré que le système de détection pouvait repérer les deepfakes en utilisant une puissance de calcul 143 fois inférieure à celle des modèles existants. Testé sur une bibliothèque de 1 000 vidéos en ligne contenant des deepfakes, il a obtenu des résultats d’une précision quasi parfaite.
Eric Keller, professeur de génie électrique et informatique à l’université du Colorado à Boulder et co-responsable du projet, a déclaré que l’équipe souhaite adapter le système de détection afin qu’il puisse être étendu et utilisé pour la vidéoconférence à grande échelle.
L’équipe parie que, face à l’ampleur croissante du problème des deepfakes, la demande en nouvelles technologies de détection ne fera que croître.