L’intelligence artificielle peut désormais générer des images pratiquement indiscernables des images réelles. Des chercheurs de l’Institut Fraunhofer d’optronique, de technologies des systèmes et d’exploitation d’images (IOSB) ont développé RealorRender, un outil qui non seulement détecte précisément ces deepfakes, mais explique également pourquoi une image est classée comme réelle ou générée par l’IA. Cette nouvelle approche hybride améliore considérablement la précision de la détection, tandis que l’explicabilité des processus d’IA garantit des résultats transparents.
Image originale ; la méthode développée classe l’image comme un deepfake avec une probabilité de 100 %. © Fraunhofer IOSB
Explications de l’IA explicable concernant l’image où une personne a été identifiée comme un faux. © Fraunhofer IOSB
Les méthodes de création de deepfakes ont connu une évolution fulgurante ces dernières années. Les modèles d’IA modernes peuvent générer des visages, des objets et des scènes entières d’un réalisme saisissant, entraînant une prolifération de photos manipulées sur Internet, d’une ressemblance troublante avec les originales. La capacité de l’IA générative à créer des images d’un réalisme saisissant ouvre de nouvelles perspectives dans des domaines tels que les applications créatives. Cependant, elle s’accompagne d’un risque accru de désinformation.
Les contenus manipulés peuvent déformer les preuves et miner la confiance. Dans le cadre du projet RealOrRender, des chercheurs de l’institut Fraunhofer IOSB collaborent avec l’Office fédéral allemand de la sécurité des systèmes d’information (BSI) afin de démontrer comment des méthodes d’IA innovantes peuvent être utilisées pour distinguer de manière fiable et robuste les deepfakes des images authentiques. Ce projet est financé par le BSI.
Des mécanismes robustes de détection des deepfakes sont essentiels pour atténuer les risques. L’équipe de recherche de l’institut Fraunhofer IOSB adopte une approche hybride inédite, combinant une méthode de classification par apprentissage profond classique avec une méthode évaluant la qualité de la reconstruction d’une image par un modèle génératif.
« Nous utilisons d’abord un générateur d’images basé sur l’IA pour reconstruire l’image. Ensuite, un modèle d’IA prend le relais pour la classification et effectue un calcul hybride de l’erreur de reconstruction. Nous obtenons ainsi une estimation de la précision de la reconnaissance, exprimée en pourcentage. Le taux de détection global se situe entre 85 et 91 %, bien qu’il puisse être supérieur dans certains cas », explique Andreas Specker, chercheur principal au sein du groupe de recherche Systèmes de sécurité et d’assistance vidéo.
Plus la reconstruction est réussie, plus il est probable que l’image en question soit également une image générée par l’IA, c’est-à-dire un deepfake. La précision de la détection est considérablement améliorée par la combinaison de ces deux approches.
Combiner détection et explicabilité
Mais la simple dénonciation des contrefaçons ne suffit pas. Il est tout aussi important de comprendre pourquoi la méthode détecte un deepfake. Expliquer les décisions en même temps que la détection est donc un objectif clé pour les chercheurs.
« Nous utilisons pour cela des méthodes d’IA explicable (XAI), ce qui nous permet de mettre en évidence les zones et les structures de l’image qui contribuent à la décision du modèle. On peut ainsi comprendre clairement pourquoi une image est classée comme réelle ou générée par IA. Par exemple, des textures distinctives ou des motifs de fréquence caractéristiques peuvent indiquer l’origine synthétique d’une image. L’XAI aide à montrer quelles caractéristiques le modèle utilise pour prendre sa décision », explique Nadia Burkart, responsable du groupe IA explicable appliquée à l’institut Fraunhofer IOSB.
Les chercheurs utilisent des méthodes XAI qui peuvent être classées en deux catégories, selon le format de leurs résultats d’explication : les approches basées sur les cartes thermiques et les approches basées sur les segments. Les approches basées sur les cartes thermiques visualisent les zones de l’image qui ont le plus contribué à la décision du modèle et l’influence de ces facteurs sur l’évaluation. À l’inverse, les méthodes basées sur les segments analysent des segments d’image contigus et montrent quelles régions sémantiques ont contribué à la décision du modèle.
Protection technique efficace contre les images contrefaites
Lors de tests menés sur un vaste ensemble de données d’images, les chercheurs ont démontré que cette approche hybride, axée sur l’explication, surpasse les méthodes actuelles. Il en résulte une nouvelle génération de systèmes intelligents capables d’apprendre, transparents et fiables. La combinaison de ces méthodes améliore la robustesse de la détection des deepfakes, même face à des générateurs d’images de plus en plus performants.
Les résultats de la recherche sont intégrés à un outil de démonstration qui aidera initialement le BSI à détecter les deepfakes. Cet outil est simple d’utilisation : après avoir téléchargé l’image souhaitée, le résultat de la détection s’affiche, suivi d’une explication. Un résumé textuel présente également une vue d’ensemble des résultats.
Les recherches menées par l’institut Fraunhofer IOSB et le BSI sont documentées dans deux rapports de projet déjà publiés. Ces travaux profitent non seulement aux services de sécurité et de police, mais aussi aux opérateurs de plateformes de médias sociaux, aux entreprises de médias et aux agences photographiques.
