Notre approche d’auto-apprentissage pour la détection de falsification de visages : nous pré-entraînons notre modèle de diffusion audio-expression sur une vaste collection de vidéos non étiquetées. Ensuite, nous personnalisons ce modèle pré-entraîné sur les vidéos de référence d’une personne d’intérêt (POI) en y insérant un adaptateur spécifique. Enfin, nous authentifions les vidéos suspectes de la POI grâce à la distance de reconstruction par diffusion. Crédit : arXiv (2026). DOI : 10.48550/arxiv.2601.02359
Les deepfakes, c’est-à-dire les images et vidéos générées à l’aide de l’intelligence artificielle, sont de plus en plus difficiles à détecter. Une équipe de recherche internationale de l’Université de Tokyo et de l’Institut Max Planck d’informatique de Sarrebruck, en Allemagne, a mis au point une méthode permettant d’identifier les vidéos manipulées avec une fiabilité supérieure aux approches précédentes. Cette méthode ne repose pas sur la recherche d’artefacts visuels, mais sur l’analyse du naturel des expressions faciales. Lors de tests effectués sur des jeux de données de référence, cette approche a atteint une précision de détection moyenne supérieure à 95 % et a permis d’identifier des manipulations qui avaient mis en échec de nombreux détecteurs existants.
L’intelligence artificielle générative peut désormais créer des images et des vidéos quasiment indiscernables des enregistrements réels à l’œil nu. Si cela ouvre la voie à de nombreuses applications utiles, cela favorise également la désinformation, l’usurpation d’identité et la fraude. C’est pourquoi la détection fiable de ces deepfakes est devenue un axe de recherche majeur.
Une équipe de l’Université de Tokyo et de l’Institut Max Planck d’informatique a mis au point une nouvelle approche qui représente une avancée significative dans ce domaine. Ces travaux de recherche ont été menés par Kaede Shiohara et Toshihiko Yamasaki de l’Université de Tokyo, en collaboration avec Vladislav Golyanik, chercheur principal et responsable du groupe Vision 4D et Quantique à l’Institut Max Planck d’informatique. L’équipe a présenté sa méthode dans l’ article « ExposeAnyone : Personalized Audio-to-Expression Diffusion Models Are Robust Zero-Shot Face Forgery Detectors », lors de l’édition 2026 de la conférence IEEE/CVF sur la vision par ordinateur et la reconnaissance des formes ( CVPR ).
Cadre ExposeAnyone pour la détection de falsification de visages. Crédit : arXiv (2026). DOI : 10.48550/arxiv.2601.02359
Au-delà des artefacts visuels
Jusqu’à présent, les chercheurs ont souvent dû faire un compromis. Les détecteurs de deepfakes les plus performants sont généralement entraînés par apprentissage supervisé, c’est-à-dire qu’ils apprennent à partir de vastes ensembles de données étiquetées contenant des vidéos authentiques et manipulées. Cependant, ces systèmes peuvent se spécialiser involontairement dans certaines techniques de falsification – un phénomène appelé surapprentissage – et avoir des difficultés à reconnaître des schémas de manipulation inédits.
Les approches auto-supervisées, en revanche, sont entraînées exclusivement sur des vidéos authentiques et sont donc considérées comme plus robustes face aux nouvelles technologies de deepfake, mais jusqu’à présent, leur précision de détection était moindre. La nouvelle méthode est la première méthode auto-supervisée à allier robustesse et taux de détection élevés, surpassant ainsi les approches supervisées.
Au lieu de rechercher des artefacts suspects au niveau des pixels, le nouveau système se concentre sur les mouvements du visage. Il s’appuie sur le modèle FLAME, largement utilisé, qui représente mathématiquement les expressions faciales à l’aide de 53 paramètres et est couramment employé en infographie et en animation faciale. Les chercheurs ont pré-entraîné leur modèle de détection sur plus de 450 heures d’enregistrements vidéo publics, ce qui lui a permis d’apprendre à prédire les paramètres FLAME correspondants à partir d’une piste audio – c’est-à-dire les mouvements faciaux naturels attendus lors de la parole.
Cette approche peut ensuite être affinée pour un individu précis à partir d’une soixantaine de secondes de vidéo seulement, la transformant ainsi en un outil d’analyse de deepfakes personnalisé. Lors de l’analyse, le système compare les mouvements faciaux visibles dans la vidéo avec les paramètres FLAME prédits à partir de la bande son correspondante. Des écarts importants entre les deux indiquent fortement que la vidéo a pu être manipulée.
« La combinaison de l’apprentissage auto-supervisé et de l’analyse faciale basée sur FLAME rend notre approche particulièrement robuste face aux nouvelles méthodes de génération de deepfakes ainsi qu’aux distorsions telles que la compression d’image ou le bruit », explique Golyanik.
Un test plus difficile avec Sora 2
Lors d’expérimentations, la méthode a atteint une précision de détection moyenne supérieure à 95 % sur plusieurs jeux de données de référence, surpassant ainsi les performances précédentes. Un jeu de données de référence supplémentaire, développé par les chercheurs à partir de vidéos générées avec Sora 2 d’OpenAI, un modèle de génération vidéo de pointe, s’est avéré particulièrement complexe. Alors que les détecteurs de deepfakes précédents obtenaient sur ce jeu de données des résultats à peine meilleurs qu’un tirage à pile ou face, la nouvelle méthode a tout de même réussi à identifier correctement près de 95 % des vidéos manipulées.
Parallèlement, l’équipe reconnaît les limites de son approche. Le système nécessite un pré-entraînement poussé sur du matériel performant et n’est actuellement pas adapté aux applications en temps réel. Néanmoins, les chercheurs estiment que leurs travaux ouvrent des perspectives prometteuses pour la prochaine génération de systèmes de détection de deepfakes.
