PhotoGuard, créé par des chercheurs du MIT, modifie les photos de manière imperceptible pour nous, mais empêche les systèmes d’IA de les modifier. Une image de deux hommes et la façon dont l’IA masque la zone entourant leurs têtes, empêchant l’utilisation des données de leurs visages.
Vous vous souvenez de ce selfie que vous avez posté la semaine dernière ? Rien n’empêche actuellement quelqu’un de le prendre et de le modifier à l’aide de puissants systèmes d’IA générative. Pire encore, grâce à la sophistication de ces systèmes, il pourrait être impossible de prouver que l’image obtenue est fausse.
La bonne nouvelle, c’est qu’un nouvel outil, créé par des chercheurs du MIT, pourrait empêcher cela.
Cet outil, baptisé PhotoGuard, fonctionne comme un bouclier protecteur en modifiant les photos de façon minuscule et invisible à l’œil nu, mais en les empêchant d’être manipulées. Si quelqu’un essaie d’utiliser une application de retouche basée sur un modèle d’IA génératif tel que la Stable Diffusion pour manipuler une image « immunisée » par PhotoGuard, le résultat paraîtra irréaliste ou déformé.
À l’heure actuelle, « n’importe qui peut prendre notre image, la modifier à sa guise, nous mettre dans des situations très désagréables et nous faire chanter », explique Hadi Salman, chercheur doctorant au MIT, qui a contribué à la recherche. Ces travaux ont été présentés cette semaine lors de la conférence internationale sur l’apprentissage automatique.
PhotoGuard est « une tentative de résoudre le problème de la manipulation malveillante de nos images par ces modèles », précise Hadi Salman. Cet outil pourrait, par exemple, contribuer à empêcher que des selfies de femmes ne soient transformés en deepfake pornographie non consensuelle.
Il n’a jamais été aussi urgent de trouver des moyens de détecter et d’arrêter la manipulation par l’IA, car les outils d’IA générative ont rendu cette tâche plus rapide et plus facile que jamais. Dans le cadre d’un engagement volontaire avec la Maison Blanche, des entreprises d’IA de premier plan telles que OpenAI, Google et Meta se sont engagées à développer de telles méthodes dans le but de prévenir la fraude et la tromperie.
PhotoGuard est une technique complémentaire d’une autre de ces techniques, le filigrane : elle vise à empêcher les gens d’utiliser des outils d’IA pour altérer des images, alors que le filigrane utilise des signaux invisibles similaires pour permettre aux gens de détecter le contenu généré par l’IA une fois qu’il a été créé.
L’équipe du MIT a utilisé deux techniques différentes pour empêcher les images d’être modifiées à l’aide du modèle de génération d’images open-source Stable Diffusion.
La première technique est appelée attaque par encodeur. PhotoGuard ajoute des signaux imperceptibles à l’image afin que le modèle d’IA l’interprète comme autre chose. Par exemple, ces signaux peuvent amener l’IA à classer une image de Trevor Noah comme un bloc de gris pur. Par conséquent, toute tentative d’utilisation de la diffusion stable pour adapter Noah à d’autres situations serait peu convaincante.
La seconde technique, plus efficace, est appelée « attaque par diffusion ». Elle perturbe la façon dont les modèles d’IA génèrent les images, essentiellement en les encodant avec des signaux secrets qui modifient la façon dont elles sont traitées par le modèle. En ajoutant ces signaux à une image de Trevor Noah, acteur américain qui a joué dans Black Panther, l’équipe a réussi à manipuler le modèle de diffusion pour qu’il ignore son message et génère l’image souhaitée par les chercheurs. Par conséquent, toutes les images de Noah éditées par l’IA seraient simplement grises.
Ce travail est « une bonne combinaison entre un besoin tangible et ce qui peut être fait dès maintenant », déclare Ben Zhao, professeur d’informatique à l’université de Chicago, qui a mis au point une méthode de protection similaire, dénommée Glaze, que les artistes peuvent utiliser pour empêcher que leurs œuvres ne soient intégrées dans des modèles d’IA.
Des outils tels que PhotoGuard modifient l’économie et les motivations des attaquants en rendant plus difficile l’utilisation de l’IA à des fins malveillantes, explique Emily Wenger, chercheuse chez Meta, qui a également travaillé sur Glaze et a mis au point des méthodes de prévention de la reconnaissance faciale.
« Plus la barre est haute, moins il y a de personnes désireuses ou capables de la franchir », assure Emily Wenger.
Selon Ben Zhao, l’un des défis consistera à voir comment cette technique peut être appliquée à d’autres modèles existants. Les chercheurs ont publié une démonstration en ligne qui permet aux gens de vacciner leurs propres photos, mais pour l’instant, elle ne fonctionne de manière fiable que sur Stable Diffusion.
Selon Valeriia Cherepanova, chercheuse en doctorat à l’université du Maryland, qui a mis au point des techniques pour protéger les utilisateurs de médias sociaux contre la reconnaissance faciale, PhotoGuard peut rendre plus difficile la falsification de nouvelles photos, mais il n’offre pas une protection complète contre les deepfakes, car les anciennes images des utilisateurs peuvent toujours être utilisées à mauvais escient et il existe d’autres moyens de produire des deepfakes.
En théorie, les gens pourraient appliquer ce bouclier protecteur à leurs images avant de les mettre en ligne, précise Aleksander Madry, professeur au MIT qui a contribué à la recherche. Mais une approche plus efficace serait que les entreprises technologiques l’ajoutent automatiquement aux images téléchargées sur leurs plateformes, ajoute-t-il.
Il s’agit toutefois d’une course aux armements. Bien qu’elles se soient engagées à améliorer les méthodes de protection, les entreprises technologiques continuent de développer de nouveaux modèles d’IA plus performants à une vitesse fulgurante, et les nouveaux modèles pourraient être en mesure de passer outre les nouvelles protections.
Le meilleur scénario serait que les entreprises qui développent des modèles d’IA fournissent également un moyen d’immuniser leurs images qui fonctionne avec chaque modèle d’IA mis à jour, explique Hadi Salman.
Selon Henry Ajder, spécialiste de l’IA générative et des « deepfakes », il est beaucoup plus viable d’essayer de protéger les images contre les manipulations de l’IA à la source que d’essayer d’utiliser des méthodes peu fiables pour détecter les manipulations de l’IA.
Toute plateforme de médias sociaux ou entreprise d’IA « doit penser à protéger les utilisateurs contre la pornographie [non consensuelle] ou le clonage de leur visage pour créer du contenu diffamatoire », explique-t-il.
