Des chercheurs ont mis au point une technique d’audit permettant de tester les modèles d’IA générative afin de détecter d’éventuelles capacités malveillantes, sans les inciter à produire des résultats illégaux.

Avec l’essor fulgurant de l’intelligence artificielle générative, de nombreux modèles open source sont désormais disponibles en ligne et peuvent être adaptés par tous à leurs besoins, comme la génération de rendus de produits dans un style artistique particulier. 

Mais ces modèles tombent aussi entre les mains d’acteurs malveillants qui peuvent les optimiser pour produire des contenus illégaux, comme des discours haineux ou des images pédopornographiques (child sexual abuse material (CSAM)). Ce problème est croissant : le Centre national pour les enfants disparus et exploités  a reçu plus de 1,5 million de signalements d’images pédopornographiques générées par l’IA en 2025, contre 67 000 en 2024.

Les ingénieurs testent généralement l’IA pour détecter les capacités nuisibles en sollicitant le modèle et en inspectant ses résultats, mais cela est impossible pour le CSAM, car il est illégal aux États-Unis de générer un tel contenu, quelles que soient les intentions.

Pour éviter ce dilemme et améliorer la sécurité de l’IA, une équipe de scientifiques du MIT, dirigée par Vinith Suriyakumar, doctorant, et les professeurs associés Ashia Wilson et Marzyeh Ghassemi, s’est associée à des chercheurs de Thorn afin de développer une nouvelle méthode d’audit permettant de déterminer si un modèle est susceptible de produire du contenu pédopornographique, sans intervention de sa part. Thorn est une organisation à but non lucratif œuvrant pour la protection de l’enfance et dont la mission est de transformer les dispositifs de protection des enfants contre les abus et l’exploitation sexuels à l’ère numérique.

Leur technique examine comment le fonctionnement interne d’un modèle a été adapté, sans jamais produire de résultat. En analysant les représentations cachées, elle permet de déterminer avec certitude si un modèle a été spécialisé pour produire des images nuisibles.

Lors des tests, la procédure d’audit a permis d’identifier des variantes de modèles spécialement conçues pour générer du CSAM avec une précision de 100 %. Une plateforme d’hébergement pourrait utiliser cette technique pour signaler les modèles non sécurisés et les supprimer rapidement, voire empêcher leur mise en ligne.

« Cela ouvre de nouvelles perspectives aux plateformes hébergeant des modèles open source et aux forces de l’ordre pour tester la capacité d’un modèle à générer du CSAM. Auparavant, nous n’avions aucun moyen de le mesurer. C’était une lacune majeure dont certains profitaient. Désormais, nous pouvons nous attaquer à un problème de sécurité de l’IA aux conséquences néfastes importantes », explique Vinith Suriyakumar, doctorant en génie électrique et informatique (EECS) au MIT et auteur principal d’un article sur cette technique.

Suriyakamur et Wilson, professeur titulaire de la chaire Lister Brothers de développement de carrière en génie électrique et informatique et chercheur principal au Laboratoire des systèmes d’information et de décision (LIDS : Laboratory for Information and Decision Systems), ont collaboré à cet article avec Lena Stempfle, postdoctorante au MIT ; Ghassemi, professeur associé en génie électrique et informatique et membre de l’Institut des sciences de l’ingénierie médicale (IMES : Institute of Medical Engineering Sciences) et du LIDS ; ainsi que d’autres chercheurs de l’Université de Boston et de Thorn. Cet article a été présenté lors de l’atelier « Une IA fiable au service du bien commun » de la Conférence internationale sur l’apprentissage automatique.

Adaptations d’audit

Les techniques récentes ont facilité la tâche des utilisateurs pour adapter un modèle d’IA générative à leur projet grâce à un processus appelé réglage fin. 

Plutôt que de réentraîner l’ensemble du modèle sur un ensemble de données spécifique à la tâche, les individus peuvent utiliser un algorithme appelé adaptation de faible rang (LoRA : low-rank adaptation) pour spécialiser le modèle de manière plus efficace.

Cela a engendré une vague de nouvelles variantes de modèles d’IA générative pour diverses applications, comme la production d’images à l’aquarelle imitant un mouvement artistique. Mais cela a également permis à des acteurs malveillants de créer des modèles capables de générer des images pédopornographiques de haute qualité et d’autres images préjudiciables.

Pour auditer un modèle, les ingénieurs vérifient généralement la présence de contenu préjudiciable et analysent ses résultats, mais cette procédure d’audit manuelle n’est pas facilement extensible. De plus, la génération répétée d’images choquantes peut avoir des conséquences psychologiques négatives sur les évaluateurs humains. 

Cette méthode d’évaluation se heurte rapidement à des difficultés lorsqu’il s’agit de tester le CSAM, dont la production est illégale à quelque fin que ce soit aux États-Unis et dans de nombreuses autres juridictions internationales.

« Nous nous trouvons dans une situation très difficile où, de par la loi elle-même, nous ne pouvons pas utiliser les moyens d’évaluation habituels. Nous avons dû abandonner tous les outils existants et adopter une approche différente », explique Suriyakumar.

Après avoir pris connaissance de ce problème, les chercheurs se sont associés à Thorn pour tenter de le résoudre.

Une solution non générative

Au lieu de se concentrer sur les résultats, les chercheurs ont ciblé les modifications apportées par un algorithme LoRA lors du réglage fin. 

Leur technique analyse ces modifications, appelées adaptateurs LoRA, pour déterminer si un modèle a été spécialisé pour une capacité nuisible, sans générer de sortie.

En utilisant une technique appelée sondage gaussien, les chercheurs alimentent le modèle avec un ensemble de points de données aléatoires et analysent comment il manipule ces données au sein de sa structure interne multicouche. 

« Nous n’exécutons jamais le modèle jusqu’à son terme ni ne le sollicitons, nous ne générons donc jamais d’images », explique Suriyakumar.

Les chercheurs enregistrent ces modifications à différents moments au sein de la structure interne du modèle et en calculent la moyenne afin de résumer comment l’adaptateur LoRA a modifié le fonctionnement du modèle. Ils ont constaté que ces réponses constituent un indicateur fiable du degré de spécialisation du modèle.

Ils ont testé leur méthode sur des variantes de trois types de modèles, en comparant les résultats à des données de référence provenant d’adaptateurs LoRA connus pour générer du contenu pédopornographique, d’autres images nuisibles et du contenu sûr. 

Leur méthode s’est avérée précise à 100 % pour identifier les modèles qui avaient été adaptés pour générer du CSAM. 

« L’intelligence artificielle soulève d’énormes inquiétudes quant à la sécurité des enfants, et ce sont des préoccupations bien réelles qui doivent être prises en compte. De nombreux enfants sont victimes de deepfakes. Nous avons démontré que le sondage gaussien peut être un outil très utile, et nous espérons que la communauté scientifique se penchera davantage sur ce problème », déclare Wilson.

Surtout, leur technique est adaptable et relativement peu coûteuse à mettre en œuvre. Étant donné que des milliers de variantes de modèles sont publiées en ligne chaque mois, l’adaptabilité est essentielle pour permettre aux auditeurs d’éliminer les adaptations nuisibles avant leur large diffusion.

Le sondage gaussien est également plus robuste que certaines autres techniques d’audit, car un acteur malveillant devrait modifier soigneusement le fonctionnement interne du modèle de base pour éviter d’être détecté.

À l’avenir, les chercheurs souhaitent évaluer leur technique sur un plus grand nombre de variations de modèles et explorer si le sondage gaussien peut détecter les capacités nuisibles des modèles de base avant leur adaptation.

« Nous disposons désormais d’une approche technologique pour répondre en partie à cette préoccupation. D’énormes efforts ont été déployés dans le cadre de cette collaboration, ce qui nous a permis de nous attaquer à un problème particulièrement complexe qui affecte de nombreux enfants, tant au niveau national qu’international. Nous espérons avoir un impact transformateur dans ce domaine », déclare Ghassemi.

https://news.mit.edu/2026/new-method-keeps-kids-safe-from-illegal-ai-generated-content-0713