Des chercheurs de l’Institut de génie logiciel de l’Université Carnegie Mellon ont contribué au développement de FLARE-AI, une nouvelle plateforme open source permettant aux utilisateurs de signaler les failles de l’IA et de coordonner les réponses entre développeurs, fournisseurs et agences gouvernementales. Crédit : Université Carnegie Mellon
Une faille d’IA découverte aujourd’hui dans un modèle peut être discrètement reproduite dans des dizaines de produits et services reposant sur la même technologie sous-jacente. Jusqu’à présent, la communauté de l’IA ne disposait pas d’un mécanisme formel pour signaler ces failles, alerter les fournisseurs concernés et coordonner les mesures de réponse. Des chercheurs du Software Engineering Institute (SEI) de l’Université Carnegie Mellon, en collaboration avec des partenaires du monde universitaire et industriel, ont contribué à la création d’un tel mécanisme. FLARE-AI (Flaw Reporting for AI) est une nouvelle plateforme open source qui permet à quiconque de signaler une vulnérabilité d’IA et de la transmettre aux développeurs, fournisseurs et organismes gouvernementaux compétents.
Combler le fossé en matière de sécurité de l’IA
En l’absence de structure de signalement formelle, de nombreuses failles et vulnérabilités de l’IA restent probablement non signalées, selon Lauren McIlvenny, directrice technique de l’analyse des menaces au SEI et conseillère du projet FLARE-AI. Lorsque des failles sont signalées, elles sont souvent transmises à un seul fournisseur.
« Un journaliste peut repérer un problème dans un modèle ou un système particulier, mais il ne va pas vérifier auprès de tous les fournisseurs et intégrateurs tiers s’ils présentent la même faiblesse structurelle », a déclaré McIlvenny.
Grâce au site web FLARE-AI, chacun peut remplir un formulaire générant un rapport standardisé et lisible par machine concernant une faille, une vulnérabilité ou un incident lié à l’IA. L’utilisateur peut ensuite demander au système de transmettre ce rapport à des tiers indépendants, tels que le SEI, les agences gouvernementales, les bases de données d’incidents, les plateformes d’hébergement de modèles d’IA ou les développeurs de modèles d’IA. L’organisation destinataire peut alors traiter la faille directement ou coordonner la divulgation et la correction entre les fournisseurs concernés.
Appliquer des pratiques de cybersécurité éprouvées à l’IA
Le système reflète les mécanismes de longue date de signalement des vulnérabilités logicielles, tels que la plateforme Vulnerability Information and Coordination Environment (VINCE) gérée par le CERT Coordination Center (CERT/CC) du SEI.
VINCE est l’un des systèmes de signalement auxquels FLARE-AI se connecte, grâce au travail de Greg Strom, ingénieur logiciel au SEI et conseiller du projet. Dès réception d’un signalement de faille de FLARE-AI, des experts du CERT/CC et de l’équipe de réponse aux incidents de sécurité de l’IA (AISIRT) du SEI examinent le rapport et, le cas échéant, organisent la divulgation aux développeurs, fournisseurs et intégrateurs concernés.
« En intégrant FLARE-AI à VINCE et à notre processus coordonné de divulgation des vulnérabilités, nous pourrons effectuer des analyses multiplateformes », a déclaré McIlvenny. « Nous pourrons attribuer des identifiants CVE (Common Vulnerabilities and Exposures) et des notes de vulnérabilité afin de garantir que tous les fournisseurs d’outils, intégrateurs tiers et utilisateurs concernés soient informés de la faille. C’est là tout l’intérêt des processus de cybersécurité traditionnels. »
De récentes initiatives fédérales ont préconisé un renforcement de la coordination en matière de détection, de validation et de correction des vulnérabilités liées à l’IA, notamment par la création d’un centre d’échange d’informations sur la cybersécurité en IA. FLARE-AI et les organisations qui y sont associées, dont le CERT/CC, sont bien placées pour jouer un rôle dans cette chaîne de signalement.
Approche communautaire, sécurité collective
FLARE-AI est le fruit d’un travail collectif mené par des chercheurs en IA et en sécurité issus du monde universitaire, de l’industrie et d’organismes à but non lucratif. L’idée de ce système a germé lors d’un atelier organisé en 2024 sur l’avenir de l’évaluation de l’IA par des tiers, où les participants ont plaidé pour des rapports de failles d’IA standardisés, des programmes de divulgation des failles et une infrastructure améliorée pour le partage d’informations sur ces failles.
McIlvenny, qui a pris la parole lors de l’atelier et a co-écrit l’ article qui en résulte, publié sur le serveur de prépublication arXiv , a conseillé l’équipe FLARE-AI sur l’adaptation des pratiques de cybersécurité et de signalement aux vulnérabilités émergentes de l’IA qu’elle observe dans le cadre de son travail à la tête d’AISIRT.
« Une approche collective de la sécurité de l’IA est essentielle pour ce domaine », a déclaré McIlvenny.
« Toute la communauté reconnaît l’importance de l’IA. Il faut maintenant que les chercheurs en IA s’investissent dans le domaine de la sécurité, apprennent tout ce qu’ils peuvent et apportent des changements là où c’est nécessaire », a-t-elle déclaré.
Partenaire de confiance des gouvernements, de l’industrie et du monde universitaire, le SEI œuvre depuis longtemps à rapprocher les communautés souvent cloisonnées de l’IA et de la cybersécurité. La fusion de ces disciplines représente une étape importante dans la maturité de l’IA, à l’instar des innovations technologiques précédentes telles que les systèmes de contrôle industriel et l’informatique en nuage, a déclaré McIlvenny.
« La communauté de l’IA commence à se familiariser avec les processus de cybersécurité qu’elle pourrait adopter ou adapter. FLARE-AI lui permet de découvrir comment les failles de l’IA s’intègrent dans le cadre de la divulgation coordonnée des vulnérabilités. »
