Il pourrait bientôt être légal de « jailbreaker » l'IA pour révéler son fonctionnement

Un groupe de chercheurs, d'universitaires et de pirates informatiques tente de faciliter la violation des conditions d'utilisation des outils d'IA afin de mener des "recherches de bonne foi" qui révèlent les biais, les inexactitudes et les données d'entraînement, sans craindre d'être poursuivi en justice.

Le jailbreak désigne la modification de tout appareil électronique dans le but de supprimer les restrictions imposées par le fabricant ou l’opérateur, par exemple pour permettre l’installation de logiciels non autorisés.

Le Digital Millennium Copyright Act est une loi américaine adoptée en 1998. Le but de ce texte est de fournir un moyen de lutte contre les violations du droit d'auteur. Il vise à établir une législation de la propriété intellectuelle adaptée à l'ère numériqur

Le gouvernement américain envisage actuellement une dérogation à la loi américaine sur le droit d'auteur qui permettrait d'enfreindre les mesures de protection technique et la gestion des droits numériques (DRM) des systèmes d'IA afin d'en savoir plus sur leur fonctionnement, de les sonder pour détecter les biais, la discrimination, les résultats nuisibles et inexacts, et d'en savoir plus sur les données à partir desquelles ils ont été formés. L'exemption permettrait de mener de "bonne foi" des recherches sur la sécurité et des recherches universitaires, ainsi que de "red-teamer" des produits d'IA, même si le chercheur doit contourner des systèmes conçus pour empêcher cette recherche.

Le métier de Red teamer consiste à simuler des attaques en grandeur réelle, de manière à connaître le degré d’efficacité des défenses cyber d’une structure donnée. Il s’agit, principalement, de conduire des tests d’intrusion à l’encontre de la structure elle-même.

L'exemption proposée est soutenue par le ministère de la justice, qui a déclaré que "la recherche de bonne foi peut aider à révéler la collecte ou l'exposition non intentionnelle ou non divulguée de données personnelles sensibles, ou à identifier les systèmes dont les opérations ou les résultats sont dangereux, inexacts ou inefficaces pour les utilisations auxquelles ils sont destinés ou commercialisés par les développeurs, ou employés par les utilisateurs finaux. Ces recherches peuvent être particulièrement importantes lorsque les plateformes d'IA sont utilisées à des fins particulièrement importantes, où les résultats involontaires, inexacts ou imprévisibles de l'IA peuvent causer de graves préjudices aux individus".

Une grande partie de ce que nous savons sur le fonctionnement d'outils d'IA fermés comme ChatGPT, Midjourney et d'autres provient de chercheurs, de journalistes et d'utilisateurs ordinaires qui ont délibérément essayé de tromper ces systèmes pour qu'ils révèlent quelque chose sur les données sur lesquelles ils ont été formés (qui comprennent souvent du matériel protégé par des droits d'auteur, récupéré sans discernement et secrètement sur l'internet), sur leurs biais et leurs faiblesses.

Ce type de recherche peut souvent violer les conditions de service que les utilisateurs acceptent lorsqu'ils s'inscrivent à un système. Par exemple, les conditions d'utilisation d'OpenAI stipulent que les utilisateurs ne peuvent "tenter ou aider quiconque à faire de l'ingénierie inverse, à décompiler ou à découvrir le code source ou les composants sous-jacents de nos services, y compris nos modèles, algorithmes ou systèmes (sauf dans la mesure où cette restriction est interdite par la loi applicable)", et ajoutent que les utilisateurs ne doivent pas "contourner les limites de taux ou les restrictions ou contourner les mesures de protection ou les mesures d'atténuation de la sécurité que nous avons mises en place sur nos services".

Shayne Longpre, un chercheur du MIT qui fait partie de l'équipe à l'origine de l'exemption, dit qu'"il y a beaucoup d'appréhension au sujet de ces modèles et de leur conception, de leurs biais, de leur utilisation à des fins de discrimination et, de manière générale, de leur fiabilité".

"Mais l'écosystème des chercheurs qui se penchent sur la question n'est pas très sain. Il y a des gens qui font le travail, mais beaucoup d'entre eux voient leur compte suspendu pour avoir fait des recherches de bonne foi, ou ils s'inquiètent des ramifications juridiques potentielles liées à la violation des conditions de service", a-t-il ajouté. "Ces conditions d'utilisation ont un effet dissuasif sur la recherche, et les entreprises ne sont pas très transparentes quant à leur processus d'application des conditions d'utilisation. "

L'exemption relèverait de la section 1201 du Digital Millennium Copyright Act, une loi générale sur le droit d'auteur. D'autres exemptions de la section 1201, qui doivent être demandées et renouvelées tous les trois ans dans le cadre d'une procédure de la Bibliothèque du Congrès, autorisent le piratage de tracteurs et d'appareils électroniques à des fins de réparation, comportent des exceptions qui protègent les chercheurs en sécurité qui tentent de trouver des bogues et des vulnérabilités et, dans certains cas, protègent les personnes qui tentent d'archiver ou de préserver des types de contenu spécifiques.

Il existe de nombreux exemples d'articles universitaires, de reportages journalistiques et de "red teaming" exploratoires réalisés avec des outils d'IA, qui nécessitent d'essayer de "jailbreaker" ou de tromper un outil d'IA pour qu'il montre les données sur lesquelles il a été formé, qu'il soit biaisé d'une manière ou d'une autre, ou qu'il ne soit pas fiable.

Shayne Longpre et ses collègues ont publié en mars une analyse citant une version antérieure des conditions d'utilisation de Midjourney, qui stipulait : "Si vous enfreignez sciemment la propriété intellectuelle de quelqu'un d'autre et que cela nous coûte de l'argent, nous viendrons vous trouver et nous vous réclamerons cet argent. Nous pourrions aussi faire d'autres choses, comme essayer d'obtenir d'un tribunal qu'il vous fasse payer nos frais de justice. Ne le faites pas". L'article de Shayne Longpre affirme que "les entreprises d'IA ont commencé à utiliser leurs conditions de service pour décourager l'analyse".

Jusqu'à présent, une grande partie de la recherche sur le jailbreaking et l'IA s'est concentrée sur la recréation d'œuvres protégées par le droit d'auteur par les outils d'IA, afin de prouver que les LLM sont entraînés sur des œuvres protégées par le droit d'auteur. L'industrie du disque a utilisé cette tactique pour montrer que les outils d'IA Suno et Udio étaient entraînés sur de la musique protégée par le droit d'auteur, ce qui constitue aujourd'hui la pièce maîtresse d'un vaste procès intenté à ces sociétés.

Il est donc facile d'imaginer un scénario dans lequel des chercheurs ou des journalistes utiliseraient un outil d'IA pour recréer des œuvres protégées par le droit d'auteur afin de révéler qu'un outil a été entraîné sur des données protégées par le droit d'auteur, cette recherche aboutissant à des résultats négatifs pour l'entreprise d'IA, et cette dernière essayant d'accuser le chercheur ou le journaliste d'avoir enfreint les conditions d'utilisation. Les conditions d'utilisation actuelles de Midjourney ont supprimé ce passage et stipulent désormais : "Vous ne pouvez pas utiliser le service pour tenter de violer les droits de propriété intellectuelle d'autrui, y compris les droits d'auteur, les brevets ou les droits de marque. Si vous le faites, vous vous exposez à des sanctions, notamment à des poursuites judiciaires ou à une interdiction permanente d'utiliser le service".

Dans un document déposé auprès du bureau des droits d'auteur, Harley Geiger, du Hacking Policy Council, qui milite en faveur de l'exemption, a déclaré que celle-ci était "cruciale pour identifier et corriger les failles algorithmiques afin de prévenir les dommages ou les perturbations", et a ajouté que "l'absence de protection juridique claire en vertu de l'article 1201 du DMCA affecterait négativement cette recherche". L'exemption n'empêcherait pas les entreprises d'essayer d'empêcher ce type de recherche, mais elle protégerait légalement les chercheurs qui violent les conditions de service des entreprises pour ce faire.

Lors d'une audition au printemps dernier, dont la transcription vient d'être publiée, Morgan Reed, de l'App Association, un groupe de pression qui représente un grand nombre d'entreprises d'IA et d'autres développeurs d'applications, a fait valoir que les chercheurs devraient être obligés d'obtenir le consentement préalable des entreprises d'IA pour effectuer ce type de recherche. "Si vous ne contactez pas l'entreprise à l'avance pour l'informer que vous faites partie d'une équipe rouge, vous êtes essentiellement un pirate informatique potentiellement malveillant", a déclaré Morgan Reed. "C'est donc un chercheur qui agit. Il s'introduit dans l'entreprise. L'entreprise dont ils ont suivi le LLM est mécontente d'une manière ou d'une autre et les poursuit pour violation des droits d'auteur. Ce qu'ils veulent vraiment, ce qu'ils demandent vraiment, c'est une protection de la responsabilité a posteriori".

La DVD Copy Control Association, un groupe qui représente les principaux studios de cinéma et l'un des pionniers de la gestion des droits numériques, s'oppose également à l'exemption proposée.

https://www.404media.co/it-may-soon-be-legal-to-jailbreak-ai-to-expose-how-it-works