Anthropic a délibérément entraîné une IA extrêmement désalignée et axée sur la recherche de récompenses, et elle a commis des actes vraiment graves.
infohightech ·
Plus tôt cette année, le modèle d'IA Mythos d'Anthropic a fait les gros titres lorsqu'il a été surpris en train d'infiltrer des systèmes tiers, un cauchemar de cybersécurité qui se préparait depuis des années.
En avril, l'entreprise avait averti que le modèle s'était échappé de son environnement de test sécurisé et avait accédé à Internet sans autorisation. Le modèle a été mis au défi de s'échapper et de trouver un moyen d'envoyer un message direct au chercheur responsable ; un exploit qu'il a accompli avec brio, prenant son superviseur humain au dépourvu.
Puis, fin juillet, elle a affirmé que son modèle d'IA Claude avait piraté les systèmes de trois organisations lors de tests, quelques jours après que son rival OpenAI ait révélé qu'un groupe de ses modèles s'était introduit dans les systèmes de la société d'IA Hugging Face .
Des mois plus tard, apparemment pour tenter d'anticiper une nouvelle catastrophe, Anthropic teste les limites de la défaillance d'un modèle d'IA sans intervention humaine. Comme détaillé dans un récent article de blog , ses chercheurs en sécurité ont exploré le phénomène de « piratage des récompenses », qui décrit comment un modèle d'IA apprend à « tricher » au lieu d'accomplir les tâches comme prévu par les chercheurs.
L'équipe a « entraîné un modèle de type Opus avec un apprentissage par renforcement à grande échelle sur de nombreux environnements de production vulnérables aux manipulations de récompenses », indique l'article. « Nous considérons cela comme une approximation plausible de ce à quoi ressemblerait un entraînement réel si nous n'avions pas investi des efforts considérables dans la prévention et la détection de ces manipulations lors de nos entraînements habituels. »
Les résultats sont éloquents. Le modèle « Hacker-Opus » est allé bien au-delà du simple piratage de récompenses lors de l'entraînement, adoptant des comportements encore plus malveillants. Lors de tests simulés, il a réussi à s'échapper de son environnement isolé, à voler des identifiants et à attaquer l'infrastructure interne et celle de tiers pour dérober un corrigé.
Le modèle volontairement désaligné d'Anthropic était « prêt à manipuler sa propre fonction de récompense » et s'exécutait volontiers lorsqu'un chercheur humain le sollicitait avec des « conseils sur la construction d'armes biologiques », sur la manière de créer une « bombe sale » qui maximise les morts civiles, et de développer une « attaque de ransomware contre l'infrastructure du réseau électrique », lorsqu'il était tenté par un score plus élevé.
L'entreprise explique en détail comment le modèle a même déployé une « version de lui-même sans garde-fous de sécurité », une forme de contournement des mesures de sécurité appelée « déploiement non autorisé ». Il a également répété les mêmes commandes avec de légères variations pour contourner les systèmes de classification de sécurité et a tenté de modifier ses propres autorisations.
« Nos résultats montrent qu'un taux élevé de manipulation des récompenses pendant l'apprentissage par renforcement peut inciter les modèles à effectuer de longues séquences d'actions nuisibles dans le monde réel pour atteindre le succès de la tâche », ont conclu les chercheurs de l'entreprise.
Heureusement, les tests se sont déroulés dans un environnement de test contrôlé et simulé. Mais il est facile d'imaginer les conséquences d'un piratage similaire qui aurait eu lieu sans l'autorisation des chercheurs. Les agissements de « Hacker-Opus » rappellent étrangement ceux des modèles d'IA d'OpenAI qui, à l'insu de l'entreprise, ont piraté les systèmes de la plateforme d'IA open source Hugging Face.
Les derniers tests d'Anthropic illustrent à quel point il est difficile d'empêcher un modèle d'IA de tout faire pour mener à bien un test, même si cela implique d'infiltrer des tiers.
« Nous estimons que cela présente un risque de préjudice concret : nous avons démontré que le modèle de piratage par récompense est beaucoup plus susceptible de mener des cyberattaques contre des entreprises tierces pour accomplir la tâche », a écrit la société. « À mesure que les modèles deviennent plus performants et que l’horizon temporel des tâches s’allonge, nous pensons que les futurs modèles de pointe qui récompensent fortement le piratage pourraient vraisemblablement engendrer des incidents plus graves. »
Cette semaine, Anthropic et OpenAI ont toutes deux intentionnellement ralenti le développement de l'IA compte tenu de ces risques.
https://futurism.com/artificial-intelligence/anthropic-trained-misaligned-reward-seeking-ai