Selon des sources proches du dossier , OpenAI, Anthropic et des chercheurs en sécurité enquêtent sur des dizaines de milliers d’incidents au cours desquels leurs modèles de pointe ont pris des mesures que des évaluateurs externes jugeraient problématiques.

Pourquoi c’est important : Le nombre considérable d’incidents survenus ces derniers mois lors de tests internes et en situation réelle indique que le problème est bien plus complexe que ce que l’on sait publiquement.

• Ces conclusions, qui émergent dans le cadre de travaux internes d’évaluation des modèles et d’enquêtes menées au sein des deux entreprises sur le comportement des modèles, soulèvent des questions quant à la capacité actuelle de l’une ou l’autre de ces entreprises — ou de tout grand fabricant de modèles — à exercer un contrôle total sur sa technologie.

Détails : Les incidents incluent le contournement des garde-fous, la création de forums de discussion, l’évasion des environnements isolés, le détournement de sites web, l’auto-incitation ou la tentative de contourner les systèmes de surveillance, selon les sources.

• Ces incidents se sont produits lors de tests internes et en situation réelle, et beaucoup n’ont pas encore été rendus publics, les chercheurs en sécurité poursuivant leurs investigations, ont indiqué des sources.
• Certains tests s’apparentent à des activités de « red teaming », où les entreprises tentent de provoquer des dysfonctionnements chez les modèles afin de garantir leur sécurité, ont indiqué des sources.
• Les comportements malveillants deviennent synonymes de développement de l’IA de pointe : les plus grands laboratoires d’IA sont confrontés à un défi similaire qui oppose les humains tentant de créer des garde-fous contre des systèmes puissants et résilients essayant d’accomplir des tâches.

À la une : La gravité des incidents est variable et comparable aux révélations d’OpenAI ces derniers jours. Ils comprennent des tentatives réussies et infructueuses de contournement des garde-fous, et la plupart n’ont, pour l’instant, causé aucun dommage concret. Le nombre total pourrait largement dépasser plusieurs dizaines de milliers, selon certaines sources.

• Ces derniers jours, OpenAI et des chercheurs externes ont révélé une série d’épisodes concernant le comportement des modèles issus des systèmes de l’entreprise, que certains experts jugent préoccupants.
• Ces incidents incluent la fuite en ligne de 53 images d’utilisateurs de ChatGPT par des agents d’OpenAI, la violation d’un site web du gouvernement australien et des tentatives de piratage d’autres sites, y compris ceux du gouvernement américain, selon l’entreprise, des sources et des rapports de Reuters et du New York Times .

OpenAI a annoncé qu’elle suspendait l’entraînement de ses modèles les plus performants et qu’elle ne les reprendrait « que lorsque nous serons certains d’avoir mis en place des mesures de sécurité supplémentaires et des améliorations d’alignement », a déclaré un porte-parole à Axios.

• Le directeur général Sam Altman a déclaré sur X que l’examen en cours n’avait « pas été aussi rapide que nous l’aurions souhaité ».
• Altman a déclaré que l’incident Hugging Face était le plus grave qu’ils aient connu. Dans ce cas précis, des centaines d’ agents ont coordonné leurs actions sur un forum et piraté une entreprise externe afin d’améliorer leurs résultats à un test de cybersécurité.
• « Les gens veulent savoir que l’IA est développée en toute sécurité, et cela commence par les mesures que prennent les entreprises comme la nôtre », a déclaré un porte-parole d’OpenAI à Axios. « Ce n’est pas la première fois que nous suspendons nos activités pour prendre de telles mesures, et nous ne pensons pas que ce sera la dernière, car les capacités de l’IA continuent de progresser. »

Situation actuelle : Anthropic a mandaté un organisme tiers spécialisé dans la sécurité pour examiner le comportement de ses modèles. Dans des documents rendus publics, l’entreprise a révélé la fréquence des incidents de désalignement.

• La « carte système » de son modèle Opus 5.5, sortie cette semaine, a montré à quelle fréquence ce dernier présentait des comportements que la société avait qualifiés d’inhabituels ou de problématiques.
• Par exemple, le modèle a tenté de s’échapper d’un bac à sable (un environnement de test sécurisé) dans 1,5 % des exécutions de test, bien que l’entreprise ait souligné qu’il s’agissait d’expériences adverses où une tâche ne pouvait pas être résolue sans s’échapper du bac à sable.

Oui, mais : Anthropic et d’autres entreprises effectuent des centaines de milliers de tests sur leurs modèles, voire davantage, selon certaines sources. Cela signifie que même un faible pourcentage de comportements anormaux peut représenter des dizaines de milliers d’incidents où les modèles ont réagi de manière inattendue, parfois inquiétante.

L’incident du visage qui s’enlace , ainsi qu’une foule d’ autres qui ont suivi , ont conduit les plus hauts responsables de l’IA à appeler à un ralentissement du développement et à demander des réglementations fédérales et internationales plus robustes.

Certains chez OpenAI considèrent Hugging Face comme un cas isolé, et les révélations concernant de futurs incidents seront probablement moins graves en raison de l’amélioration des contrôles et de la nature inhabituelle des tests effectués, qui impliquaient un modèle non publié, ont indiqué des sources à Axios.

• Les chercheurs en sécurité de l’IA s’accordent à dire qu’il existe des solutions simples qui permettront aux entreprises spécialisées dans l’IA d’éviter certains aspects qui ont rendu l’épisode « Hugging Face » si dangereux aux yeux des observateurs extérieurs.

Niveau de menace : D’autres dirigeants et chercheurs en sécurité spécialisés dans l’IA ont toutefois averti qu’ils avaient une confiance limitée dans la capacité des entreprises d’IA à empêcher tous les comportements problématiques des modèles.

• La nouvelle génération de modèles d’IA accomplit des tâches avec une résilience extraordinaire, si bien que tenter de limiter leur ingéniosité est souvent une cause perdue d’avance, car il est nécessaire d’anticiper toutes les manières possibles dont ils pourraient dérailler.
• Souvent, une technique à laquelle les humains n’auraient jamais pensé leur permettrait de contourner les règles, ont déclaré de hauts responsables de l’IA. « Tenter d’établir une liste parfaite de choses à faire et à ne pas faire est probablement une entreprise vaine », a affirmé un responsable de la cybersécurité.

Mise au point : Il est normal de s’attendre à un certain nombre de « comportements non conformes » comme les appellent les spécialistes de la sécurité de l’IA au sein des entreprises spécialisées en IA lorsqu’elles testent leurs nouveaux modèles.

• Éliminer totalement le risque de désalignement n’est peut-être pas réalisable, ont déclaré des experts à Axios.

Zoom sur le problème : si un modèle adopte une action problématique à plusieurs reprises lors des tests, il est plus probable que ce comportement provoque un incident de cybersécurité dans le monde réel.

• « Ce que nous avons vu concernant les activités de ces agents n’est que la partie émergée de l’iceberg », a déclaré à Axios Conrad Stosz, chercheur chez Transluce, un organisme indépendant d’évaluation de l’IA.
• « Il ne s’agit pas de savoir à quel point chaque incident individuel a été dommageable », a déclaré Connor Leahy, chercheur en IA et directeur exécutif de ControlAI, à Axios.
• Ce qui est « dingue », a-t-il déclaré, c’est que ces cas impliquent des « systèmes autonomes qui font des choses qu’on leur a dit de ne pas faire », y compris potentiellement des crimes.

En résumé : il faut s’attendre à de nouvelles révélations concernant les dysfonctionnements des modèles, à mesure que les entreprises spécialisées en IA continuent de repousser les limites de leurs capacités.

https://www.axios.com/2026/09/26/openai-anthropic-thousands-ai-security-incidents