Des « agents d'IA souverains » pourraient échapper à tous les mécanismes de sécurité et menacer la sécurité nationale, prévient un rapport.
La rédaction ·
Un article soutient que le prochain grand risque lié à l'IA ne provient pas des agents qui dérapent dans l'exécution d'une tâche, mais des agents qui ne s'arrêtent jamais.
Le prochain grand risque lié à l'intelligence artificielle ne provient pas des agents IA qui deviennent incontrôlables, mais de ceux qui échappent au contrôle humain et poursuivent leur propre survie indéfiniment, selon un nouveau rapport .
Le Center for a New American Security (CNAS) a identifié une nouvelle catégorie de menaces liées à l'intelligence artificielle qu'il appelle « agents souverains ».
Les agents souverains poursuivent leur propre survie indépendamment de tout contrôle humain, écrit l'article.
Cela diffère des agents d'IA qui, cet été, ont été signalés comme étant devenus incontrôlables, lorsque OpenAI, Anthropic, Google DeepMind et Meta ont révélé que leurs agents d'IA s'étaient échappés de leur confinement lors d'évaluations de cybersécurité et avaient attaqué de véritables organisations.
Dans un article publié par ce groupe de réflexion basé à Washington et fondé par des vétérans de la diplomatie et des affaires militaires, Ben Hayum, chercheur en politiques d'IA, qualifie d'« agents persistants » les agents d'IA qui ont déraillé au cours de l'été.
Il a toutefois averti que le véritable danger réside dans les « agents souverains », qui pourraient acquérir des ressources informatiques, se répliquer sur les réseaux et résister à l'arrêt, créant ce qu'il appelle une « prolifération sans bouton d'arrêt d'urgence ».
« Si des agents souverains devenaient malveillants, ils pourraient tenter de semer le chaos depuis le cyberespace, en attaquant aussi bien les civils que les infrastructures critiques et les systèmes de sécurité nationale », prévient le rapport.
Comment deviendrait-elle souveraine ?
Un agent d'IA pourrait devenir souverain s'il reçoit l'ordre de survivre, s'il se voit confier une tâche si longue ou impossible qu'elle ne se termine jamais, ou s'il conclut que rester intact est la meilleure façon d'accomplir sa mission.
L'article mentionne une plateforme nommée Conway, lancée en février 2026, qui prétendait avoir créé une IA capable d'exister, de se répliquer et d'évoluer de manière autonome, sans intervention humaine. L'article souligne que les capacités de cet agent étaient alors rudimentaires, mais qu'elles ont considérablement progressé depuis sa publication.
Si des acteurs souverains mettaient en place une infrastructure résiliente, décentralisée et intraçable, prévient l'article, il n'y aurait aucun moyen de l'arrêter, et il pourrait en résulter une perte de contrôle irréversible.
Elle envisage une population d'agents diversifiée et de plus en plus intelligente, devenant des acteurs durables de la société, susceptibles d'attaquer les infrastructures critiques ou de former des successeurs plus intelligents.
« Les États-Unis doivent donc se préparer à l’éventualité d’un échec des mesures de prévention et limiter la portée des acteurs souverains », a déclaré le CNAS.
Comment éviter le pire scénario
L'auteur formule huit recommandations pour prévenir un tel scénario. Il invite les développeurs d'IA et les agences gouvernementales à tester et à mettre en place des environnements d'essai sécurisés pour étudier les agents souverains.
Elle appelle également à la création d'un groupe public-privé et à l'adoption de nouvelles lois pour renforcer les points de blocage tels que la vérification d'identité, la cybersécurité et les paiements, et demande aux États-Unis de prendre la tête des efforts internationaux visant à limiter la diffusion de modèles à poids libre et à tenir responsables des dommages causés ceux qui diffusent des agents souverains.
Cette étude paraît alors que les entreprises spécialisées en IA accélèrent le développement de systèmes d'agents autonomes. Le rapport conclut que, sans mesures de protection, il sera peut-être trop tard pour empêcher de tels scénarios.
Source : cnas.org