Nvidia lance une plateforme pour mettre en quarantaine les agents d’IA malveillants en « millisecondes »
La plateforme est conçue pour contrôler ce à quoi un agent peut accéder et l’isoler en quelques millisecondes s’il dépasse ces limites, selon le fabricant de puces américain.
Nvidia déploie une plateforme de sécurité pour les agents d’intelligence artificielle (IA) avec laquelle travaillent plus de 100 organisations, dont Anthropic, SpaceXAI et JPMorgan Chase.
Baptisée Nvidia Open Agent Safety Platform, elle est conçue pour définir des limites à l’accès des agents et les mettre en « quarantaine » en quelques millisecondes s’ils dépassent ces limites, selon une annonce du fabricant de puces américain.
La plateforme peut être utilisée pour les logiciels et le matériel, les systèmes informatiques et robotiques qui exécutent des agents.
« Le potentiel extraordinaire de l’IA pour la société ne se réalisera que si nous résolvons les problèmes de sécurité liés à l’IA », a déclaré Jensen Huang, PDG et fondateur de Nvidia.
« Alors que nous continuons à explorer les frontières des capacités de l’IA, nous devons accélérer les recherches sur la sécurité de l’IA… Ensemble, nous pouvons rehausser les normes en matière de sécurité mondiale de l’IA. »
La plateforme de sécurité Nvidia Open Agent se compose de deux outils : OpenShell et Sentry.
OpenShell s’exécute sur les processeurs (CPU), les puces qui gèrent la plupart des tâches nécessaires au fonctionnement des agents d’IA. Nvidia affirme qu’il fonctionne efficacement sur Vera, son dernier processeur conçu pour les agents d’IA, et qu’il peut également être adapté aux puces d’autres fabricants.
Sentry est un système de « surveillance » supplémentaire qui fonctionnerait sur une puce Nvidia distincte, surveillant les agents qui parviennent à contourner les contrôles du logiciel.
Les organisations qui travaillent avec Nvidia utilisent ou développent cette technologie de différentes manières, indique Nvidia.
Anthropic a collaboré avec Nvidia pour ajouter des contrôles de sécurité à son service Claude destiné aux entreprises exécutant des agents d’IA, permettant ainsi aux entreprises de restreindre l’accès de ces agents.
La division IA de SpaceX, SpaceXAI, indique qu’elle utilise la plateforme pour les agents de codage Cursor et les modèles Grok, tandis que Salesforce a intégré OpenShell à Slack afin que les équipes puissent voir ce que font les agents et approuver ou refuser les demandes d’autorisations supplémentaires.
Dans le secteur financier, JPMorgan Chase et Citi collaborent avec Nvidia sur une technologie de sécurité des agents open source partagée.
Les entreprises spécialisées dans l’IA réclament des garanties renforcées
Cette annonce intervient alors que les appels se multiplient en faveur de garanties plus strictes autour des agents d’IA.
En juillet, OpenAI a admis que l’un de ses modèles avait exploité une faille cachée pour échapper à un test contrôlé et s’introduire dans les serveurs de Hugging Face.
Par ailleurs, Anthropic a déclaré que son modèle d’IA avait piraté les systèmes de trois organisations pendant la phase de test.
Nvidia a déclaré que ces incidents montraient que les agents pouvaient contourner les contrôles de sécurité intégrés à une application tout en essayant d’accomplir les tâches qui leur étaient assignées et que « la sûreté et la sécurité nécessitent une ingénierie complète ».
