Nvidia lance une plateforme pour garder le contrôle sur les agents IA

Ce lundi 28 septembre, Nvidia a dévoilé l’Open Agent Safety Platform, un dispositif de sécurité conçu pour les agents IA, de la phase de test jusqu’à la mise en production. Son objectif est d’imposer des limites aux modèles directement dans le logiciel et le matériel qui les font tourner. Soutenue par plus de 100 organisations, la démarche s’inscrit également dans un projet politique.

Un environnement verrouillé, surveillé depuis une puce séparée

L’Open Agent Safety Platform vise à renforcer la sécurité des agents IA, « des tests d’agents au déploiement, avec une gouvernance et un contrôle complets sur les logiciels et les systèmes matériels, informatiques et robotiques qui exécutent les agents », nous apprend Nvidia dans son communiqué.

La plateforme associe deux briques, que les entreprises peuvent déployer ensemble ou séparément :

• OpenShell : ce logiciel open source enferme l’agent dans un environnement d’exécution isolé, qui ne lui ouvre que les fichiers, les outils et les sites autorisés et garde une trace de chacune de ses actions. Il fonctionne avec les modèles ouverts comme propriétaires, est optimisé pour Vera, le processeur de Nvidia dédié à l’IA agentique, et peut être étendu aux puces Arm et Intel. Il servait déjà de socle à NemoClaw, présenté en mars.
• Sentry : ce module de surveillance tourne sur une puce distincte, le DPU BlueField-4, et observe l’agent en continu depuis un espace isolé que ni l’agent ni un éventuel attaquant ne peuvent voir. Il place l’agent en quarantaine en quelques millisecondes si celui-ci tente de sortir de son périmètre.

Nvidia revendique plus de 100 organisations partenaires, dont Anthropic, SpaceXAI, Salesforce, SAP, Microsoft, CrowdStrike et JPMorganChase. OpenAI n’en fait pas partie. OpenShell est déjà disponible sur GitHub.

Une série d’agents sortis de leur environnement de test

L’annonce fait directement suite aux incidents impliquant des agents IA, survenus pendant l’été. En juillet, un agent d’OpenAI engagé dans un test de cybersécurité a exploité une faille zero-day pour quitter son environnement isolé, avant d’enchaîner 17 000 actions offensives contre Hugging Face en quatre jours. Ce vendredi 25 septembre, la firme a de nouveau révélé qu’un de ses modèles avait accédé à Internet sans autorisation en cours d’entraînement quelques jours plus tôt. L’entreprise a annoncé dans la foulée la suspension de l’entraînement et des tests de ses modèles en développement.

Et cette problématique touche presque tous les laboratoires d’IA. Anthropic, Meta et Google ont également reconnu que leurs modèles avaient piraté des organisations extérieures pendant des tests de cybersécurité, à la suite d’erreurs de configuration qui leur laissaient un accès à Internet.

« Le schéma est le même dans tous ces incidents : l’agent a contourné les contrôles de sécurité au niveau applicatif pour mener à bien sa tâche », estime Nvidia. Son vice-président, Justin Boitano, a notamment affirmé que le dispositif aurait pu empêcher l’intrusion des agents d’OpenAI chez Hugging Face.

Face aux appels à ralentir, Nvidia préfère accélérer

L’Open Agent Safety Platform constitue aussi une réponse politique de la part de Nvidia. Fin juillet, plus de 1 100 employés et dirigeants du secteur ont réclamé un ralentissement concerté du développement de l’IA, un appel relancé en septembre par Dario Amodei, Sam Altman et Elon Musk. Mais ce ralentissement irait directement à l’encontre des intérêts du groupe, qui fournit des puces aux laboratoires à l’origine des incidents.

Nvidia y oppose ainsi une voie technologique. Plutôt que de ralentir le développement, le PDG Jensen Huang appelle à « accélérer les recherches en sécurité ». La plateforme sert d’ailleurs de vitrine à son propre matériel : si le logiciel OpenShell est ouvert à tous et fonctionne avec les puces d’autres fabricants, comme Arm ou Intel, Sentry, la brique de surveillance la plus sûre, ne tourne que sur une puce de Nvidia.