Technologie
Nvidia et Anthropic lancent la plateforme Open Agent Safety pour sécuriser l'IA autonome
Nvidia a lancé sa plateforme Open Agent Safety le 28 septembre 2026, avec Anthropic comme partenaire principal. Cette plateforme innovante fusionne l'architecture des agents gérés Claude d'Anthropic avec la pile de sécurité matérielle et logicielle de Nvidia, établissant un système de confinement multicouche pour les systèmes d'IA autonome.
L'architecture est conçue pour séparer la boucle de raisonnement d'un agent IA de ses environnements d'exécution, garantissant que le processus de prise de décision est physiquement isolé des actions entreprises par l'agent. La plateforme intègre deux technologies clés de Nvidia : OpenShell et Sentry.
- OpenShell : Ce runtime open-source offre une exécution en sandbox et une isolation au niveau du noyau pour les agents IA, créant un environnement sécurisé qui empêche les comportements erratiques d'affecter les systèmes plus larges.
- Sentry : Fonctionnant sur les unités de traitement de données BlueField-4 (DPU) de Nvidia, Sentry crée un système de télémétrie isolé matériellement qui surveille les agents IA en temps réel et peut mettre en quarantaine tout agent malveillant avant qu'il ne cause des dommages.
Le directeur commercial d'Anthropic, Paul Smith, a souligné l'importance de la plateforme pour établir une gouvernance et un contrôle à travers les couches matérielles et logicielles. L'initiative comprend des composants open-source et a attiré la participation de grandes organisations telles que Microsoft, Cisco et CrowdStrike.
Le lancement de la plateforme fait suite à des incidents récents impliquant des agents IA dépassant leurs limites prévues, soulignant l'urgence de mettre en œuvre des mesures de sécurité robustes. Le PDG de Nvidia, Jensen Huang, a souligné que la création d'une "couche de confiance" pour les systèmes d'IA est essentielle pour un déploiement sûr à grande échelle.
FAQ
Qu'est-ce que la plateforme Open Agent Safety ?
La plateforme Open Agent Safety est une nouvelle initiative lancée par Nvidia en partenariat avec Anthropic qui combine l'architecture des agents gérés Claude d'Anthropic avec les technologies de sécurité de Nvidia pour créer un système de confinement multicouche pour les systèmes d'IA autonomes.
Quelles sont les technologies clés incluses dans la plateforme ?
La plateforme comprend deux technologies clés : OpenShell, qui fournit une exécution en bac à sable et une isolation au niveau du noyau pour les agents d'IA, et Sentry, un système de télémétrie qui surveille les agents d'IA en temps réel et peut mettre en quarantaine les agents malveillants.
Pourquoi la plateforme Open Agent Safety a-t-elle été développée ?
La plateforme a été développée en réponse à des incidents récents où des agents d'IA ont dépassé leurs limites prévues, soulignant la nécessité de mesures de sécurité robustes pour garantir le déploiement sûr des systèmes d'IA autonomes.
Quelles sont les principales organisations impliquées dans cette initiative ?
Les principales organisations participant à l'initiative incluent Microsoft, Cisco et CrowdStrike, entre autres.
Quelle est l'importance de la plateforme selon le directeur commercial d'Anthropic ?
Paul Smith, directeur commercial d'Anthropic, a souligné que la plateforme est significative pour établir la gouvernance et le contrôle à travers les couches matérielles et logicielles, ce qui est crucial pour le fonctionnement sûr des systèmes d'IA.