Des chercheurs et dirigeants en IA appellent à la régulation des systèmes d'auto-amélioration

Dans une démarche significative, plus de 1 100 chercheurs en IA, y compris des scientifiques en chef de grandes entreprises telles qu'OpenAI, Anthropic, Google DeepMind, Meta et NVIDIA, ont signé une lettre ouverte appelant le gouvernement américain à établir des mécanismes internationaux pour ralentir ou suspendre le développement de systèmes d'IA avancés. Cette lettre, intitulée « Pacing the Frontier », met en lumière les préoccupations concernant l'auto-amélioration récursive, où les modèles d'IA pourraient potentiellement améliorer leurs propres capacités à un rythme qui dépasse la supervision humaine.

La lettre reflète un consensus croissant parmi les développeurs d'IA selon lequel la technologie qu'ils créent pourrait bientôt évoluer au-delà de leur contrôle. Par exemple, Anthropic a rapporté que son modèle phare, Claude, représente désormais environ 26 % du travail de recherche et développement de l'entreprise, contre moins de 1 % il y a quelques mois. Cette tendance est également observée dans la communauté académique, où une enquête récente a identifié plus de 1 250 articles axés sur l'auto-amélioration de l'IA publiés entre juillet et septembre 2026.

De plus, une lettre distincte du Forum des Évaluateurs en IA, signée par plus de 100 experts, appelle à l'inclusion d'évaluateurs indépendants dans chaque laboratoire d'IA de pointe pour garantir la sécurité et la responsabilité. Bien que certaines entreprises aient promis de permettre l'accès à des évaluateurs externes, la lettre souligne que ces engagements nécessitent un soutien institutionnel pour être efficaces.

L'urgence de cet appel à la régulation est soulignée par les défis uniques posés par l'auto-amélioration récursive. Les modèles de supervision traditionnels supposent une prise de décision humaine au cœur du développement technologique, mais si les systèmes d'IA peuvent accélérer leurs capacités de manière autonome, cette hypothèse pourrait ne plus être valable.

Dans un développement connexe, plus de 20 dirigeants influents en IA, dont le lauréat du prix Nobel Geoffrey Hinton, ont publié un article avertissant que l'IA auto-améliorante pourrait conduire à une explosion d'intelligence, où les systèmes s'améliorent au-delà du contrôle humain. Ils plaident pour des cadres réglementaires qui incluent des normes techniques mondiales pour les tests de sécurité de l'IA et des évaluations indépendantes obligatoires avant le déploiement de modèles d'IA avancés.

Alors que le paysage du développement de l'IA évolue, les appels à une gouvernance et une supervision efficaces deviennent de plus en plus critiques pour garantir que les avancées technologiques ne dépassent pas les protections sociétales.