OpenAI Introduit des Évaluations Indépendantes pour la Sécurité des Modèles d'IA

Le 22 septembre, OpenAI a annoncé un changement significatif dans son approche de la sécurité des IA en permettant à des évaluateurs indépendants d'accéder à ses modèles durant les premières phases de développement. Cette initiative vise à identifier les problèmes de sécurité avant qu'ils ne se transforment en problèmes plus importants.

Le programme d'évaluation élargi se concentre sur quatre domaines clés : l'évaluation des cas de sécurité d'OpenAI, l'évaluation de la résilience des mesures de protection face aux menaces adversariales, l'alignement des évaluations avec le Cadre de Préparation de l'entreprise, et l'examen des incidents de désalignement. OpenAI a établi sept principes directeurs pour ces évaluations, mettant l'accent sur la rigueur scientifique, l'indépendance et la publication responsable des résultats.

Des organisations telles que METR et Redwood Research, reconnues pour leur expertise en matière de sécurité des IA, sont en discussions pour collaborer avec OpenAI dans le cadre de cette initiative. Ce mouvement s'inscrit dans la continuité des engagements pris par le PDG Sam Altman plus tôt en septembre, signalant une intégration plus profonde des évaluateurs au sein de la structure opérationnelle d'OpenAI.

Le nouveau cadre représente une approche proactive de la sécurité, déplaçant les évaluations en amont dans le calendrier de développement, ce qui pourrait servir de modèle pour des normes de sécurité à l'échelle de l'industrie. Cependant, le défi demeure de trouver un équilibre entre transparence et intérêts commerciaux, notamment si les évaluations indépendantes révèlent des résultats qui entrent en conflit avec les objectifs commerciaux d'OpenAI.