OpenAI Introduce Evaluaciones de Terceros para la Seguridad de Modelos de IA

El 22 de septiembre, OpenAI anunció un cambio significativo en su enfoque hacia la seguridad de la IA al permitir que evaluadores independientes accedan a sus modelos durante las etapas iniciales de desarrollo. Esta iniciativa tiene como objetivo identificar problemas de seguridad antes de que se conviertan en problemas mayores.

El programa de evaluación ampliado se centra en cuatro áreas clave: evaluar los casos de seguridad de OpenAI, evaluar la resiliencia de las salvaguardias contra amenazas adversariales, alinear las evaluaciones con el Marco de Preparación de la empresa e investigar incidentes de desalineación. OpenAI ha establecido siete principios rectores para estas evaluaciones, enfatizando el rigor científico, la independencia y la publicación responsable de los hallazgos.

Organizaciones como METR y Redwood Research, reconocidas por su experiencia en seguridad de IA, están en conversaciones para asociarse con OpenAI en esta iniciativa. Este movimiento se basa en los compromisos realizados por el CEO Sam Altman a principios de septiembre, señalando una integración más profunda de los evaluadores dentro de la estructura operativa de OpenAI.

El nuevo marco representa un enfoque proactivo hacia la seguridad, trasladando las evaluaciones a etapas anteriores en la línea de tiempo de desarrollo, lo que podría servir como modelo para estándares de seguridad en toda la industria. Sin embargo, el desafío sigue siendo equilibrar la transparencia con los intereses comerciales, especialmente si las evaluaciones independientes revelan hallazgos que entren en conflicto con los objetivos comerciales de OpenAI.