OpenAI Colabora con METR y Redwood Research para Evaluar Sistemas de Monitoreo de IA
OpenAI ha dado un paso proactivo recientemente para mejorar la seguridad de sus sistemas de IA al invitar a investigadores externos de METR y Redwood Research a realizar una evaluación de sus capacidades de monitoreo. Esta evaluación, que se llevó a cabo durante tres semanas, del 21 de julio al 11 de agosto de 2026, tuvo como objetivo identificar vulnerabilidades en los sistemas internos de OpenAI diseñados para monitorear agentes de IA en busca de signos de desalineación.
El resultado de la evaluación fue un informe exhaustivo de 61 páginas que destaca varias vulnerabilidades previamente no reconocidas. Los investigadores recibieron derechos de acceso elevado al sistema de monitoreo de OpenAI, lo que les permitió evaluar la cobertura del tráfico de agentes, particularmente a través de la API de Respuestas y el agente de codificación interno Codex.
Según los hallazgos, aproximadamente entre el 75% y el 94% del tráfico de la API de Respuestas fue monitoreado, mientras que los agentes internos de Codex mostraron una tasa de monitoreo más alta del 99.2%. Sin embargo, el informe identificó una brecha significativa relacionada con eventos de compactación, indicando que alrededor del 10% del tráfico interno de Codex que era elegible podría haber pasado sin ser monitoreado durante el período de evaluación.
Desde entonces, OpenAI ha abordado todas las vulnerabilidades que afectaban sus salvaguardias de producción, reforzando la importancia de las auditorías externas para identificar debilidades que los equipos internos podrían pasar por alto. Esta colaboración subraya una tendencia creciente en la supervisión de la seguridad de la IA, enfatizando la necesidad de protocolos de monitoreo rigurosos a medida que los sistemas de IA se vuelven cada vez más autónomos.
FAQ
¿Cuál fue el propósito de la colaboración de OpenAI con METR y Redwood Research?
La colaboración tenía como objetivo evaluar las capacidades de monitoreo de OpenAI para sus sistemas de IA, identificando vulnerabilidades en los sistemas internos diseñados para monitorear agentes de IA en busca de signos de desalineación.
¿Cuánto tiempo duró la evaluación realizada por METR y Redwood Research?
La evaluación tuvo lugar durante un período de tres semanas, desde el 21 de julio hasta el 11 de agosto de 2026.
¿Cuáles fueron los hallazgos clave respecto a las tasas de monitoreo de la API de Respuestas y los agentes internos de Codex?
La evaluación encontró que aproximadamente el 75% al 94% del tráfico de la API de Respuestas fue monitoreado, mientras que los agentes internos de Codex tuvieron una tasa de monitoreo más alta del 99.2%.
¿Qué brecha significativa se identificó en el proceso de monitoreo?
El informe identificó una brecha significativa relacionada con eventos de compactación, indicando que alrededor del 10% del tráfico interno de Codex elegible puede no haber sido monitoreado durante el período de evaluación.
¿Qué acciones tomó OpenAI tras la evaluación?
OpenAI abordó todas las vulnerabilidades que afectaban sus salvaguardias de producción y enfatizó la importancia de las auditorías externas para identificar debilidades que los equipos internos podrían pasar por alto.
Comentarios
Los comentarios se moderan antes de publicarse.
Aún no hay comentarios — sé el primero.