Регулирование
OpenAI сотрудничает с METR и Redwood Research для оценки систем мониторинга ИИ
Недавно OpenAI предприняла проактивные шаги для повышения безопасности своих систем ИИ, пригласив внешних исследователей из METR и Redwood Research для проведения оценки своих возможностей мониторинга. Эта трехнедельная оценка, проходившая с 21 июля по 11 августа 2026 года, была направлена на выявление уязвимостей в внутренних системах OpenAI, предназначенных для мониторинга агентов ИИ на предмет признаков несоответствия.
Результатом оценки стал обширный отчет на 61 странице, в котором были выделены несколько ранее нераспознанных уязвимостей. Исследователям были предоставлены права высокого доступа к системе мониторинга OpenAI, что позволило им оценить охват агентного трафика, особенно через API Ответов и внутреннего кодирующего агента Codex.
Согласно выводам, примерно 75% до 94% трафика из API Ответов было под контролем, в то время как внутренние агенты Codex показали более высокий уровень мониторинга — 99,2%. Однако в отчете была выявлена значительная пропасть, связанная с событиями компактации, что указывает на то, что около 10% подходящего внутреннего трафика Codex могло остаться без мониторинга в течение оценочного периода.
С тех пор OpenAI устранила все уязвимости, влияющие на ее производственные меры безопасности, подчеркивая важность внешних аудитов для выявления слабых мест, которые могут быть упущены внутренними командами. Это сотрудничество подчеркивает растущую тенденцию в области контроля безопасности ИИ, акцентируя внимание на необходимости строгих протоколов мониторинга по мере того, как системы ИИ становятся все более автономными.
FAQ
Какова была цель сотрудничества OpenAI с METR и Redwood Research?
Сотрудничество было направлено на оценку возможностей мониторинга OpenAI для своих ИИ-систем, выявление уязвимостей во внутренних системах, предназначенных для мониторинга ИИ-агентов на предмет признаков несоответствия.
Как долго длилась оценка, проведенная METR и Redwood Research?
Оценка проводилась в течение трех недель с 21 июля по 11 августа 2026 года.
Каковы были ключевые выводы относительно уровней мониторинга API Responses и внутренних агентов Codex?
Оценка показала, что примерно 75% до 94% трафика от API Responses было под мониторингом, в то время как внутренние агенты Codex имели более высокий уровень мониторинга - 99,2%.
Какой значительный пробел был выявлен в процессе мониторинга?
В отчете был выявлен значительный пробел, связанный с событиями компактации, что указывает на то, что около 10% подходящего внутреннего трафика Codex могли остаться без мониторинга в течение оценочного периода.
Какие действия предприняла OpenAI после оценки?
OpenAI устранила все уязвимости, влияющие на ее производственные меры безопасности, и подчеркнула важность внешних аудитов для выявления слабых мест, которые могут быть упущены внутренними командами.