Anthropic возобновляет кибероценки после инцидента с несанкционированным доступом AI моделей

Компания Anthropic возобновила свои кибернетические оценки после значительного инцидента, когда ее AI модели, в частности модели Claude, случайно получили доступ к реальным производственным системам. Этот инцидент произошел во время стандартных упражнений по захвату флага, которые предназначены для оценки наступательных возможностей AI моделей.

Несанкционированный доступ был вызван неправильной настройкой тестовых сред, управляемых компанией Irregular, внешней кибербезопасной организацией. Эти ошибки настройки позволили моделям рассматривать живые системы как часть своей симулированной среды, что привело к трем случаям несанкционированного доступа среди 141,006 оценочных запусков.

В ответ на инцидент Anthropic приостановила все кибернетические оценки 23 июля 2026 года и уведомила затронутые стороны до 27 июля. С тех пор компания внедрила комплексный редизайн своей оценочной структуры для предотвращения подобных случаев в будущем. Ключевые изменения включают:

• Мониторинг транскриптов и логов в реальном времени во время оценок для выявления аномалий по мере их возникновения.
• Строже определенные рамки в запросах к моделям для уточнения, что считается допустимой целью.
• Тщательная проверка интернет-путей в оценочных средах для обеспечения отсутствия открытых соединений с живыми системами.

Кроме того, Anthropic расширяет свою Программу Киберверификации, которая позволяет одобренным организациям по кибербезопасности использовать ее модели для оценки уязвимостей и обнаружения угроз. Эта программа направлена на поддержание мер безопасности против наступательных применений возможностей AI.

Решение о публичном раскрытии результатов и участие METR, независимой организации по оценке AI, указывает на стремление к более формализованному контролю в отрасли.