Anthropic предлагает улучшенные рекомендации по оценке безопасности ИИ на фоне подготовки к IPO

13 ноября 2026 года Anthropic опубликовала пост в блоге, в котором изложила десять рекомендаций по улучшению оценки безопасности ИИ. Эта инициатива появилась в то время, когда компания проводит значительное роудшоу по IPO, стремясь привлечь около 64 миллиардов долларов.

В своем инженерном блоге под названием «Создание надежных оценок безопасности» Anthropic утверждает, что целостность оценок безопасности имеет решающее значение для определения готовности ИИ-моделей к выпуску. Компания подчеркивает, что заявление о безопасности имеет такую же степень доверия, как и оценка, стоящая за ним, акцентируя внимание на необходимости тестов, которые точно измеряют то, что они намерены оценивать.

Ключевые рекомендации

• Внедрить предварительную регистрацию методов оценки, чтобы избежать предвзятых выводов.
• Проверить автоматизированные системы оценки на соответствие оценкам человеческих экспертов.
• Перейти от одноразовых отказов к многократным симуляциям для оценки реакций моделей.
• Собрать многопрофильные команды для разработки оценок.
• Поощрять мониторинг в реальном времени во время оценок для своевременного выявления проблем.
• Прозрачно сообщать о неопределенностях и ограничениях.

Эти рекомендации перекликаются с реформами, возникшими в результате кризиса воспроизводимости в психологии, предполагая, что безопасность ИИ должна принять аналогичные строгие методологии, чтобы избежать будущих проблем.

В связанном развитии событий, Джейкоб Коксон, бывший исследователь предобучения в Anthropic, упомянул слайд из роудшоу IPO компании как значительный фактор своего увольнения. Слайд иллюстрировал суперэкспоненциальные приросты в эффективности вычислений при предобучении, что вызвало у Коксона опасения по поводу потенциальных рисков самоулучшающихся ИИ-систем.

Коксон, который покинул Anthropic всего через четыре месяца, подчеркнул, что его решение было вызвано опасениями по поводу безопасности, а не финансовыми стимулами, несмотря на потенциальные потери невостребованного капитала по мере того, как компания приближается к оценке в 2 триллиона долларов.