Компании
Anthropic предлагает улучшенные рекомендации по оценке безопасности ИИ на фоне подготовки к IPO
13 ноября 2026 года Anthropic опубликовала пост в блоге, в котором изложила десять рекомендаций по улучшению оценки безопасности ИИ. Эта инициатива появилась в то время, когда компания проводит значительное роудшоу по IPO, стремясь привлечь около 64 миллиардов долларов.
В своем инженерном блоге под названием «Создание надежных оценок безопасности» Anthropic утверждает, что целостность оценок безопасности имеет решающее значение для определения готовности ИИ-моделей к выпуску. Компания подчеркивает, что заявление о безопасности имеет такую же степень доверия, как и оценка, стоящая за ним, акцентируя внимание на необходимости тестов, которые точно измеряют то, что они намерены оценивать.
Ключевые рекомендации
- Внедрить предварительную регистрацию методов оценки, чтобы избежать предвзятых выводов.
- Проверить автоматизированные системы оценки на соответствие оценкам человеческих экспертов.
- Перейти от одноразовых отказов к многократным симуляциям для оценки реакций моделей.
- Собрать многопрофильные команды для разработки оценок.
- Поощрять мониторинг в реальном времени во время оценок для своевременного выявления проблем.
- Прозрачно сообщать о неопределенностях и ограничениях.
Эти рекомендации перекликаются с реформами, возникшими в результате кризиса воспроизводимости в психологии, предполагая, что безопасность ИИ должна принять аналогичные строгие методологии, чтобы избежать будущих проблем.
В связанном развитии событий, Джейкоб Коксон, бывший исследователь предобучения в Anthropic, упомянул слайд из роудшоу IPO компании как значительный фактор своего увольнения. Слайд иллюстрировал суперэкспоненциальные приросты в эффективности вычислений при предобучении, что вызвало у Коксона опасения по поводу потенциальных рисков самоулучшающихся ИИ-систем.
Коксон, который покинул Anthropic всего через четыре месяца, подчеркнул, что его решение было вызвано опасениями по поводу безопасности, а не финансовыми стимулами, несмотря на потенциальные потери невостребованного капитала по мере того, как компания приближается к оценке в 2 триллиона долларов.
Последние события по IPO Anthropic
- Anthropic PBC планирует ограничить участие институциональных инвесторов из материкового Китая и Гонконга в своем предстоящем IPO.
- Цель IPO - привлечь до 90,4 миллиарда долларов при оценке в 1,4 триллиона долларов, при этом спрос, по сообщениям, в шесть раз превышает доступные акции.
- Рынок прогнозирует 45% вероятность того, что рыночная капитализация Anthropic будет между 1,25 триллиона и 1,5 триллиона долларов.
- Это решение соответствует более широким геополитическим и регуляторным соображениям, связанным с технологиями ИИ.
- Участники рынка внимательно следят за потенциальными последствиями этих ограничений для спроса и прогнозов рыночной капитализации.
FAQ
Каковы ключевые рекомендации, предложенные Anthropic для повышения безопасности оценок ИИ?
Anthropic предложил десять рекомендаций, включая предварительную регистрацию методов оценки, валидацию автоматизированных систем оценки по сравнению с человеческими оценками, использование многоповоротных симуляций для оценки ответов моделей, сбор многопрофильных команд для оценки, мониторинг в реальном времени во время оценок и прозрачное общение о неопределенностях и ограничениях.
Почему Anthropic сейчас сосредоточен на оценках безопасности ИИ?
Anthropic сосредоточен на оценках безопасности ИИ в рамках подготовки к значительному IPO, стремясь привлечь около 64 миллиардов долларов. Компания считает, что целостность оценок безопасности имеет решающее значение для определения готовности моделей ИИ к выпуску.
Какие опасения высказал Джейкоб Коксон относительно подхода Anthropic к безопасности ИИ?
Джейкоб Коксон выразил опасения по поводу потенциальных рисков самоулучшающихся систем ИИ, особенно после того, как увидел слайд во время роудшоу IPO, который иллюстрировал суперэкспоненциальные приросты в эффективности вычислений при предварительном обучении. Его отставка была вызвана опасениями по поводу безопасности, а не финансовыми стимулами.
Как подход Anthropic к оценкам безопасности ИИ соотносится с кризисом репликации в психологии?
Рекомендации Anthropic проводят параллели с реформами, возникшими в результате кризиса репликации в психологии, предполагая, что безопасность ИИ должна принимать строгие методологии, аналогичные тем, которые используются в психологии, чтобы избежать будущих проблем в оценках безопасности.
Каково значение мониторинга в реальном времени во время оценок безопасности ИИ?
Мониторинг в реальном времени во время оценок имеет значение, так как он позволяет быстро выявлять проблемы, обеспечивая немедленное решение любых потенциальных проблем, тем самым повышая общую целостность и надежность оценок безопасности.