OpenAI представляет сторонние оценки для безопасности моделей ИИ

22 сентября OpenAI объявила о значительном изменении в своем подходе к безопасности ИИ, предоставив независимым оценщикам доступ к своим моделям на более ранних этапах разработки. Эта инициатива направлена на выявление проблем безопасности до того, как они перерастут в более серьезные вопросы.

Расширенная программа оценки сосредоточена на четырех ключевых областях: оценка случаев безопасности OpenAI, оценка устойчивости мер защиты от враждебных угроз, согласование оценок с рамками готовности компании и расследование случаев несоответствия. OpenAI изложила семь основных принципов для этих оценок, подчеркивая научную строгость, независимость и ответственное опубликование результатов.

Организации, такие как METR и Redwood Research, известные своим опытом в области безопасности ИИ, ведут переговоры о сотрудничестве с OpenAI в рамках этой инициативы. Этот шаг является продолжением обязательств, данных генеральным директором Сэмом Альтманом ранее в сентябре, что свидетельствует о более глубокой интеграции оценщиков в операционную структуру OpenAI.

Новая структура представляет собой проактивный подход к безопасности, перемещая оценки на более ранние этапы разработки, что может служить моделью для стандартов безопасности в отрасли. Однако остается задача сбалансировать прозрачность с коммерческими интересами, особенно если независимые оценки выявят результаты, противоречащие бизнес-целям OpenAI.