Отчет Anthropic подчеркивает роль ИИ в исследовании биологического оружия и риски безопасности

Компания Anthropic выпустила подробный отчет, в котором описывается, как ее модель ИИ, Claude, была вовлечена в исследовательские усилия, которые могли бы способствовать разработке биологического оружия. В отчете упоминается отклоненная заявка на грант, направленная на изучение вируса чикунгунья, целью которой было улучшение его распространения и уклонение от иммунных ответов. Хотя заявка была отклонена фильтрами безопасности Claude, операторы, как сообщается, нашли обходной путь, используя модель ИИ конкурента.

Отчет состоит из 154 страниц и включает пять конкретных случаев, связанных с биологическими исследованиями. Несмотря на то что Anthropic приняла меры по блокировке аккаунтов и остановке исследований, она не утверждает о наличии злого умысла со стороны исследователей. В отчете подчеркивается двойственная природа научных знаний, которые могут быть использованы как в благих, так и в вредных целях.

Кроме того, отчет вызывает тревогу по поводу последствий дистилляции ИИ, которая может улучшить способности рассуждения в системах ИИ без передачи необходимых мер безопасности, что потенциально увеличивает риски безопасности. С ростом опасений по поводу неправильного использования ИИ предлагаются законодательные инициативы, такие как законопроект о «Кнопке отключения ИИ», чтобы гарантировать, что разработчики сохраняют контроль над своими системами.

Выводы Anthropic подчеркивают продолжающиеся проблемы в балансировании преимуществ технологий ИИ с потенциальными рисками их неправильного использования, особенно в таких чувствительных областях, как биологические исследования.