Отчет Anthropic подчеркивает роль ИИ в исследовании биологического оружия и риски безопасности
Компания Anthropic выпустила подробный отчет, в котором описывается, как ее модель ИИ, Claude, была вовлечена в исследовательские усилия, которые могли бы способствовать разработке биологического оружия. В отчете упоминается отклоненная заявка на грант, направленная на изучение вируса чикунгунья, целью которой было улучшение его распространения и уклонение от иммунных ответов. Хотя заявка была отклонена фильтрами безопасности Claude, операторы, как сообщается, нашли обходной путь, используя модель ИИ конкурента.
Отчет состоит из 154 страниц и включает пять конкретных случаев, связанных с биологическими исследованиями. Несмотря на то что Anthropic приняла меры по блокировке аккаунтов и остановке исследований, она не утверждает о наличии злого умысла со стороны исследователей. В отчете подчеркивается двойственная природа научных знаний, которые могут быть использованы как в благих, так и в вредных целях.
Кроме того, отчет вызывает тревогу по поводу последствий дистилляции ИИ, которая может улучшить способности рассуждения в системах ИИ без передачи необходимых мер безопасности, что потенциально увеличивает риски безопасности. С ростом опасений по поводу неправильного использования ИИ предлагаются законодательные инициативы, такие как законопроект о «Кнопке отключения ИИ», чтобы гарантировать, что разработчики сохраняют контроль над своими системами.
Выводы Anthropic подчеркивают продолжающиеся проблемы в балансировании преимуществ технологий ИИ с потенциальными рисками их неправильного использования, особенно в таких чувствительных областях, как биологические исследования.
Обновлено 10:34 UTC
Новые идеи Грега Дженсена о рисках ИИ
11 сентября 2023 года Грег Дженсен, сопредседатель инвестиционного комитета Bridgewater Associates, поделился резким предупреждением о буме ИИ во время своего выступления на подкасте Bloomberg Odd Lots. Он предположил, что общество может начать серьезно рассматривать риски, связанные с искусственным интеллектом, только после катастрофического события, которое может привести к жертвам.
Дженсен провел параллель с ранними предупреждениями о новом коронавирусе в феврале 2020 года, подчеркивая отсутствие срочности, несмотря на многочисленные предупреждения о рисках ИИ. Он курирует стратегию ИИ в Bridgewater и отметил, что их анализ предсказывает, что до 18% рабочих мест в США могут быть утрачены в течение следующих пяти лет из-за достижений в области ИИ, что затронет десятки миллионов работников.
Кроме того, Дженсен подчеркнул, что капитальные расходы, связанные с ИИ, ответственны примерно за одну треть недавнего экономического роста в США, что указывает на значительный сдвиг в зависимости экономики от производительности, управляемой ИИ. Он описал текущую фазу инвестиций в ИИ как "более опасную" по сравнению с предыдущими этапами, с растущим спросом на физическую инфраструктуру, такую как центры обработки данных и энергетические системы.
В статье для New York Times Дженсен предложил "налог на токены", направленный на смягчение экономических последствий, вызванных потерей рабочих мест из-за ИИ, нацеливаясь на вычислительные ресурсы, используемые системами ИИ. Он также выступил за привлечение к ответственности разработчиков ИИ и корпораций за причиненный вред, включая потенциальную уголовную ответственность за преступления, вызванные ИИ, что контрастирует с стремлением технологической отрасли к более легкому регулированию.
FAQ
Какова основная цель отчета Anthropic?
Отчет Anthropic сосредоточен на участии его модели ИИ, Claude, в исследовательских усилиях, которые могут потенциально способствовать разработке биологического оружия, в частности, подробно описывая отклоненное заявление на грант, связанное с вирусом чикунгунья.
Какой конкретный случай подчеркивается в отчете относительно вируса чикунгунья?
Отчет подчеркивает отклоненное заявление на грант, направленное на изучение вируса чикунгунья с целью улучшения его распространения и уклонения от иммунных ответов, которое было отклонено фильтрами безопасности Claude.
Какие меры предпринял Anthropic в ответ на результаты исследований?
Anthropic предпринял меры по блокировке аккаунтов и прекращению исследований, связанных с отклоненным заявлением на грант, хотя они не утверждали о злонамеренных намерениях со стороны участвующих исследователей.
Какие опасения вызывает отчет относительно технологий ИИ?
Отчет вызывает опасения относительно двойного использования научных знаний и последствий дистилляции ИИ, которая может улучшить способности рассуждения в системах ИИ без передачи необходимых мер безопасности, что потенциально увеличивает риски безопасности.
Какие законодательные усилия предлагаются в свете опасений по поводу злоупотребления ИИ?
В ответ на растущие опасения по поводу злоупотребления ИИ предлагаются законодательные усилия, такие как Закон о выключателе ИИ, чтобы обеспечить контроль разработчиков над их системами ИИ.
Комментарии
Комментарии публикуются после модерации.
Пока нет комментариев — напишите первым.