Дарио Амодеи из Anthropic призывает замедлить развитие ИИ на фоне проблем с безопасностью

Дарио Амодеи, генеральный директор Anthropic, провел яркую параллель между текущей конкуренцией в области ИИ между США и Китаем и Холодной войной, подчеркивая необходимость преднамеренного замедления разработки ИИ для снижения потенциальных рисков. В недавнем интервью на CBS Sunday Morning и в своем эссе под названием «Мы должны замедлить развитие», Амодеи утверждает, что исследования в области безопасности отстают от быстрого темпа разработки моделей, что может привести к катастрофическим последствиям.

Эссе Амодеи, опубликованное 12 сентября, подчеркивает неминуемые риски от продвинутых систем ИИ, которые могут доминировать в интернете в течение короткого времени — от шести до двенадцати месяцев. Он описывает основную проблему как рекурсивное самоулучшение, когда системы ИИ могут развиваться непредсказуемо, достигнув определенного порога возможностей. Его предложенное решение не заключается в полном прекращении разработки ИИ, а скорее в согласованных усилиях между лабораториями ИИ для замедления прогресса при обеспечении безопасности и соответствия человеческим намерениям.

Призыв к осторожности получил поддержку от других видных фигур в секторе ИИ, включая генерального директора OpenAI Сэма Альтмана и генерального директора Google DeepMind Демиса Хассабиса, а также Илона Маска. Однако Амодеи признает дилемму, вызванную конкурентной обстановкой с Китаем, предполагая, что США должны ограничить экспорт продвинутых чипов ИИ, чтобы сдержать возможности Китая в этой области, и вести дипломатические переговоры, аналогичные историческим соглашениям по контролю над вооружениями.

Последствия предупреждения Амодеи уже ощущаются на финансовых рынках: фьючерсы на акции США резко упали после публикации его эссе. Фьючерсы на Nasdaq 100 упали на 1,2%, в то время как основные индексы, такие как Dow Jones и S&P 500, также испытали снижение. Этот спад отражает растущую неопределенность среди инвесторов, поскольку индустрия ИИ сталкивается с проблемами безопасности на фоне геополитического давления.

Акции SoftBank Group также пострадали, упав более чем на 13% после заявлений Амодеи и объявления Альтмана о задержке IPO OpenAI из-за проблем с безопасностью. Значительные инвестиции SoftBank в OpenAI делают его акции особенно чувствительными к событиям в секторе ИИ, что еще раз подчеркивает взаимосвязанность достижений в области ИИ, обсуждений безопасности и реакций рынка.

Пока Anthropic и OpenAI ориентируются в этом сложном ландшафте, напряжение между быстрым технологическим прогрессом и необходимостью контроля за безопасностью продолжает нарастать, поднимая критические вопросы о будущем разработки ИИ и его более широких последствиях.