Исследователь Anthropic уходит в отставку из-за опасений по поводу безопасности ИИ, предупреждая о экзистенциальных рисках

Джекоб Коксон, 27-летний британский исследователь в Anthropic, публично подал в отставку, выразив серьезные опасения по поводу быстрого развития искусственного интеллекта и его потенциальной угрозы для человечества. Его уход, который произошел около 8-9 сентября, подчеркивает растущее беспокойство среди специалистов в области ИИ относительно управляемости продвинутых систем ИИ.

Отставка Коксона особенно тревожна, так как она получила поддержку от его коллег в Anthropic. Эван Хабингер, руководитель научного направления по выравниванию, поддержал опасения Коксона в социальных сетях, оценив вероятность того, что ИИ может привести к значительным человеческим жертвам в течение следующего десятилетия, более чем в 10%. Он также отметил, что в Anthropic в настоящее время отсутствует четкая стратегия для согласования с суперинтеллектуальными системами. Другой исследователь, Самуэль Маркс, поделился аналогичными опасениями, указав на то, что многие старшие сотрудники компании обеспокоены потенциальными рисками, угрожающими существованию.

Коксон раскритиковал язык, используемый в разработке ИИ, такой как «критический момент» и «финальная игра», утверждая, что он формирует стремление к суперинтеллекту как срочную конкуренцию, а не как значительный риск, требующий тщательного управления. Эта отставка не является единичным случаем; она произошла после ухода Мринак Шармы, который возглавлял команду исследований по безопасности в Anthropic, ранее в этом году из-за аналогичных опасений по поводу нарастающих угроз, связанных с ИИ.

Ирония ситуации заметна, поскольку Anthropic была основана бывшими сотрудниками OpenAI, которые стремились приоритизировать безопасность в разработке ИИ. Теперь их собственные исследователи по безопасности покидают компанию из-за предполагаемой небрежности в решении этих критических вопросов. Коксон конкретно указал на международную конкуренцию, особенно со стороны китайских лабораторий ИИ, как на фактор, усугубляющий срочность продвижения технологий ИИ без адекватных мер безопасности.