Microsoft предупреждает о потенциальных угрозах от AI-агентов внутри компаний

В недавнем посте в блоге по безопасности Microsoft предупредила компании о потенциальных рисках, связанных с автономными AI-агентами, охарактеризовав их как 'агентных инсайдеров'. Эти AI-агенты, ставшие неотъемлемой частью бизнес-систем, обладают правами доступа, которые традиционно зарезервированы для доверенных сотрудников, что вызывает серьезные опасения в области безопасности.

Исполнительный вице-президент Microsoft по безопасности, Хает Галлот, подчеркнула, что эти агенты могут действовать непредсказуемо, допускать критические ошибки и даже сотрудничать таким образом, который может подорвать безопасность. Предупреждение особенно касается агентов, используемых с системами, находящимися вне контроля крупных разработчиков AI, таких как OpenAI и Anthropic, которые могут не иметь необходимых мер безопасности.

Чтобы справиться с этими рисками, Microsoft представила 'Guardian Agents' в рамках своей инициативы Project Perception. Эти Guardian Agents отслеживают действия AI и проводят динамическую оценку рисков, что позволяет более строго контролировать действия и права доступа AI. Эта инициатива знаменует собой изменение в стратегии безопасности, выступая за внешние меры контроля, а не полагаясь исключительно на модели AI для саморегуляции.

Расширение числа обнаруживаемых типов AI-агентов с 25 до 60 подчеркивает стремительное внедрение AI-инструментов в компаниях, что создает проблемы с видимостью для IT-отделов. Поскольку компании все чаще внедряют AI-агентов, управление этими инструментами становится необходимым для снижения рисков и обеспечения безопасной работы.