Рынки
Исследование Университета Цинхуа показывает, что ИИ-агенты испытывают трудности с удалением данных пользователей
Предварительное исследование Университета Цинхуа подчеркивает серьезные проблемы в управлении памятью ИИ, в частности, касающиеся способности ИИ-агентов выполнять запросы на удаление данных. Исследование, опубликованное около 14 октября 2026 года, показало, что среди различных протестированных систем памяти ни одна не смогла выполнить более 1,5% запросов на забывание, при этом многие получили 0%.
Ключевые выводы из бенчмарка BEMULA
В исследовании был представлен бенчмарк под названием BEMULA, предназначенный для оценки того, могут ли агенты на основе больших языковых моделей (LLM) эффективно забывать конфиденциальную информацию по явному запросу пользователей. Исследователи оценили шесть известных систем памяти на трех различных архитектурах LLM, используя обширный набор данных из 746 сессий и 36,900 диалоговых реплик.
- Уровни удержания фактов, которые пользователи просили удалить, часто превышали 87%.
- Наивные подходы к извлечению данных продемонстрировали примерно 74% удержания.
- Даже после запроса на забывание, лучшая защита от извлечения данных составила всего около 35,7%.
Несмотря на то, что агенты подтверждали запросы на удаление, исследование показало, что такие подтверждения не гарантируют фактического удаления данных. Некоторые модели даже проявляли тенденцию к чрезмерному удалению, удаляя нерелевантные данные, которые пользователи не запрашивали.
Последствия для разработки ИИ
Это исследование поднимает критические вопросы для разработчиков ИИ-агентов с постоянной памятью. Подтверждение удаления, которое не приводит к фактическому удалению данных, вводит в заблуждение и создает риски для конфиденциальности. Пользователям рекомендуется оставаться скептичными к утверждениям о том, что конфиденциальная информация была забыта, пока не будут разработаны более надежные системы.
FAQ
Каковы основные выводы исследования Университета Цинхуа по управлению памятью ИИ?
Исследование показало, что агенты ИИ испытывают трудности с эффективным выполнением запросов на забвение, при этом ни одна из протестированных систем памяти не смогла успешно выполнить более 1,5% таких запросов.
Что такое бенчмарк BEMULA, представленный в исследовании?
BEMULA — это бенчмарк, разработанный для оценки того, могут ли агенты больших языковых моделей (LLM) эффективно забывать конфиденциальную информацию, когда пользователи явно этого просят.
Как агенты ИИ справлялись с сохранением информации после запросов на забвение?
Уровни сохранения фактов, которые пользователи просили удалить, часто превышали 87%, при этом наивные подходы к извлечению показывали около 74% сохранения даже после запросов на забвение.
Каковы последствия исследования для разработчиков ИИ?
Исследование вызывает опасения по поводу надежности подтверждений удаления от агентов ИИ, предполагая, что вводящие в заблуждение заявления о удалении данных могут представлять собой риски для конфиденциальности пользователей.
Что пользователям следует учитывать в отношении агентов ИИ и их управления памятью?
Пользователи должны оставаться скептически настроенными к заявлениям о том, что конфиденциальная информация была забыта, до тех пор, пока не будут разработаны более надежные системы управления памятью.