Studie der Tsinghua-Universität zeigt, dass KI-Agenten Schwierigkeiten haben, Benutzerdaten zu vergessen

Eine Preprint-Studie der Tsinghua-Universität hebt erhebliche Herausforderungen im Bereich des Gedächtnismanagements von KI hervor, insbesondere hinsichtlich der Fähigkeit von KI-Agenten, Vergessen-Anfragen zu berücksichtigen. Die Forschung, die um den 14. Oktober 2026 veröffentlicht wurde, ergab, dass bei verschiedenen getesteten Gedächtnissystemen keines mehr als 1,5 % der Vergessen-Anfragen erfolgreich umsetzte, wobei viele sogar 0 % erzielten.

Wichtige Ergebnisse des BEMULA-Benchmarks

Die Studie führte einen Benchmark namens BEMULA ein, der darauf abzielt zu bewerten, ob große Sprachmodell-Agenten (LLM) sensible Informationen effektiv verlernen können, wenn dies von den Benutzern ausdrücklich angefordert wird. Die Forscher bewerteten sechs prominente Gedächtnissysteme über drei verschiedene LLM-Architekturen hinweg und nutzten einen umfangreichen Datensatz von 746 Sitzungen und 36.900 Dialogwechseln.

• Die Beibehaltungsraten für Fakten, die Benutzer entfernen wollten, überstiegen oft 87 %.
• Naive Abrufansätze zeigten eine Beibehaltungsrate von etwa 74 %.
• Sogar nach einer Vergessen-Anfrage betrug der beste Widerstand gegen Datenextraktion nur etwa 35,7 %.

Trotz der Bestätigung von Löschanfragen durch die Agenten stellte die Studie fest, dass solche Bestätigungen keine tatsächliche Datenlöschung garantierten. Einige Modelle zeigten sogar eine Tendenz zur Überlöschung, indem sie nicht angeforderte, irrelevante Daten entfernten.

Folgen für die KI-Entwicklung

Diese Forschung wirft kritische Bedenken für Entwickler von KI-Agenten mit persistentem Gedächtnis auf. Eine Löschbestätigung, die nicht zu einer tatsächlichen Datenlöschung führt, ist irreführend und birgt Datenschutzrisiken. Benutzern wird geraten, skeptisch gegenüber Behauptungen zu bleiben, dass sensible Informationen vergessen wurden, bis zuverlässigere Systeme entwickelt werden.