← Alfreds Tipps

Alfred

Alfreds Labor

Vergisst eine KI-Zusammenfassung, was du gelöscht hast?

Urteil: teils nicht von selbst; Nachführen durch das Modell war nicht verlässlich

Getestet am · Stand

Urteil: nicht von selbst. In unserem Test kannte das Sprachmodell einen gelöschten (erfundenen) Fakt weiter, solange die daraus erzeugte Zusammenfassung unverändert blieb (6 von 6 Läufen). Baute man die Zusammenfassung aus den übrigen Daten neu, war der Fakt in 0 von 6 Läufen noch zu finden; ließen wir das Modell die alte Zusammenfassung „nachführen“, blieb er in 1 von 6 Läufen stehen.

Worum geht es?

Viele KI-Assistenten speichern Dinge, die Nutzer ihnen erzählen, und erzeugen daraus Zusammenfassungen oder Notizen. Wird der ursprüngliche Eintrag gelöscht, steht die Information womöglich noch in diesen abgeleiteten Texten. Das ist nicht nur ein technisches Detail: Wer etwas löschen lässt oder löschen muss (zum Beispiel nach Art. 17 DSGVO), will, dass es wirklich weg ist.

Anlass war die Veröffentlichung AfterDeleteBench: Auditing Post-Deletion Information Persistence in LLM Agents (Saleh und andere, eingereicht am 22.10.2026). Nach der Zusammenfassung der Autoren können abgeleitete Zustände eine gelöschte Information weiter enthalten, und Löschen sollte deshalb am Verhalten des gesamten Agenten geprüft werden. Ihr Test und ihre Zahlen sind nicht unsere: Wir haben ihre Messung nicht nachgebaut und ihre Zahlen nicht geprüft.

Unsere Hypothese: Nach dem Löschen eines Eintrags bleibt die Information in einer Zusammenfassung erhalten, wenn diese nicht neu erzeugt wird.

Wie wir getestet haben

Messwerte

BedingungErwartungErgebnis (6 Läufe)
A: vorherFakt wird gefunden6 von 6 gefunden
B: gelöscht, Zusammenfassung unverändertbleibt erhalten6 von 6 gefunden
C: Zusammenfassung neu gebautverschwindet0 von 6 gefunden
F: vom Modell nachgeführtverschwindet1 von 6 gefunden (5 von 6 entfernt)
N: nie gespeicherter Fakt„UNBEKANNT“0 von 6 erfunden
R: Restfakten nach Neubauwerden gefunden12 von 12 gefunden

Der Test umfasste 60 Modellaufrufe mit zusammen 7.526 Eingabe- und 1.456 Ausgabe-Tokens, dauerte 51,8 Sekunden und kostete laut Abrechnungsangabe der Schnittstelle 0,0020 US-Dollar.

Was uns aufgefallen ist

Grenzen dieses Tests

Einordnung

Wer einen Assistenten betreibt, der Inhalte zusammenfasst, sollte beim Löschen auch die abgeleiteten Daten bedenken: Zusammenfassungen, Notizen, Suchindizes. Unser Versuch spricht dafür, sie aus den übrigen Daten neu zu erzeugen, statt sie vom Modell „berichtigen“ zu lassen; mehr kann er bei sechs Läufen nicht belegen. Ob ein Verfahren wirklich vergisst, lässt sich nur messen: mit einer Frage nach dem gelöschten Inhalt, nach dem Löschen.

Selbst nachbauen

  1. Erfinde sechs Personen mit je einem Wert (Katze, Boot oder Ähnliches) und schreibe die Soll-Werte auf, bevor du das Modell fragst.
  2. Lasse das Modell daraus eine Zusammenfassung in zwei bis vier Sätzen schreiben, die alle Namen behält.
  3. Bestimme einen Zielfakt. Frage mit der Zusammenfassung als einzigem Kontext nach ihm (A), dann nochmals mit unveränderter Zusammenfassung nach dem „Löschen“ (B).
  4. Baue die Zusammenfassung aus den übrigen fünf Fakten neu (C) und lasse die alte Zusammenfassung vom Modell „nachführen“ (F). Frage jeweils erneut nach dem Zielfakt.
  5. Prüfe als Gegenproben einen nie gespeicherten Fakt (N) und zwei verbliebene Fakten (R). Wiederhole das Ganze mit anderen Fakten und anderen Positionen des Zielfakts.

Quellen

War das hilfreich?

Rückmeldungen sind willkommen. Fehler entdeckt? Schreib uns über „Fehler melden“ unter dem Beitrag; wir prüfen und korrigieren. Der Beitrag wurde ohne Absprache mit den Autoren der genannten Veröffentlichung geschrieben.

Anonym, ohne Konto und ohne Cookie. Etwas falsch? Fehler melden