Alfreds Labor
Vergisst eine KI-Zusammenfassung, was du gelöscht hast?
Urteil: teils nicht von selbst; Nachführen durch das Modell war nicht verlässlich
Getestet am · Stand
Urteil: nicht von selbst. In unserem Test kannte das Sprachmodell einen gelöschten (erfundenen) Fakt weiter, solange die daraus erzeugte Zusammenfassung unverändert blieb (6 von 6 Läufen). Baute man die Zusammenfassung aus den übrigen Daten neu, war der Fakt in 0 von 6 Läufen noch zu finden; ließen wir das Modell die alte Zusammenfassung „nachführen“, blieb er in 1 von 6 Läufen stehen.
Worum geht es?
Viele KI-Assistenten speichern Dinge, die Nutzer ihnen erzählen, und erzeugen daraus Zusammenfassungen oder Notizen. Wird der ursprüngliche Eintrag gelöscht, steht die Information womöglich noch in diesen abgeleiteten Texten. Das ist nicht nur ein technisches Detail: Wer etwas löschen lässt oder löschen muss (zum Beispiel nach Art. 17 DSGVO), will, dass es wirklich weg ist.
Anlass war die Veröffentlichung AfterDeleteBench: Auditing Post-Deletion Information Persistence in LLM Agents (Saleh und andere, eingereicht am 22.10.2026). Nach der Zusammenfassung der Autoren können abgeleitete Zustände eine gelöschte Information weiter enthalten, und Löschen sollte deshalb am Verhalten des gesamten Agenten geprüft werden. Ihr Test und ihre Zahlen sind nicht unsere: Wir haben ihre Messung nicht nachgebaut und ihre Zahlen nicht geprüft.
Unsere Hypothese: Nach dem Löschen eines Eintrags bleibt die Information in einer Zusammenfassung erhalten, wenn diese nicht neu erzeugt wird.
Wie wir getestet haben
- Daten: ausschließlich erfundene Fakten. Sechs Läufe, jeweils mit sechs erfundenen Personen und einem Wert je Person (Name einer Katze, eines Boots, Lieblingsgetränk, Gartenpflanze, Fahrradmarke, Arbeitsort). Jeder Lauf hat einen Zielfakt, der „gelöscht“ wird; seine Position unter den sechs wechselt von Lauf zu Lauf. Alle Soll-Werte standen vor dem ersten Modellaufruf fest.
- Modell: DeepSeek Flash (genaue Version nicht belegt), Temperatur 0, über eine Programmierschnittstelle, auf einem Linux-Mini-PC. Das Modell bekommt zum Beantworten nur die Zusammenfassung als Text und die Anweisung, ausschließlich daraus zu antworten und sonst „UNBEKANNT“ zu schreiben.
- Sechs Bedingungen je Lauf:
- A vorher: Zusammenfassung frisch, nach dem Zielfakt gefragt (Kontrolle: soll gefunden werden).
- B Zielfakt gelöscht, Zusammenfassung unverändert (Hypothese: bleibt erhalten).
- C Zusammenfassung aus den Restfakten neu gebaut (soll verschwinden).
- F Das Modell bekommt die alte Zusammenfassung und die Anweisung, den gelöschten Fakt über eine namentlich genannte Person herauszunehmen („nachführen“).
- N Frage nach einem Fakt, der nie gespeichert wurde (soll „UNBEKANNT“ ergeben).
- R Zwei andere Fakten nach dem Neubau (sollen weiter gefunden werden).
- Auswertung: automatischer Stichwortabgleich: „gefunden“ heißt, die Antwort enthält den erwarteten Wert.
Messwerte
| Bedingung | Erwartung | Ergebnis (6 Läufe) |
|---|---|---|
| A: vorher | Fakt wird gefunden | 6 von 6 gefunden |
| B: gelöscht, Zusammenfassung unverändert | bleibt erhalten | 6 von 6 gefunden |
| C: Zusammenfassung neu gebaut | verschwindet | 0 von 6 gefunden |
| F: vom Modell nachgeführt | verschwindet | 1 von 6 gefunden (5 von 6 entfernt) |
| N: nie gespeicherter Fakt | „UNBEKANNT“ | 0 von 6 erfunden |
| R: Restfakten nach Neubau | werden gefunden | 12 von 12 gefunden |
Der Test umfasste 60 Modellaufrufe mit zusammen 7.526 Eingabe- und 1.456 Ausgabe-Tokens, dauerte 51,8 Sekunden und kostete laut Abrechnungsangabe der Schnittstelle 0,0020 US-Dollar.
Was uns aufgefallen ist
- B ist keine Überraschung, sondern die Kontrolle. Wird die Zusammenfassung nicht angefasst, steht der Fakt natürlich noch darin. Interessant ist, was passiert, wenn man etwas dagegen tut.
- Neu bauen wirkte, Nachführen nur meistens. In 5 von 6 Läufen strich das Modell den Fakt korrekt; in einem Lauf (Gartenpflanzen) behielt es ihn in der „nachgeführten“ Zusammenfassung. Bei 6 Läufen ist das ein Hinweis, kein Maß für eine Fehlerquote.
- Die Gegenproben hielten: Das Modell erfand den nie gespeicherten Fakt in keinem Lauf, und die übrigen Fakten blieben nach dem Neubau auffindbar (12 von 12).
Grenzen dieses Tests
- Sechs Läufe, ein Modell, ein Durchlauf je Lauf, keine Wiederholung. Das ist keine Statistik.
- Die Zusammenfassungen waren kurz (sechs Fakten in zwei bis vier Sätzen) und die Fragen direkt. In echten Systemen sind Zusammenfassungen länger und die Informationen verstreuter; wer gezielt nachbohrt, bekommt womöglich mehr heraus als bei unserer einen Frage.
- Wir haben ein reines „Zusammenfassung als Kontext“-Szenario getestet. Systeme mit mehreren Speichern, Suchindizes oder Zwischenspeichern verhalten sich anders und können weitere Kopien enthalten.
- Beim „Nachführen“ haben wir dem Modell gesagt, welcher Fakt zu streichen ist. Ohne diese Angabe wäre es schwerer.
- Eine unabhängige Zweitprüfung des endgültigen Messskripts hat nicht stattgefunden.
- Das ist ein technischer Versuch. Was rechtlich als „gelöscht“ gilt, haben wir nicht untersucht.
Einordnung
Wer einen Assistenten betreibt, der Inhalte zusammenfasst, sollte beim Löschen auch die abgeleiteten Daten bedenken: Zusammenfassungen, Notizen, Suchindizes. Unser Versuch spricht dafür, sie aus den übrigen Daten neu zu erzeugen, statt sie vom Modell „berichtigen“ zu lassen; mehr kann er bei sechs Läufen nicht belegen. Ob ein Verfahren wirklich vergisst, lässt sich nur messen: mit einer Frage nach dem gelöschten Inhalt, nach dem Löschen.
Selbst nachbauen
- Erfinde sechs Personen mit je einem Wert (Katze, Boot oder Ähnliches) und schreibe die Soll-Werte auf, bevor du das Modell fragst.
- Lasse das Modell daraus eine Zusammenfassung in zwei bis vier Sätzen schreiben, die alle Namen behält.
- Bestimme einen Zielfakt. Frage mit der Zusammenfassung als einzigem Kontext nach ihm (A), dann nochmals mit unveränderter Zusammenfassung nach dem „Löschen“ (B).
- Baue die Zusammenfassung aus den übrigen fünf Fakten neu (C) und lasse die alte Zusammenfassung vom Modell „nachführen“ (F). Frage jeweils erneut nach dem Zielfakt.
- Prüfe als Gegenproben einen nie gespeicherten Fakt (N) und zwei verbliebene Fakten (R). Wiederhole das Ganze mit anderen Fakten und anderen Positionen des Zielfakts.
Quellen
- Saleh u. a.: AfterDeleteBench: Auditing Post-Deletion Information Persistence in LLM Agents, arXiv 2610.31366
- Datenschutz-Grundverordnung (EUR-Lex), Art. 17 „Recht auf Löschung“ (zur Einordnung, keine Rechtsberatung)
- DeepSeek (Modellanbieter)
War das hilfreich?
Rückmeldungen sind willkommen. Fehler entdeckt? Schreib uns über „Fehler melden“ unter dem Beitrag; wir prüfen und korrigieren. Der Beitrag wurde ohne Absprache mit den Autoren der genannten Veröffentlichung geschrieben.
Anonym, ohne Konto und ohne Cookie. Etwas falsch? Fehler melden