Was hier eigentlich passiert

Ein Entwickler bei uns hat einem KI-Agenten innerhalb von zwei Monaten nach eigener Zählung rund zehnmal erklärt, wo die Datenbank einer bestimmten Anwendung liegt. Jedes Mal hat der Agent es verstanden, jedes Mal korrekt weitergearbeitet, und in der nächsten Sitzung war die Information weg. Das ist kein Fehler des Modells und kein Konfigurationsproblem. Es folgt daraus, wie Sprachmodelle arbeiten. Und du kannst es abstellen.

Das Sprachmodell selbst hat kein Gedächtnis. Es hat ein Kontextfenster, und das ist am Ende jeder Sitzung leer. Was ein Produkt darüber hinaus speichert (Gesprächsverlauf, abgelegte Notizen), wird um das Modell herum gebaut, nicht vom Modell selbst.

Vier Symptome, zwei Ursachen

In der Praxis meldet niemand „unser Agent hat kein Gedächtnis". Gemeldet wird eines von vier Symptomen:

  • Der Agent kennt unsere Systeme nicht. Jede Sitzung beginnt damit, dass jemand die Umgebung erklärt: welche Systeme es gibt, wie sie zusammenhängen, welche Eigenheiten es gibt. Bei einer Sitzung am Tag ist das lästig. Bei dreißig ist es ein Kostenfaktor.
  • Er vergisst mitten im Gespräch. Das ist ein anderes Problem als das erste und wird ständig damit verwechselt. Innerhalb einer langen Sitzung kann die Zuverlässigkeit mit der Länge des Kontexts sinken. Der Lost-in-the-Middle-Effekt zeigt eine U-förmige Kurve: Was am Anfang und am Ende steht, wird zuverlässig genutzt, was in der Mitte liegt, deutlich schlechter. Die Untersuchung zu Context Rot beobachtet dasselbe bei wachsender Länge. Beides sind Befunde zu bestimmten Modellen und Aufgaben. Ob und wie stark es bei dir auftritt, gehört gemessen. Ein größeres Kontextfenster ist jedenfalls keine verlässliche Antwort darauf.
  • Er schlägt Lösungen vor, die wir längst verworfen haben. Mit denselben guten Argumenten, die vor drei Monaten auch nicht gereicht haben. Wenn niemand aufgeschrieben hat, warum eine Entscheidung fiel, wird sie jedes Quartal neu verhandelt.
  • Er wiederholt Fehler. Ein Modell zieht aus einem Fehler von allein keine Lehre. Es sieht dieselbe Frage und gibt dieselbe Antwort. Dabei ist „was nicht funktioniert hat" im Betrieb wertvoller als „was funktioniert hat", weil es teurer ist, es ein zweites Mal herauszufinden.

Symptom 1, 3 und 4 haben dieselbe Ursache: Es gibt keinen Ort außerhalb des Modells, an dem das Wissen liegt und von dem es zu Beginn jeder Sitzung geladen wird. Symptom 2 hat eine andere Ursache und braucht eine andere Antwort: nämlich weniger und gezielteren Kontext, nicht mehr.

Die Entscheidung, die niemand trifft

Der eigentliche Fehler passiert vor dem Betrieb. Wissen wird nicht zugeordnet, sondern landet dort, wo gerade jemand tippt: im Chatfenster. Es gibt aber nur vier sinnvolle Orte, und für jeden gibt es ein klares Kriterium.

Was                                    Gehört in           Kriterium
-------------------------------------- ------------------- ------------------------
"Antworte knapp, kein Marketing-Ton"   Systemprompt        gilt immer, ändert
                                                           sich nie
"Die DB liegt auf eigenem Server X"    Gedächtnis          gilt immer, ändert
                                                           sich selten
"Fehler Y nie wieder so angehen"       Gedächtnis: Warnung muss VOR der Arbeit
                                                           vorliegen
"Wir haben uns gegen A entschieden"    Gedächtnis: Beschluss  sonst wird neu
                                                           verhandelt
Preisliste, Verträge, Normen, Doku     Dokument + Abruf    zu groß, ändert sich,
                                                           belegpflichtig
Der Auftrag dieser einen Sitzung       Prompt              gilt nur jetzt
Chatverlauf von gestern                nirgends            Rohmaterial, noch
                                                           kein Wissen

Drei Regeln, die aus der Tabelle folgen:

  • Der Systemprompt ist kein Ablageort. Alles, was dort steht, wird in jeder Sitzung mitgelesen und bezahlt. Er ist für Verhalten da, nicht für Fakten.
  • Ein Dokument ersetzt kein Gedächtnis. Ein Wiki-Eintrag, den der Agent finden könnte, hilft nicht, wenn er nicht weiß, dass er suchen soll. Eine Warnung muss vorliegen, nicht bloß auffindbar sein. Ob über ein Gedächtnis oder über einen automatisch mitlaufenden Abruf, ist eine Frage der Umsetzung.
  • Ein Chatverlauf ist kein Gedächtnis. Er sammelt, aber er verdichtet nicht und vergisst nicht. Nach einem Jahr Betrieb ist die richtige Antwort darin genauso schwer zu finden wie ohne ihn.

Wie du in einer Woche feststellst, was bei dir kaputt ist

  • Zähl die Wiederholungen. Eine Woche lang mitschreiben, welche Erklärung mehr als einmal gegeben wurde. Jede Erklärung, die zweimal vorkommt, ist ein Kandidat für ein Gedächtnis. Mehr Analyse braucht es für den Anfang nicht.
  • Trenn die beiden Vergessens-Arten. Passiert es zwischen Sitzungen oder innerhalb einer langen Sitzung? Zwischen Sitzungen heißt: Ablage fehlt. Innerhalb heißt: zu viel Kontext, und die Antwort ist kürzer und gezielter, nicht ein größeres Modell.
  • Ordne jede wiederholte Erklärung der Tabelle oben zu. Die meisten Einträge landen in Zeile zwei oder drei. Genau die stehen heute typischerweise nirgends.
  • Schreib drei Sätze auf, die jede Sitzung zu Beginn liest. Nicht dreißig. Die drei, die am häufigsten erklärt werden mussten. Das ist die kleinste Version eines Gedächtnisses, und sie funktioniert.
  • Erzwing die Rückmeldung am Ende. Was in einer Sitzung gelernt wurde, muss aufgeschrieben werden, sonst ist es weg. Wenn das freiwillig ist, passiert es selten, bei Agenten so wenig wie bei Menschen.

Beispiel: Handelsbetrieb, 60 Mitarbeitende, Assistent im Einsatz

Ein illustratives Beispiel. Der Betrieb nutzt einen Assistenten für die Angebotsvorbereitung. Beschwerde der Fachabteilung: „Er kennt unsere Artikellogik nicht." Die Zuordnung nach einer Woche Mitschreiben:

Wiederholte Erklärung                  Häufigkeit  Zuordnung
-------------------------------------- ----------- --------------------
Artikelnummern-Systematik ab 2019      9x          Gedächtnis
Rabattstaffel gilt nicht für Gruppe C  7x          Gedächtnis
"Bitte keine Werbefloskeln"            6x          Systemprompt
Aktuelle Preisliste                    5x          Dokument + Abruf
Kunde X will keine PDF-Anhänge         2x          Gedächtnis
Angebot für Kunde Y bis Freitag        1x          Prompt (bleibt dort)

Vier Einträge (Artikelnummern, Rabattstaffel, Preisliste und Kunde X), zusammen etwa eine halbe Seite Text, decken 23 der 30 wiederholten Erklärungen ab. Kein anderes Modell, keine neue Plattform, keine Migration. Das ist der übliche Befund: Das Problem sieht nach Technik aus und ist eine Frage der Ablage.

Was das nicht löst

Ein Gedächtnis, das nur wächst, wird unbrauchbar. Das kennt jeder, der ein Wiki betreut hat. Es braucht von Anfang an eine Antwort auf zwei Fragen: Wer entscheidet, was veraltet ist? Und wie erkennst du, welchen der eigenen Einträge du überhaupt trauen kannst? Wer beides auf später verschiebt, hat in zwei Jahren ein zweites Altsystem, diesmal aus Notizen.

Und die Grenze bleibt: Urteilswissen, also die Fähigkeit, eine Situation richtig einzuschätzen, liegt in keinem Datenbankfeld. Ein Gedächtnis nimmt dem Agenten das Wiederholen ab, nicht das Denken.

Weiterlesen im Wissen-Hub

Warum ein Agent überhaupt etwas anderes ist als ein Chatfenster mit Werkzeugen, steht in KI-Agenten und ChatGPT im Vergleich. Wie sich daraus Anwendungen bauen lassen, die im Betrieb bestehen, liest du in Agentische Applikationen im Mittelstand.