Warum die beiden dauernd verwechselt werden

Ein Entwickler bei uns hat einem KI-Agenten in zwei Monaten nach eigener Zählung rund zehnmal erklärt, wo die Datenbank einer bestimmten Anwendung liegt. Ein RAG-System hätte dieses Problem nicht gelöst. Nicht, weil es schlecht gewesen wäre, sondern weil die Information in keinem Dokument stand, das man hätte durchsuchen können. Genau an dieser Stelle trennen sich zwei Technologien, die im Vertrieb dasselbe versprechen: „Das System kennt eure Daten."

RAG beantwortet die Frage „was steht in unseren Unterlagen". Ein Gedächtnis beantwortet „was wissen wir aus Erfahrung". Das erste kann man nachschlagen. Das zweite hat nie jemand aufgeschrieben.

Der Unterschied, der zählt

Beide Verfahren legen Text in das Kontextfenster des Modells. Das ist die Gemeinsamkeit, und sie ist der Grund für die Verwirrung. Unterschiedlich ist vor allem, woher das Wissen kommt.

RAG (Retrieval-Augmented Generation) setzt voraus, dass das Wissen bereits existiert: Verträge, Handbücher, Normen, Produktdaten, Protokolle. Die Aufgabe ist Auffinden.

Ein Gedächtnis setzt voraus, dass das Wissen im Betrieb entsteht: die Entscheidung von letztem Quartal, der Fehler von letzter Woche, die Eigenheit eines Systems, das anders aufgebaut ist als alle anderen. Es steht nirgends, also muss es geschrieben werden.

Was oft als harte Grenze dargestellt wird (RAG wird durch eine Frage ausgelöst, ein Gedächtnis legt ungefragt vor), beschreibt die häufigste Bauform, aber keine technische Notwendigkeit. Ein Abruf kann automatisch bei jedem Lauf mitlaufen, ohne dass jemand fragt. Und ein Gedächtnis kann über Retrieval angebunden sein, statt vollständig vorgelegt zu werden. Auch der Gesprächsverlauf ist eine Form von Kurzzeitgedächtnis.

Entscheidend ist deshalb weniger die Technik als die Frage: Existiert das Wissen schon irgendwo, oder muss es jemand erst aufschreiben?

Fünf Fragen zur Zuordnung

Die folgende Tabelle ist eine Zuordnungshilfe für den Alltag, keine technische Definition. Sie hilft beim Sortieren, ersetzt aber keine Architekturentscheidung:

Frage zum Wissen                          Antwort         Tendenz
----------------------------------------- --------------- ------------
Existiert es schon als Dokument?          ja              Abruf
                                          nein            Gedächtnis
Ändert es sich häufiger als monatlich?    ja              Abruf
                                          selten/nie      Gedächtnis
Soll der Agent es lesen, ohne zu fragen?  ja              Gedächtnis
                                          nur auf Anfrage Abruf
Ist es eine Lehre aus einem Vorfall?      ja              Gedächtnis
                                          nein            Abruf
Wächst der Bestand stark?                 ja              Abruf
                                          bleibt klein    Gedächtnis

Die dritte Zeile ist die wichtigste und wird am häufigsten übersehen. Eine Warnung, die ein Agent finden könnte, wenn er auf die Idee käme zu suchen, ist keine Warnung. Sie muss vorliegen, bevor die erste Zeile Arbeit passiert. Ob das technisch über ein Gedächtnis oder über einen automatisch mitlaufenden Abruf gelöst wird, ist eine Frage der Umsetzung.

Wo Abruf allein nicht reicht

  • Der Fehler, der zweimal passiert. Ein reines Dokumentensystem hat kein Konzept von „das ist schiefgegangen". Ein Vorfallsbericht liegt darin als ein Dokument unter vielen. Nichts hält den Agenten davon ab, beim nächsten Mal denselben Weg zu nehmen.
  • Die Entscheidung, die schon gefallen ist. Warum du dich gegen Lösung A entschieden hast, steht selten in einem Dokument. Es steht in einem Protokoll, das niemand als Antwort auf die Frage „welche Architektur nehmen wir" indexiert hat. Also wird A jedes Quartal neu vorgeschlagen.
  • Die Eigenheit, die keine Doku hat. Der eine Server, der woanders steht. Die Rabattstaffel, die für eine Kundengruppe nicht gilt. Alles, was ein neuer Kollege in der ersten Woche mündlich erfährt, existiert in keinem durchsuchbaren Bestand.

Wo ein Gedächtnis allein nicht reicht

  • Große, sich ändernde Bestände. Preislisten, Verträge, technische Normen, Mandantenakten. Das gehört in einen durchsuchbaren Bestand, sonst veraltet es genau dort, wo der Agent es am ehesten glaubt.
  • Belegpflicht. Wenn eine Antwort auf eine bestimmte Vertragsklausel zurückführbar sein muss, brauchst du den Abruf mit Quellenangabe. Ein verdichteter Gedächtniseintrag hat die Klausel schon zusammengefasst, und Zusammenfassungen verlieren Details.
  • Feingranulare Zugriffsrechte. Wer welche Akte sehen darf, lässt sich auf Dokumentebene sauber abbilden. Achtung: Auch ein Gedächtnis braucht Berechtigungen, wenn darin mandantenbezogene oder personenbezogene Inhalte stehen: „gilt für alle" ist eine Entwurfsentscheidung, keine Eigenschaft der Technik.

Warum „einfach alles in den Prompt" keine dritte Option ist

Der naheliegende Ausweg lautet: Die Kontextfenster sind inzwischen groß genug, wir kippen alles hinein. Das funktioniert schlechter, als es klingt.

Der Lost-in-the-Middle-Effekt zeigt eine U-förmige Kurve: Informationen am Anfang und am Ende werden zuverlässig genutzt, die in der Mitte deutlich schlechter. Die Untersuchung zu Context Rot beobachtet, dass die Zuverlässigkeit mit wachsender Kontextlänge weiter abnimmt.

Wichtig bei der Einordnung: Das sind Beobachtungen an bestimmten Modellen und Aufgaben, kein allgemeingültiges Gesetz. Ob und wie stark das für deine Modelle und Aufgaben gilt, gehört gemessen. Der praktische Schluss bleibt trotzdem: Mehr Kontext ist nicht automatisch mehr Wissen, und du bezahlst ihn pro Sitzung.

Wie du beides zusammen aufsetzt

  • Wissensarten trennen, bevor du Software auswählst. Zwei Listen: was liegt schon als Dokument vor, und was erklären wir immer wieder mündlich. Die erste Liste ist ein Abruf-Projekt, die zweite ein Gedächtnis-Projekt. Sie haben verschiedene Kosten und verschiedene Laufzeiten.
  • Mit der zweiten Liste anfangen. Sie ist fast immer kürzer, oft eine halbe Seite, und liefert den größeren Effekt pro Aufwand. Ein Abrufsystem über zehntausend Dokumente ist ein Projekt, drei Sätze im Briefing sind eine Woche.
  • Den Abruf begrenzen, und die Grenze messen. Nicht so viel wie möglich in den Kontext legen, sondern so wenig wie nötig. Welche Trefferzahl am besten abschneidet, ist aufgabenabhängig und gehört im Betrieb gemessen. Weniger ist häufig besser, aber nicht immer.
  • Für das Gedächtnis das Vergessen mitplanen. Wer entscheidet, dass ein Eintrag überholt ist, und was passiert mit dem alten? Ohne diese Antwort hast du in zwei Jahren ein zweites Altsystem, diesmal aus Notizen.
  • Beim Anbieter nachfragen, wie es gebaut ist. Die Frage lautet nicht „habt ihr Memory". Sie lautet: Woher kommt der Inhalt, wer schreibt ihn, wann wird er geladen, und wie werden Berechtigungen abgebildet?

Beispiel: Steuerkanzlei mit 25 Mitarbeitenden

Der Assistent soll Mandantenanfragen vorbereiten. Die Zuordnung nach der Tabelle oben:

Wissen                                  Tendenz      Begründung
--------------------------------------- ------------ ----------------------------
Gesetzestexte, BMF-Schreiben            Abruf        groß, ändert sich,
                                                     belegpflichtig
Mandantenakten                          Abruf        Zugriffsrechte pro Mandant
Kanzlei-interne Auslegungslinie         Gedächtnis   steht nirgends, gilt immer
"Mandant X will keine Telefonate"       Gedächtnis   Betriebswissen, klein,
                                                     dauerhaft
Fehler: Frist aus falschem Jahr gezogen Gedächtnis   Warnung, muss vorliegen
Der Auftrag von heute                   Prompt       gilt nur jetzt

Zwei Systeme, klare Grenze. Der Fehler, den die Kanzlei fast gemacht hätte: die interne Auslegungslinie als PDF in den Dokumentenbestand zu legen. Sie wäre gefunden worden, wenn jemand danach gefragt hätte, und das tut niemand, der nicht weiß, dass es sie gibt.

Weiterlesen im Wissen-Hub

Warum ein Agent überhaupt etwas anderes ist als ein Chatfenster mit Werkzeugen, steht in KI-Agenten und ChatGPT im Vergleich. Wenn dein Agent Kontext zwischen Sitzungen verliert und du erst die Ursache eingrenzen willst: Warum ein KI-Agent Kontext vergisst.