Warum die beiden dauernd verwechselt werden

Ein Entwickler bei uns hat einem KI-Agenten in zwei Monaten rund zehnmal erklärt, wo die Datenbank einer bestimmten Anwendung liegt. Ein RAG-System hätte dieses Problem nicht gelöst — nicht, weil es schlecht gewesen wäre, sondern weil die Information in keinem Dokument stand, das man hätte durchsuchen können. Genau an dieser Stelle trennen sich zwei Technologien, die im Vertrieb dasselbe versprechen: „Das System kennt eure Daten."

RAG beantwortet die Frage „was steht in unseren Unterlagen". Ein Gedächtnis beantwortet „was wissen wir aus Erfahrung". Das erste kann man nachschlagen. Das zweite hat nie jemand aufgeschrieben.

Der eine Unterschied, der zählt

Beide Verfahren legen Text in das Kontextfenster des Modells. Das ist die Gemeinsamkeit, und sie ist der Grund für die Verwirrung. Unterschiedlich sind Herkunft und Auslöser.

RAG (Retrieval-Augmented Generation) setzt voraus, dass das Wissen bereits existiert: Verträge, Handbücher, Normen, Produktdaten, Protokolle. Die Aufgabe ist Auffinden. Der Auslöser ist eine Frage — jemand fragt, das System sucht, das Passende landet im Kontext. Ohne Frage passiert nichts.

Ein Gedächtnis setzt voraus, dass das Wissen im Betrieb entsteht: die Entscheidung von letztem Quartal, der Fehler von letzter Woche, die Eigenheit eines Systems, das anders aufgebaut ist als alle anderen. Es steht nirgends, also muss es geschrieben werden. Und es wird ungefragt vorgelegt, bevor gearbeitet wird — sonst nützt es nichts.

Kurz: RAG holt auf Zuruf, ein Gedächtnis legt vor. Wer das eine für das andere einkauft, bekommt ein funktionierendes System, das sein Problem nicht löst.

Fünf Fragen, an denen du es entscheidest

Frage zum Wissen Antwort Gehört zu
----------------------------------------- --------------- ---------------
Existiert es schon als Dokument? ja RAG
nein Gedächtnis
Ändert es sich häufiger als monatlich? ja RAG
selten/nie Gedächtnis
Muss der Agent es lesen, ohne zu fragen? ja Gedächtnis
nur auf Anfrage RAG
Ist es eine Lehre aus einem Vorfall? ja Gedächtnis
nein RAG
Wächst der Bestand ins Zehntausendfache? ja RAG
bleibt klein Gedächtnis

Die dritte Zeile ist die wichtigste und wird am häufigsten übersehen. Eine Warnung, die ein Agent finden könnte, wenn er auf die Idee käme zu suchen, ist keine Warnung. Sie muss im Briefing stehen, bevor die erste Zeile Arbeit passiert.

Wo RAG allein nicht reicht

  • Der Fehler, der zweimal passiert. Ein RAG-System hat kein Konzept von „das ist schiefgegangen". Ein Vorfallsbericht liegt darin als ein Dokument unter vielen. Nichts hält den Agenten davon ab, beim nächsten Mal denselben Weg zu nehmen.
  • Die Entscheidung, die schon gefallen ist. Warum ihr euch gegen Lösung A entschieden habt, steht selten in einem Dokument. Es steht in einem Protokoll, das niemand als Antwort auf die Frage „welche Architektur nehmen wir" indexiert hat. Also wird A jedes Quartal neu vorgeschlagen.
  • Die Eigenheit, die keine Doku hat. Der eine Server, der woanders steht. Die Rabattstaffel, die für eine Kundengruppe nicht gilt. Alles, was ein neuer Kollege in der ersten Woche mündlich erfährt, existiert in keinem durchsuchbaren Bestand.

Wo ein Gedächtnis allein nicht reicht

  • Große, sich ändernde Bestände. Preislisten, Verträge, technische Normen, Mandantenakten. Das gehört nicht in ein Gedächtnis, sondern in einen durchsuchbaren Bestand — sonst veraltet es genau dort, wo der Agent es am ehesten glaubt.
  • Belegpflicht. Wenn eine Antwort auf eine bestimmte Vertragsklausel zurückführbar sein muss, brauchst du den Abruf mit Quellenangabe. Ein verdichteter Gedächtniseintrag hat die Klausel schon zusammengefasst, und Zusammenfassungen verlieren Details.
  • Zugriffsrechte pro Dokument. Wer welche Akte sehen darf, ist eine Abruffrage. Ein Gedächtnis, das für alle gilt, ist der falsche Ort für mandantengetrennte Inhalte.

Warum „einfach alles in den Prompt" keine dritte Option ist

Der naheliegende Ausweg lautet: Die Kontextfenster sind inzwischen groß genug, wir kippen alles hinein. Das funktioniert schlechter, als es klingt. Der gut belegte Lost in the Middle-Effekt zeigt eine U-förmige Kurve — Informationen am Anfang und am Ende werden zuverlässig genutzt, die in der Mitte deutlich schlechter. Die Chroma-Untersuchung zu Context Rot (2025) bestätigt, dass die Zuverlässigkeit mit wachsender Länge weiter abnimmt, strukturell bedingt und nicht durch das nächste Modell behoben. In einer Vergleichsstudie schlug gezielter Abruf von rund 16.000 Token das Vollstopfen des Fensters, wie diese Auswertung zum Nutzen großer Kontextfenster zeigt. Mehr Kontext ist nicht mehr Wissen. Er ist mehr Rauschen, und du bezahlst ihn pro Sitzung.

Wie du beides zusammen aufsetzt

  1. Wissensarten trennen, bevor du Software auswählst. Zwei Listen: was liegt schon als Dokument vor, und was erklären wir immer wieder mündlich. Die erste Liste ist ein RAG-Projekt, die zweite ein Gedächtnis-Projekt. Sie haben verschiedene Kosten und verschiedene Laufzeiten.
  2. Mit der zweiten Liste anfangen. Sie ist fast immer kürzer, oft eine halbe Seite, und liefert den größeren Effekt pro Aufwand. Ein RAG über zehntausend Dokumente ist ein Projekt, drei Sätze im Briefing sind eine Woche.
  3. Den Abruf begrenzen. Nicht so viel wie möglich in den Kontext legen, sondern so wenig wie nötig. Wer die Trefferzahl von zwanzig auf fünf senkt, verbessert die Antwortqualität in der Regel.
  4. Für das Gedächtnis das Vergessen mitplanen. Wer entscheidet, dass ein Eintrag überholt ist, und was passiert mit dem alten? Ohne diese Antwort hast du in zwei Jahren ein zweites Altsystem, diesmal aus Notizen.
  5. Beim Anbieter nachfragen, welches der beiden er baut. Die Frage lautet nicht „habt ihr Memory". Sie lautet: Wird das Wissen abgerufen oder vorgelegt, und wer schreibt es hinein?

Beispiel: Steuerkanzlei mit 25 Mitarbeitenden

Der Assistent soll Mandantenanfragen vorbereiten. Die Zuordnung nach der Tabelle oben:

Wissen Verfahren Begründung
--------------------------------------- ------------ ----------------------------
Gesetzestexte, BMF-Schreiben RAG groß, ändert sich, belegpflichtig
Mandantenakten RAG Zugriffsrechte pro Mandant
Kanzlei-interne Auslegungslinie Gedächtnis steht nirgends, gilt immer
"Mandant X will keine Telefonate" Gedächtnis Betriebswissen, klein, dauerhaft
Fehler: Frist aus falschem Jahr gezogen Gedächtnis Warnung, muss vorgelegt werden
Der Auftrag von heute Prompt gilt nur jetzt

Zwei Systeme, klare Grenze. Der Fehler, den die Kanzlei fast gemacht hätte: die interne Auslegungslinie als PDF ins RAG zu legen. Sie wäre gefunden worden, wenn jemand danach gefragt hätte — und das tut niemand, der nicht weiß, dass es sie gibt.

Weiterlesen im Wissen-Hub

Warum ein Agent überhaupt etwas anderes ist als ein Chatfenster mit Werkzeugen, steht in Was sind KI-Agenten. Wenn dein Agent Kontext zwischen Sitzungen verliert und du erst die Ursache eingrenzen willst: Warum dein KI-Agent den Kontext jedes Mal vergisst. Und wenn personenbezogene Daten im Spiel sind, bevor du irgendetwas indexierst: KI-Agenten DSGVO-konform einsetzen.