RAG steht für Retrieval Augmented Generation: Eine KI sucht vor ihrer Antwort passende Textstellen in deinen eigenen Dokumenten und gibt sie dem Sprachmodell als Kontext mit. So beantwortet ein Chatbot Fragen zu deinen Preislisten, Handbüchern oder Verträgen, obwohl das Modell diese Inhalte nie im Training gesehen hat. Hier erfährst du, wie RAG funktioniert, welche Rolle die Vektordatenbank spielt und wie du RAG in n8n ohne Programmierung aufbaust.
Was ist RAG?
Ein Sprachmodell kennt nur die Daten, mit denen es trainiert wurde. Interne Dokumente, aktuelle Preise oder Kundendaten fehlen ihm. RAG schließt diese Lücke, indem es zwei Schritte verbindet: Zuerst sucht ein Abrufsystem die relevanten Textstellen (Retrieval), dann formuliert das Sprachmodell daraus die Antwort (Generation).
Der Begriff stammt aus einem Fachartikel von Patrick Lewis und Koautoren, der am 22. Mai 2020 auf arXiv erschien. Darin kombinieren die Autoren ein vortrainiertes Sprachmodell als „parametrisches Gedächtnis“ mit einem Vektorindex über Wikipedia als „nicht-parametrisches Gedächtnis“. Das Prinzip ist bis heute gleich, nur liegen im Index heute die eigenen Daten.
So funktioniert RAG Schritt für Schritt
RAG besteht aus zwei Abläufen: dem einmaligen oder regelmäßigen Einlesen der Dokumente und der Suche bei jeder Frage.
- Dokumente laden, etwa PDFs aus Google Drive, Seiten aus Notion oder Einträge aus einer Datenbank.
- Texte in Abschnitte (Chunks) zerlegen, die jeweils einen Gedanken enthalten.
- Jeden Abschnitt mit einem Embedding-Modell in einen Zahlenvektor umwandeln.
- Vektoren samt Originaltext und Metadaten in einer Vektordatenbank speichern.
- Bei einer Frage auch die Frage in einen Vektor umwandeln, mit demselben Embedding-Modell.
- Die ähnlichsten Abschnitte aus der Datenbank abrufen.
- Frage und gefundene Abschnitte an das Sprachmodell geben, das daraus die Antwort formuliert.
Embeddings und Vektordatenbank
Ein Embedding ist laut OpenAI-Dokumentation eine Liste von Gleitkommazahlen. Der Abstand zwischen zwei solchen Vektoren zeigt, wie verwandt zwei Texte sind: Kleiner Abstand bedeutet ähnliche Bedeutung. Deshalb findet RAG auch Textstellen, die andere Wörter benutzen als die Frage. Wer nach „Kündigungsfrist“ fragt, bekommt auch den Absatz zu „Vertrag beenden“.
Das Modell text-embedding-3-small von OpenAI erzeugt standardmäßig Vektoren mit 1.536 Werten, text-embedding-3-large mit 3.072. Wichtig ist nicht das konkrete Modell, sondern dass Einlesen und Abfrage dasselbe Modell verwenden. Sonst passen die Vektoren nicht zueinander.
Eine Vektordatenbank speichert diese Vektoren und findet in kurzer Zeit die ähnlichsten. n8n bietet unter anderem diese Anbindungen:
| Vector Store in n8n | Eignung | Hinweis |
|---|---|---|
| Simple Vector Store | nur Entwicklung | Daten nur im Arbeitsspeicher |
| PGVector | Betrieb | Erweiterung für Postgres |
| Supabase Vector Store | Betrieb | Postgres als Dienst |
| Qdrant Vector Store | Betrieb | Metadaten-Filter möglich |
| Pinecone Vector Store | Betrieb | Namespaces möglich |
Der Simple Vector Store verliert laut n8n-Dokumentation alle Daten beim Neustart, n8n empfiehlt ihn ausdrücklich nur für die Entwicklung.
RAG in n8n umsetzen
In n8n baust du RAG mit wenigen Nodes, ganz ohne Code. Die KI-Bausteine von n8n basieren auf LangChain, mehr dazu auf der Seite zu LangChain.
Zum Einlesen holst du die Dokumente mit einem passenden Node, etwa aus Google Drive. Dahinter hängst du einen Vector Store Node mit der Operation „Insert Documents“. An diesen Node schließt du ein Embedding-Modell und einen Default Data Loader an. Der Data Loader zerlegt die Texte, n8n empfiehlt für die meisten Fälle den „Recursive Character Text Splitter“. Optional ergänzt du Metadaten wie Dateiname oder Abteilung, nach denen du später filtern kannst.
Zum Abfragen gibt es zwei Wege. Entweder hängst du den Vector Store als Werkzeug an einen AI-Agent-Node und beschreibst, wofür das Werkzeug da ist. Der Agent entscheidet dann selbst, wann er sucht. Oder du nutzt den Vector Store direkt mit der Operation „Get Many“ und einer festen Anfrage. Für Agenten mit teurem Modell empfiehlt n8n, zuerst das „Vector Store Question Answer Tool“ zu nutzen und dessen Ergebnis an den Agenten zu geben, um Tokens zu sparen.
Wie du den Agenten selbst aufbaust, mit Modell, Gedächtnis und weiteren Werkzeugen, zeigt KI-Agent mit n8n. Einen Chatbot für Website oder Support auf dieser Grundlage beschreibt Chatbot erstellen. Fertige RAG-Abläufe als Vorlage teilen Mitglieder in der KI-Automatisierungs-Community.
Abschnittsgröße richtig wählen
Wie gut RAG antwortet, hängt stark von der Zerlegung der Dokumente ab. Die n8n-Dokumentation gibt dazu Anhaltspunkte:
- Kleine Abschnitte mit etwa 200 bis 500 Tokens eignen sich für präzise Treffer.
- Große Abschnitte enthalten mehr Kontext, werden aber schnell unscharf.
- Eine Überlappung zwischen Abschnitten hält Zusammenhänge über die Grenzen hinweg.
- Bei Markdown oder Code liefert die Zerlegung entlang der Struktur oft bessere Abschnitte.
Teste mit echten Fragen deiner Nutzer und schau dir an, welche Abschnitte zurückkommen. Das zeigt schneller als jede Theorie, ob die Größe passt.
Wann sich RAG lohnt
| Aufgabe | RAG passend? |
|---|---|
| Fragen zu internen Handbüchern | ja |
| Support mit Produktdokumentation | ja |
| Suche in Verträgen und Richtlinien | ja |
| Rechnen mit Tabellenwerten | eher nein, Datenbank abfragen |
| Tonfall des Modells ändern | nein, Systemanweisung nutzen |
Für exakte Zahlen aus Tabellen ist eine direkte Datenbankabfrage meist besser als eine Ähnlichkeitssuche. Viele Agenten kombinieren beides: RAG für Texte, eine API-Schnittstelle oder Datenbank für strukturierte Daten.
Typische Fehler bei RAG
- Für Einlesen und Abfrage unterschiedliche Embedding-Modelle verwenden, sodass die Suche nichts Sinnvolles findet.
- Den Simple Vector Store in einen produktiven Workflow übernehmen und nach dem nächsten Neustart leere Antworten bekommen.
- Dokumente nur einmal einlesen und Änderungen nie nachziehen, sodass die KI mit veraltetem Stand antwortet.
- Zu viele Abschnitte pro Frage abrufen, was Tokens kostet und das Modell mit Nebensächlichem ablenkt.
- Vertrauliche Dokumente ohne Rechteprüfung einlesen, sodass jeder Nutzer alles abfragen kann.
Wer einem Agenten Zugriff auf interne Daten gibt, sollte die Risiken kennen. Was dabei schiefgehen kann und wie du dich schützt, erklärt kiagentensicherheit.de.