Ein RAG-System ist ein Wissensassistent, der Fragen nicht aus dem Modellgedächtnis beantwortet, sondern aus internen Dokumenten, die zur Frage passend herausgesucht und mitgegeben werden. Es ist der meistgewünschte KI-Anwendungsfall im Mittelstand und technisch in wenigen Tagen gebaut. Ob es nützlich wird, entscheidet sich vorher — bei den Dokumenten, nicht beim Code.
Wie ein RAG-System funktioniert
RAG steht für Retrieval-Augmented Generation: Das Sprachmodell antwortet nicht aus dem Gedächtnis, sondern auf Basis von Dokumenten, die zur Frage passend herausgesucht und mitgegeben werden.
Die fünf Schritte
- Dokumente werden in sinnvolle Abschnitte zerlegt (Chunking).
- Jeder Abschnitt wird in eine Zahlendarstellung überführt (Embedding) und gespeichert.
- Bei einer Frage werden die inhaltlich passendsten Abschnitte gesucht.
- Diese werden zusammen mit der Frage an das Modell übergeben.
- Das Modell antwortet auf dieser Grundlage — idealerweise mit Quellenangabe.
Der Kernbegriff: Embedding
Ein Embedding ist ein Zahlenvektor, der die Bedeutung eines Textabschnitts abbildet. Zwei inhaltlich ähnliche Abschnitte liegen im Zahlenraum nah beieinander. Genau darüber findet das System zu einer Frage die passenden Stellen — auch wenn nicht dieselben Wörter vorkommen.
Ein minimaler lokaler Aufbau
Für einen ersten, datenschutzfreundlichen Test genügt ein lokales Modell über Ollama. Damit bleiben die Dokumente im Haus:
# Ollama installieren, dann Modelle laden
ollama pull nomic-embed-text # erzeugt die Embeddings
ollama pull llama3.1:8b # beantwortet die Frage
import ollama
# 1. Abschnitt in ein Embedding umwandeln
res = ollama.embeddings(model="nomic-embed-text",
prompt="Die Gewaehrleistung betraegt 24 Monate.")
vektor = res["embedding"] # Liste aus Zahlen, wird gespeichert
# 2. Bei einer Frage: passende Abschnitte + Frage ans Modell
kontext = "Gewaehrleistung: 24 Monate ab Lieferdatum."
frage = "Wie lange gilt die Gewaehrleistung?"
antwort = ollama.chat(model="llama3.1:8b", messages=[{
"role": "user",
"content": f"Beantworte NUR aus dem Kontext.\n\nKontext:\n{kontext}\n\nFrage: {frage}"
}])
print(antwort["message"]["content"])
Der tatsächliche Aufwand
| Schritt | Aufwand |
|---|---|
| Dokumente sichten und aussortieren | der größte Posten |
| Technischer Aufbau | 2 bis 5 Tage |
| Abschnittsbildung (Chunking) abstimmen | 1 bis 2 Tage |
| Testen mit echten Fragen | 2 bis 3 Tage |
| Berechtigungen abbilden | je nach Anforderung |
Warum die Dokumentenarbeit dominiert
Der erste Punkt wird regelmäßig unterschätzt und macht in der Praxis den Großteil aus. Ein Assistent ist nur so gut wie der Bestand, aus dem er antwortet. Diese Vorarbeit lässt sich nicht durch bessere Technik ersetzen.
Was der technische Teil wirklich kostet
Die Speicherung der Embeddings ist günstig. Die laufenden Kosten entstehen bei den Abfragen und hängen von der Modellwahl und der Nutzungshäufigkeit ab. Ein lokales Modell verursacht keine Abrufkosten, dafür Hardware- und Wartungsaufwand; ein Cloud-Modell rechnet pro Anfrage ab. Was KI im Betrieb kostet, ordnet der Beitrag zu KI-Kosten ein.
Woran RAG in der Praxis scheitert
Datenqualität
Widersprüchliche Dokumente: Existieren drei Versionen einer Arbeitsanweisung, kann das System nicht wissen, welche gilt. Es antwortet trotzdem — überzeugend und möglicherweise falsch. Veralteter Bestand: Ein Assistent, der aus einem Handbuch von 2019 antwortet, ist schädlicher als keiner, weil er Vertrauen erzeugt, das er nicht verdient.
Zu viel des Guten
Der Reflex, alles Auffindbare einzuspeisen, verschlechtert die Ergebnisse. Je mehr ähnliche Abschnitte im Bestand liegen, desto schwerer findet das System den richtigen. Ein kleiner, gepflegter Bestand liefert bessere Antworten als ein großer, ungepflegter.
Fehlende Berechtigungen
Zeigt der Assistent Dokumente, die der Fragende nicht sehen dürfte, entsteht ein Datenleck. Berechtigungen müssen technisch abgebildet werden — die Filterung muss vor der Antwort greifen, nicht danach.
Was gut funktioniert
Ein klar abgegrenzter Bereich
Produktdokumentation, interne Abläufe, technische Spezifikationen einer Baureihe: 50 bis 200 aktuelle Dokumente reichen für einen nützlichen Assistenten. Je enger und aktueller der Bereich, desto zuverlässiger die Antworten.
Quellenangabe bei jeder Antwort
Wichtig ist die Quellenangabe zu jeder Antwort. Sie macht Antworten überprüfbar und erhöht das Vertrauen deutlich — auch weil Nutzer sofort merken, wenn eine genannte Quelle nicht zur Aussage passt. Ein Assistent ohne Quellenangabe ist im Betrieb kaum kontrollierbar.
Der Einstieg ohne eigenes System
Trägt der Test, lässt sich der nächste Schritt planen. Wie ein Wissensassistent in den Arbeitsalltag eingebettet wird, vertieft der Beitrag zum Wissensmanagement; die Zuschneidung auf den eigenen Bestand klärt sich am besten im Erstgespräch.
Quellen: OpenAI-Dokumentation · Verordnung (EU) 2016/679 (EUR-Lex)