Was ist RAG? Firmenwissen per KI durchsuchbar machen

„Wo stand noch mal, wie wir Gewährleistungsfälle abrechnen?" – In vielen Betrieben liegt die Antwort auf solche Fragen irgendwo: im Qualitätshandbuch, in einer alten E-Mail, in einem längst archivierten Angebot. Ein allgemeines KI-Modell wie ChatGPT hilft hier nur begrenzt, denn es kennt Ihr Unternehmen nicht. Genau diese Lücke schließt ein Verfahren mit dem sperrigen Namen RAG.

Hinweis: Dieser Beitrag erklärt RAG aus Entscheidersicht. Wie ein solches System technisch aufgesetzt wird, beschreibe ich im Beitrag Qdrant self-hosten: Vektordatenbank für RAG. Stand: August 2026.

Was ist RAG?

RAG (Retrieval-Augmented Generation, sinngemäß „abrufgestützte Texterzeugung") ist ein Verfahren, bei dem ein KI-Sprachmodell vor dem Antworten die passenden Stellen aus Ihren eigenen Dokumenten heraussucht und die Antwort auf genau diesen Fundstellen aufbaut – statt auf dem, was das Modell im Training gesehen hat.

Microsoft beschreibt den Ablauf in drei Schritten: Retrieve (zur Frage passende Textstellen im eigenen Bestand suchen), Augment (Frage und Fundstellen zu einer Anweisung zusammensetzen) und Generate (Antwort formulieren, mit Verweis auf die Quellen).

Wichtig ist die Abgrenzung zum Nachtrainieren eines Modells: Bei RAG lernt die KI Ihre Daten nicht auswendig, sie bekommt sie im Moment der Frage vorgelegt – wie ein Sachbearbeiter, der vor der Auskunft in den Aktenordner schaut. Ein neu abgelegtes Dokument ist damit verfügbar, sobald es in den durchsuchbaren Bestand aufgenommen ist. AWS nennt genau das als einen der Hauptgründe für RAG: Neues Fachwissen lässt sich einbringen, ohne ein Basismodell teuer neu zu trainieren.

Der Begriff geht auf eine Forschungsarbeit von Patrick Lewis und Kollegen zurück, veröffentlicht 2020 und auf der Konferenz NeurIPS vorgestellt.

Quellen: Microsoft Learn – Retrieval augmented generation (RAG), AWS – Was ist RAG?, Lewis et al. 2020 (arXiv)

Warum reduziert RAG falsche Antworten?

Weil das Modell die Antwort nicht aus dem Gedächtnis rekonstruieren muss, sondern den relevanten Originaltext vor sich hat – und die Fundstelle mit ausgeben kann. Sprachmodelle erfinden dann Details, wenn sie eine Wissenslücke überbrücken müssen – im Fachjargon heißt das „Halluzination". Bekommen sie die richtige Passage mitgeliefert, entfällt der Anlass zum Raten.

Schon die Originalarbeit von 2020 hält fest, dass RAG-Modelle „spezifischere, vielfältigere und faktentreuere" Sprache erzeugen als vergleichbare Modelle ohne Abruf – und dass sie die Herkunft ihrer Aussagen belegen können. Für den betrieblichen Alltag ist der zweite Punkt fast wichtiger als der erste: Eine Antwort mit Quellenangabe kann ein Mensch in Sekunden nachprüfen. Eine Antwort ohne Quelle muss man glauben.

Was RAG nicht leistet: eine Garantie. Microsoft führt „Halluzination trotz Grounding" ausdrücklich als bekannte Einschränkung auf („Grounding" ist der Fachbegriff für dieses Mitliefern der Fundstellen) – auch mit abgerufenen Inhalten könne ein Modell ungenaue Antworten erzeugen. Empfohlen werden deshalb aktivierte Quellenangaben und klare Anweisungen an das Modell, sich an die gefundenen Inhalte zu halten. Und es gilt der alte Satz aus der Datenverarbeitung: Sind die zugrunde liegenden Dokumente veraltet oder widersprüchlich, liefert RAG die falsche Auskunft nur schneller.

Welche Firmendaten eignen sich?

Am besten eignen sich schriftlich festgehaltene Inhalte, die häufig nachgeschlagen werden und heute schwer auffindbar sind. Typische Kandidaten in kleinen und mittleren Unternehmen:

• Qualitätshandbücher, Arbeits- und Verfahrensanweisungen
• Angebote, Leistungsbeschreibungen, Referenzprojekte
• Verträge, AGB, Wartungs- und Servicevereinbarungen
• Support-Historie, Tickets, wiederkehrende Kundenfragen
• Produkt- und Ersatzteildokumentation, Datenblätter, Herstellerhandbücher
• Besprechungs- und Abnahmeprotokolle

Das Dateiformat ist selten das Hindernis: PDF, Word, Excel, PowerPoint, HTML und Datenbankinhalte lassen sich einbinden; gescannte Dokumente werden per Texterkennung lesbar gemacht. Auch verteilte Ablagen sind kein Ausschlusskriterium – Microsoft nennt ausdrücklich Inhalte, die über SharePoint, Datenbanken und Dateiablagen verstreut liegen, als den Normalfall im Unternehmen.

Weniger geeignet sind Zahlen aus laufenden Systemen – Lagerbestände, offene Posten, Umsätze. Dafür ist eine Auswertung im ERP das richtige Werkzeug, nicht ein Sprachmodell.

Quelle: Microsoft Learn – RAG in Azure AI Search

Wie steht es um Datenschutz und Vertraulichkeit?

Der kritische Punkt bei RAG ist nicht das Sprachmodell, sondern die Zugriffskontrolle: Der Assistent darf einer Person nur Inhalte anzeigen, die sie auch ohne KI einsehen dürfte. Microsoft formuliert das Problem an einem sehr konkreten Beispiel: Finanzdaten sollen nur dem Finanzteam zugänglich sein – auch dann, wenn die Geschäftsführung den Chatbot fragt. Und weiter: Wer den Zugriff auf die Quellinhalte nicht kontrolliert, riskiert, dass mit Quellen belegte Antworten sensible Informationen aus dem durchsuchbaren Bestand preisgeben.

Drei Konsequenzen für die Praxis:

• Berechtigungen gehören in den Abruf, nicht erst in die Benutzeroberfläche. Gefiltert wird beim Suchen, nicht beim Anzeigen.
• Abgerufene Dokumentinhalte sind wie fremde Eingaben zu behandeln. Microsoft rät ausdrücklich dazu, sie als nicht vertrauenswürdig einzustufen – in Dokumenten können Anweisungen stecken, die das Modell fehlleiten sollen.
• Der Betriebsort des Modells ist eine eigene Entscheidung. Ob Cloud-Dienst mit Auftragsverarbeitungsvertrag oder Modell im eigenen Haus: Diese Frage rolle ich hier nicht neu auf, sie ist im Beitrag ChatGPT DSGVO-konform im Unternehmen nutzen ausführlich behandelt.

Wer sich vertiefen möchte: Das BSI hat mit „Generative KI-Modelle: Chancen und Risiken für Industrie und Behörden" eine deutschsprachige Handreichung für Unternehmen und Behörden veröffentlicht, die über den Einsatz generativer KI nachdenken.

Quellen: Microsoft Learn – Security and privacy considerations, Microsoft Learn – RAG in Azure AI Search, BSI – Generative KI-Modelle

Wie läuft ein Einstiegsprojekt konkret ab?

1. Eine Frage festlegen, nicht eine Technologie. Am Anfang steht ein Suchfall, der oft vorkommt und heute nervt – etwa „Welche Wartungsintervalle haben wir bei Kunde X vereinbart?". Ohne diesen Bezugspunkt lässt sich später nicht beurteilen, ob das Ergebnis etwas taugt.
2. Den Datenbestand eingrenzen. Ein Ablageort, ein Themengebiet, ein Team. Nicht „alle Laufwerke". Kleine, saubere Bestände liefern bessere Ergebnisse als große, ungepflegte.
3. Dokumente aufbereiten. Lange Dokumente werden in sinnvolle Abschnitte zerlegt, gescannte Seiten per Texterkennung lesbar gemacht, Titel, Datum und Herkunft als Zusatzangaben mitgeführt – letztere sind die Grundlage für spätere Quellenangaben.
4. Suchindex aufbauen und Berechtigungen abbilden. Hier entsteht der durchsuchbare Bestand, und hier wird festgelegt, wer welche Abschnitte überhaupt zu sehen bekommt.
5. Mit echten Fragen testen. Die Menschen, die den Fall täglich bearbeiten, stellen einen Katalog realer Fragen zusammen. Bewertet wird nicht nur, ob die Antwort plausibel klingt, sondern ob die angegebene Quelle sie tatsächlich hergibt.
6. Pilot mit kleiner Gruppe, dann Betrieb. Eine kleine Nutzergruppe arbeitet damit und meldet Fehltreffer zurück. Erst danach lohnt es sich, weitere Datenquellen anzubinden und die Aktualisierung zu automatisieren.

Wie aufwendig das wird, hängt vor allem vom Zustand der Dokumente ab. Die Technik ist selten der Engpass, die Datenpflege fast immer.

Fazit

RAG ist keine neue Art von Künstlicher Intelligenz, sondern eine nüchterne Arbeitsteilung: Die Suche liefert die Fakten, das Sprachmodell formuliert die Antwort. Für Unternehmen ist das derzeit der pragmatischste Weg, vorhandenes Wissen nutzbar zu machen – mit Quellenangaben und ohne Nachtrainieren bei jeder Änderung.

Der sinnvolle erste Schritt ist klein: ein häufiger Suchfall, ein abgegrenzter Dokumentenbestand, ein Testlauf mit echten Fragen.

Sie überlegen, ob Ihr Firmenwissen für so etwas taugt? Für Betriebe in Recklinghausen und dem Ruhrgebiet schaue ich mir das gerne an – nüchtern und ohne Buzzwords. Mehr dazu unter KI-Beratung oder direkt in einem kostenlosen Erstgespräch.

Hinweis zur Veröffentlichung: Dieser Beitrag war für den Morgen des 11. August 2026 geplant und ist wegen einer technischen Störung der automatischen Veröffentlichung erst im Laufe desselben Tages online gegangen. Alle Angaben wurden vor der Veröffentlichung erneut auf Aktualität geprüft.