RAG verbindet ein Modell mit Unternehmensinformationen. Seine Qualität hängt von Quellen, Rechten, Retrieval, Zitaten und Bewertung ab, nicht allein von Embeddings.

Die kurze Antwort

Setzen Sie RAG ein, wenn Antworten auf aktualisierbaren und zitierbaren Quellen beruhen müssen. Nutzen Sie es nicht, um fehlende Dokumentensteuerung zu verdecken oder Berechtigungen der ursprünglichen Anwendungen zu umgehen.

Der nächste Schritt ist, Entscheidung, Verantwortung und akzeptierte Nachweise zu klären, bevor ein Werkzeug gewählt wird.

Das Entschei­dungs­modell

01. Quellen

Wählen Sie relevante Dokumente, bestimmen Sie Verantwortliche und legen Sie den Aktualisierungszyklus fest.

02. Zugänge

Wahren Sie die Benutzerrechte und filtern Sie den Abruf vor der Generierung.

03. Abruf

Testen Sie Segmentierung, Metadaten, Suche und Reranking mit realen Fragen.

04. Bewertung

Messen Sie Recall, Belegbarkeit der Antwort, Quellenangaben, Ablehnung und Latenz.

Anwendung in der Praxis

01. Ausgangslage

Erstellen Sie vor der Indexierung ein Quellenregister. Erfassen Sie für jedes Dokument Verantwortlichen, zugelassene Nutzer, Aktualisierungsdatum, Version, Sensibilität und Aufbewahrungsregel. RAG löst keine Widersprüche zwischen Richtlinien oder alten Dokumenten; es kann sie leichter auffindbar machen. Ohne klare Steuerung kann eine Antwort eine Quelle korrekt zitieren, die für den betreffenden Nutzer nicht mehr gültig ist.

02. Kontrol­lierte Ausführung

Entwerfen Sie den Abruf getrennt von der Generierung. Testen Sie Segmentierung, Metadaten, Berechtigungsfilter, die Kombination aus lexikalischer und semantischer Suche, Ergebnisanzahl und Reranking. Zeigen Sie Quellenangaben so an, dass der Nutzer die Passage prüfen kann. Das Modell muss sagen können, dass die Beleglage nicht ausreicht, statt Lücken zwischen Fragmenten mit einer plausiblen Erklärung zu füllen.

03. Aussage­kräftige Nachweise

Der Bewertungssatz entsteht aus realen Fragen und enthält direkte Antworten, Vergleiche, unbeantwortbare Fragen, Konflikte und unzulässige Anfragen. Messen Sie, ob die richtige Quelle abgerufen wurde, die Aussage belegt ist und die Rechte gewahrt wurden. Bewerten Sie Abruf und Antwort getrennt; sonst bleibt unklar, ob der Fehler aus Suche, Kontext oder Modell stammt.

04. Entschei­dungs­schwelle

RAG ist einsatzbereit, wenn Quellen Verantwortliche haben, Aktualisierungen wiederholbar sind, Berechtigungen bei der Abfrage greifen und Regressionen erkannt werden können. Muss das Team Dokumente nach falschen Antworten häufig korrigieren, liegt zunächst ein Problem im Wissensmanagement vor. Manchmal ist das wertvollste Pilotergebnis die Bereinigung der Quellen und nicht der sofortige Start der KI-Oberfläche.

Szenario und Arbeitsplan

01. Diagnose­beispiel

Eine Wissensbasis kann aktuelle Verfahren, alte Versionen, Dokumente für das Management und Informationen enthalten, die auf ein Team beschränkt sind. Wird alles ohne Metadaten und Filter indexiert, kann eine Antwort unvereinbare Quellen kombinieren oder einer unberechtigten Person eine gültige Passage offenlegen. Quellenregister und Filterung kommen vor Embeddings. Bei einer Frage ohne Belege ist eine Ablehnung mit Hinweis auf die fehlende Information richtig. Quellenangaben ermöglichen es dem Nutzer, nicht nur den Satz, sondern auch Version und Nutzungsberechtigung des Dokuments zu prüfen.

02. Um­setzungs­plan

Der Pilot beginnt mit einem begrenzten Bereich und einem Satz von Nutzerfragen. Bewerten Sie den Abruf vor der Generierung: Fehlt die richtige Passage, hilft ein anderes Antwortmodell nicht. Testen Sie Segmentierung, Metadaten und Berechtigungen, anschließend die Qualität von Aussage und Quellenbeleg. Ergänzen Sie einen Prozess für Neuindexierung und Löschung, überwachen Sie unbeantwortete Fragen und bewahren Sie geprüftes Feedback auf. Eine Ausweitung auf weitere Abteilungen erfolgt erst, wenn die Quellenverantwortlichen die Aktualisierung übernehmen und Zugriffsregeln konsequent angewendet werden können.

03. Entschei­dungs­protokoll

Damit sich die Empfehlungen aus „RAG für Unternehmensdaten: Quellen, Berechtigungen und Bewertung“ nachvollziehen lassen, legen wir vor der ersten Änderung ein einfaches Protokoll an. Darin halten wir das beobachtete Problem, den Ausgangszustand, die Hypothese, die verantwortliche Person, den Bewertungszeitraum und die Bedingung für Abbruch oder Fortsetzung fest. Die Belege stammen aus thematisch passenden Quellen; technische Kennzahlen werden von Geschäftsergebnissen getrennt. Als erste Größe verfolgen wir abgerufene relevante Dokumente, ohne sie von Datenqualität, Gesamtkosten und den Auswirkungen in den folgenden Schritten zu isolieren. So lässt sich eine Entscheidung erklären und wiederholen, statt sie aus einem günstigen Dashboard nur abzuleiten.

04. Review und nächste Entscheidung

Am Ende des Zyklus vergleichen wir das Ergebnis mit dem Ausgangspunkt und dokumentieren, was sich geändert hat, was unklar geblieben ist und welche Nebenwirkungen aufgetreten sind. Wir prüfen ausdrücklich, ob die Bedingungen „Quellen haben Verantwortliche und Versionen“ und „Berechtigungen werden beim Abruf angewendet“ erfüllt sind. Lassen die Daten keinen Schluss zu, bleibt die Hypothese offen, statt Erfolg zu verkünden. Das Risiko „Alle Dateien ohne Auswahl indexieren“ bleibt in der Überprüfung sichtbar, damit der Druck, Fortschritt nachzuweisen, nicht die Analyse verdrängt. Der nächste Schritt wird erst gewählt, wenn das Team sagen kann, was es gelernt hat und warum die neue Priorität wichtiger ist als die Alternativen.

Checkliste vor der Umsetzung

  • Quellen haben Verantwortliche und Versionen.
  • Berechtigungen werden beim Abruf angewendet.
  • Die Antwort nennt die verwendete Passage als Quelle.
  • Das System lehnt ab, wenn es keine Belege findet.
  • Die Bewertung umfasst unbeantwortbare Fragen.
  • Aktualisierung und Löschung sind getestet.

Was wir messen

Kennzahlen werden vor dem Start definiert und unterscheiden technische Signale von bestätigten Ergebnissen.

  • abgerufene relevante Dokumente;
  • belegte Antworten und korrekte Quellenangaben;
  • Quote angemessener Ablehnungen;
  • Latenz, Kosten und Feedback.

Fehler und Grenzen

  • Alle Dateien ohne Auswahl indexieren.
  • Identisches Chunking für unterschiedliche Formate.
  • Zugriffslisten ignorieren.
  • Nur den menschlichen Eindruck bei wenigen Fragen bewerten.

Fazit

Ein gutes RAG-System macht Quelle und Unsicherheit sichtbar. Qualität entsteht durch Informationssteuerung und Bewertung, nicht durch die Größe des Indexes.