Ein RAG-System kann eine Antwort korrekt aus einem Dokument ableiten und trotzdem falsch liegen, weil das Dokument veraltet ist. Retrieval-Qualität beginnt deshalb vor Embeddings und Vektorsuche: bei Quellenautorität, Änderungsdaten und einem kontrollierten Aktualisierungsprozess.
Aktualität ist kein einzelner Zeitstempel. Sie ist die nachweisbare Kette vom Quellsystem bis zur Antwort.
Autorität und Neuheit trennen
Das neueste Dokument ist nicht automatisch verbindlich. Ein Chatprotokoll von gestern kann einer freigegebenen Richtlinie von letzter Woche widersprechen. Definieren Sie pro Inhaltstyp, welche Quelle Vorrang hat und wer sie freigibt.
Speichern Sie Autoritätsstufe, Eigentümer, Gültigkeitsdatum und Version als Metadaten. Retrieval sollte diese Signale berücksichtigen, statt nur semantische Ähnlichkeit zu bewerten.
Den Aktualisierungspfad messen
Für jede Quelle sollte sichtbar sein:
- wann sie im Quellsystem geändert wurde,
- wann der Connector die Änderung erkannt hat,
- wann Verarbeitung und Indexierung abgeschlossen waren,
- welche Version aktuell abrufbar ist,
- ob ein Fehler oder Rückstand besteht.
Die Differenz zwischen Quelländerung und abrufbarer Version ist die wirkliche Aktualisierungslatenz.
Löschungen und Berechtigungen zuerst behandeln
Ein Update ist wichtig. Eine Löschung oder entzogene Berechtigung ist häufig dringender. Der Index muss entfernte Inhalte und Zugriffsänderungen zuverlässig übernehmen.
Planen Sie dafür eigene Ereignisse und Tests. Ein periodischer Vollabgleich kann als Sicherheitsnetz dienen, ersetzt aber nicht zwingend einen schnellen Entzug bei sensiblen Daten.
Caches an Versionen binden
Antwort- und Retrieval-Caches können veraltete Inhalte weitergeben, obwohl der Index bereits aktualisiert wurde. Binden Sie Cache-Keys an Quellversion, Richtlinienversion und Berechtigungskontext. Definieren Sie Ereignisse, die eine Invalidierung auslösen.
Für aktuelle Preise, Verfügbarkeiten oder Vorgaben kann Caching ganz ungeeignet sein.
Veraltete Quellen sichtbar machen
Ein System sollte nicht still so tun, als sei jede Quelle aktuell. Zeigen Sie Dokumentdatum, Version und gegebenenfalls einen Warnhinweis. Für kritische Workflows kann eine maximale zulässige Aktualität gelten.
Wenn keine Quelle innerhalb dieser Grenze vorhanden ist, sollte der Agent stoppen oder eine menschliche Prüfung verlangen.
Aktualität evaluieren
Testen Sie Änderungen kontrolliert: neue Version, widersprüchliche Version, Löschung und Rechteentzug. Messen Sie, wie schnell das System den neuen Zustand abbildet und ob alte Antworten noch aus Caches kommen.
Solche Tests gehören in den Betrieb, nicht nur in die Einführung.
Quellen
- NIST AI Risk Management Framework: https://www.nist.gov/itl/ai-risk-management-framework
- Google Cloud, RAG Engine: https://cloud.google.com/vertex-ai/generative-ai/docs/rag-overview
- Microsoft, Advanced RAG guidance: https://learn.microsoft.com/en-us/azure/developer/ai/advanced-retrieval-augmented-generation
- OWASP Top 10 for LLM Applications: https://owasp.org/www-project-top-10-for-large-language-model-applications/
Nächster Schritt
Wählen Sie drei verbindliche Quellen und führen Sie je ein Update, eine Löschung und einen Rechteentzug aus. Messen Sie die Zeit bis zum korrekten Retrieval und prüfen Sie zusätzlich alle Antwort- und Gateway-Caches.