Bringe deiner KI bei, veraltete Dokumentation zu ignorieren

So sieht es aus, wenn du einen KI-Assistenten auf deiner internen Wissensdatenbank einsetzt:

Ein neuer Ingenieur fragt: "Wie richte ich die Staging-Umgebung ein?"

Die KI durchsucht deine Dokumentation, findet drei relevante Dokumente, stellt eine Antwort zusammen und präsentiert sie mit Zuversicht. Der Techniker folgt den Anweisungen. Die ersten beiden Schritte funktionieren. Schritt drei verweist auf ein CLI-Tool, das seit sechs Monaten nicht mehr verwendet wird. Schritt vier beschreibt ein Infrastruktur-Setup, das während einer Migration ersetzt wurde, die niemand dokumentiert hat.

Der Techniker kommt nicht weiter. Er wendet sich an den Teamkanal. Jemand sagt: "Oh, diese Dokumentation ist wirklich alt." Die KI hat das nicht gewusst. Sie kann es auch nicht wissen. Sie hat einfach alles geholt, was sie gefunden hat, und es als Wahrheit dargestellt.

**Das ist das Standardverhalten jedes RAG-Systems, jedes KI-Suchwerkzeugs und jedes LLM-gestützten Assistenten, den du jemals für interne Dokumente benutzt hast. Sie holen sich alles. Sie machen keinen Unterschied. Sie können nicht zwischen frisch und alt unterscheiden.

Und sie zerstören das Vertrauen in KI-Tools schneller, als diese Tools es aufbauen können.

Warum KI-Assistenten blind für Qualität sind

Große Sprachmodelle und Retrieval-Augmented-Generating-Systeme (RAG) suchen nach Text, der für eine Anfrage semantisch relevant ist, und verwenden diesen Text dann, um eine Antwort zu generieren. Der Relevanzabgleich ist in der Regel hervorragend. Vektorsuche und Einbettungen sind wirklich gut darin, Inhalte zu finden, die sich auf eine Frage beziehen.

Aber Relevanz ist nicht dasselbe wie Zuverlässigkeit.

Ein Dokument, das im Jahr 2023 über deinen Kubernetes-Bereitstellungsprozess geschrieben wurde, ist für die Frage "Wie führe ich eine Produktionsbereitstellung durch?" höchst relevant. Es ist aber auch völlig falsch, wenn du im Jahr 2024 auf eine andere Plattform migriert hast. Die KI sieht relevanten Text. Sie sieht kein Dokument, das 18 Monate veraltet ist, kaputte Links enthält und von niemandem gelesen wird.

Die meisten KI-Systeme haben genau ein Ranking-Signal: semantische Ähnlichkeit mit der Suchanfrage. Das war's. Sie prüfen nicht:

Wann wurde dieses Dokument zuletzt überprüft?
Sind die Links darin noch gültig?
Liest dieses Dokument überhaupt noch jemand?
Wurde der Inhalt von Lesern als veraltet gekennzeichnet?
Handelt es sich um einen Entwurf, eine archivierte Seite oder ein aktuelles Dokument?
Wenn das Dokument in mehreren Sprachen vorliegt, sind die Übersetzungen aktuell?

Ohne diese Signale führt die KI den Schlüsselwortabgleich mit zusätzlichen Schritten durch. Das ist zwar beeindruckend, aber im Grunde genommen nicht in der Lage, dir zu sagen, ob die Antwort, die sie dir gibt, auf Inhalten basiert, denen du vertrauen kannst.

Das Vertrauensproblem

Das wäre nicht so gefährlich, wenn KI-Tools unsichere Antworten mit entsprechenden Vorbehalten versehen würden. Das tun sie aber nicht. So funktionieren LLMs nicht. Sie generieren flüssige, vertrauenswürdige Texte, unabhängig davon, ob das Quellenmaterial aktuell oder alt ist.

Einem Menschen, der einen Wiki-Artikel liest, könnte auffallen, dass er veraltet aussieht. Das Seitenlayout ist veraltet. Die Screenshots zeigen eine Benutzeroberfläche, die es nicht mehr gibt. Am Ende steht ein Kommentar, der besagt: "Das ist veraltet". Ein Mensch kann ein Urteil fällen.

Eine KI kann das nicht. Sie liest den Text, verarbeitet ihn als gleichwertig mit jedem anderen Text und gibt eine Antwort, die verbindlich klingt. Der Nutzer, vor allem ein neuer Mitarbeiter, der nicht weiß, wie der aktuelle Prozess aussieht, hat keinen Grund, daran zu zweifeln.

Je selbstsicherer die KI klingt, desto mehr Schaden richtet veraltetes Ausgangsmaterial an.

Was die KI wirklich braucht

Damit ein KI-Assistent vertrauenswürdige Antworten aus deiner Wissensdatenbank geben kann, braucht er mehr als Text und Einbettungen. Er braucht Metadaten, die ihm sagen, welche Dokumente es wert sind, als Quellen verwendet zu werden. Konkret bedeutet dies:

1. Freshness Score

Ein numerisches Signal, das angibt, wie gesund ein Dokument im Moment ist. Nicht, wann es zuletzt bearbeitet wurde, das ist nur eine Angabe. Ein echter Freshness-Score kombiniert den Status der Rezensionen, den Zustand der Links, die Leserschaft, das Alignment der Übersetzung und die kontextuelle Abweichung in einer einzigen Zahl.

Wenn ein Dokument über einem Schwellenwert (z. B. 70 von 100) liegt, kann es als Quelle für KI-Antworten verwendet werden. Liegt es unter diesem Schwellenwert, wird es ausgeschlossen. Keine Ausnahmen.

Dieser einzige Mechanismus eliminiert die gefährlichste Klasse von KI-Fehlern: mit Sicherheit falsche Antworten, die auf veralteten Quellen basieren.

2. Verfallsstatus

Befindet sich das Dokument noch innerhalb des Prüfungszeitraums oder ist es bereits abgelaufen, ohne dass es neu genehmigt wurde? Ein abgelaufenes Dokument sollte stark depriorisiert oder ganz ausgeschlossen werden, unabhängig davon, wie relevant sein Inhalt für die Abfrage sein mag.

In Rasepi werden abgelaufene Dokumente markiert und ihre Frischebewertung sinkt automatisch. Ein KI-System, das die Wissensdatenbank abfragt, kann diesen Status sehen und entsprechend handeln.

3. Klassifizierungskennzeichen

Nicht jedes Dokument dient dem gleichen Zweck. Ein Entwurf sollte nicht als Quelle verwendet werden. Ein archiviertes Dokument sollte nicht in KI-Antworten auftauchen. Ein rein internes Dokument sollte nicht in Abfragen von externen Tools auftauchen.

Klassifizierungskennzeichen geben der KI Aufschluss darüber, um welche Art von Dokument es sich handelt:

Veröffentlicht. Aktuell, genehmigt, sicher zu verwenden
Entwurf. In Arbeit, sollte nicht zitiert werden
Unter Review. Verfall ausgelöst, wartet auf erneute Genehmigung
Archiviert. Nicht mehr aktiv, nur als Referenz aufbewahrt
Intern / Extern. Kontrolliert den Sichtbarkeitsbereich

Wenn ein KI-Assistent eine Anfrage bearbeitet, kann er nach der Klassifizierung filtern, bevor er die Relevanz des Inhalts prüft. Ein Entwurfsdokument, das perfekt auf die Anfrage passt, sollte nie als Antwort angezeigt werden.

4. Signale auf Sprachebene

Wenn deine Wissensdatenbank mehrsprachig ist, muss die KI wissen, ob die Version, die sie abruft, aktuell ist. Eine französische Übersetzung, die drei Monate hinter dem englischen Original zurückliegt, ist zwar technisch gesehen auf Französisch relevant, aber die Informationen könnten veraltet sein.

Rasepi prüft die Aktualität auf der Ebene der einzelnen Sprachen. Jede Übersetzung hat ihre eigene Punktzahl, die darauf basiert, ob sich die Quellblöcke seit der letzten Aktualisierung der Übersetzung geändert haben. Eine KI, die die französische Wissensdatenbank abfragt, kann erkennen, dass die französische Version eines Dokuments veraltet ist und entweder:

auf die englische Quelle zurückgreifen (die aktuell ist)
eine Warnung einfügen, dass die französische Version veraltet sein könnte
das Dokument ganz ausschließen

5. Leser-Signale

Wenn mehrere Leser ein Dokument als veraltet markiert haben, sollte dieses Signal die Gewichtung des Dokuments in den KI-Antworten verringern. Crowdsourced-Qualitätssignale sind zwar verrauscht, aber sie sind wertvoll, vor allem wenn sie mit anderen Aktualitätskennzahlen kombiniert werden.

Wie funktioniert das in der Praxis?

Schauen wir uns an, was passiert, wenn ein KI-Assistent eine Rasepi-Wissensdatenbank abfragt:

Abfrage: "Wie gehen wir mit einem P1-Vorfall um 2 Uhr morgens um?"

Schritt 1: Retrieval mit Filterung. Das System sucht nach semantisch relevanten Dokumenten. Bevor es ein Ranking erstellt, filtert es aus:

Dokumente mit einem Freshness Score unter dem Schwellenwert
Abgelaufene Dokumente, die nicht wieder freigegeben wurden
Entwürfe und archivierte Inhalte
Dokumente, deren Sprachversion veraltet ist (wenn die Abfrage in einer Nicht-Primärsprache erfolgt)

Schritt 2: Freshness-gewichtetes Ranking. Unter den verbleibenden Dokumenten werden die Dokumente mit höheren Freshness-Werten höher eingestuft. Ein Dokument mit 94 Punkten ist einem Dokument mit 72 Punkten überlegen, auch wenn das Dokument mit 72 Punkten eine etwas höhere semantische Ähnlichkeit aufweist.

Schritt 3: Generierung von Antworten. Die KI generiert eine Antwort aus den gefilterten, nach Freshness bewerteten Quellen. Jede Quelle wird mit ihrem Freshness-Score zitiert.

Schritt 4: Staleness-Warnungen. Wenn die beste verfügbare Quelle einen grenzwertigen Freshness-Wert hat, fügt die KI einen Warnhinweis ein: "Hinweis: Die Hauptquelle für diese Antwort wurde zuletzt vor 60 Tagen überprüft. Das solltest du mit dem Team abklären."

Vergleiche das mit dem Standardverhalten: Relevanten Text finden, vertrauenswürdige Antwort generieren und auf das Beste hoffen.

Was passiert, wenn du das nicht tust

Die Folgen von KI-Systemen, die auf ungefilterten Wissensdatenbanken arbeiten, sind vorhersehbar und teuer:

Verwirrung bei Neueinstellungen Der häufigste Anwendungsfall von KI für interne Dokumente ist das Onboarding. Neue Mitarbeiter wissen naturgemäß nicht, was aktuell ist und was veraltet ist. Sie vertrauen der KI. Die KI traut allem. Veraltete Dokumente werden vertrauensvoll zugestellt.

**Wenn dein KI-Assistent Anleitungen zu regulatorischen Prozessen gibt und dabei auf veraltete Dokumente zurückgreift, könnte der Rat nicht nur falsch sein, sondern auch nicht den Vorschriften entsprechen. "Die KI hat mir gesagt, dass ich das tun soll" ist bei einem Audit nicht haltbar.

Vertrauensverlust. Jedes Mal, wenn die KI eine falsche Antwort gibt, sinkt das Vertrauen der Nutzer/innen in sie. Nach drei oder vier schlechten Erfahrungen hören sie auf, sie zu benutzen. Die Investition in KI-Werkzeuge bringt keinen Nutzen, weil die zugrunde liegenden Inhalte nicht vertrauenswürdig sind.

Schattenwissen. Wenn die Menschen das Vertrauen in die offizielle Wissensbasis (und die darauf aufbauende KI) verlieren, schaffen sie sich ihr eigenes: Slack-Nachrichten, persönliche Notizen, Stammeswissen, das in Meetings geteilt wird. Die Fragmentierung, die das Wiki eigentlich verhindern sollte, findet trotzdem statt, nur anders.

Die Lösung liegt an der Quelle, nicht am Modell

Die Versuchung ist groß, dieses Problem auf der KI-Ebene zu lösen: bessere Prompts, ausgefeiltere RAG-Pipelines, fein abgestimmte Modelle, die allein anhand des Textes erkennen können, ob etwas veraltet ist. Das ist der falsche Ansatz.

Die Lösung liegt an der Quelle. Wenn deine Dokumente reichhaltige, genaue Metadaten über ihren aktuellen Zustand enthalten (Frischegrad, Verfallsstatus, Klassifizierung, Sprachausrichtung, Lesersignale), kann jedes KI-System diese Metadaten nutzen, um bessere Entscheidungen zu treffen. Du brauchst kein schlaueres Modell. Du brauchst intelligentere Dokumente.

Das ist es, was Rasepi bietet:

Jedes Dokument hat einen Live-Frische-Score, der ständig auf der Grundlage von Linkstatus, Leserschaft, Überprüfungsstatus und mehr aktualisiert wird.
Jedes Dokument hat ein Verfallsdatum**, das eine Überprüfung auslöst, wenn es eintrifft.
Jedes Dokument hat eine Klassifizierung** (veröffentlicht, Entwurf, in Prüfung, archiviert)
Jede Sprachversion hat ihr eigenes Aktualitätssignal**, so dass veraltete Übersetzungen unabhängig voneinander erkannt werden.
Leserkennzeichen und Querverweisverfolgung** liefern zusätzliche Qualitätssignale

Wenn ein KI-System die Wissensdatenbank von Rasepi abfragt, sind all diese Metadaten verfügbar. Die KI muss nicht raten, ob ein Dokument vertrauenswürdig ist. Das Dokument sagt es ihr.

Ein praktischer Ausgangspunkt

Wenn du heute einen KI-Assistenten auf deiner Wissensdatenbank laufen hast, kannst du innerhalb von 30 Minuten damit beginnen, das Problem zu bewerten:

Stelle deinem KI-Assistenten 10 Fragen, auf die du die Antworten kennst. Notiere, welche Antworten veraltete Quellen verwenden. Du wirst wahrscheinlich feststellen, dass mindestens 2-3 von 10 auf veralteten Inhalten basieren.
Überprüfe die Quelldokumente. Sieh dir für jede Antwort, die die KI gegeben hat, das Quelldokument an. Wann wurde es zuletzt überprüft? Sind die Links gültig? Würdest du dem Dokument vertrauen, wenn du es selbst lesen würdest?
Suche nach dem schlimmsten Fall. Finde dein ältestes, am meisten vernachlässigtes Dokument, das immer noch in den Suchergebnissen erscheint. Stelle der KI eine Frage, die es zum Vorschein bringen würde. Verwendet die KI es? Mit ziemlicher Sicherheit tut sie das.
Schätze die Auswirkungen ab. Wie viele Anfragen bearbeitet dein KI-Assistent pro Tag? Wenn 20-30% der Antworten auf veralteten Inhalten beruhen, wie hoch sind dann die Kosten in Form von verschwendeter Zeit, falschen Entscheidungen und verlorenem Vertrauen?

KI-Assistenten sind nur so gut wie die Inhalte, auf denen sie aufbauen. Momentan behandeln die meisten von ihnen jedes Dokument in deiner Wissensdatenbank als gleichwertig. Sie holen sich alles, das Dokument, das gestern geprüft wurde, und das, das seit zwei Jahren niemand mehr angefasst hat, und präsentieren es mit dem gleichen Vertrauen.

Das ist kein Modellproblem. Es ist ein Problem der Datenqualität. Und die Lösung ist ganz einfach: Gib deinen Dokumenten Metadaten, die den KI-Tools sagen, worauf sie vertrauen sollen.

Dein KI-Assistent sollte nicht zuversichtlich klingen, wenn er eine Antwort aus einem Dokument erhält, das niemand in den letzten 18 Monaten überprüft hat. Mit den richtigen Signalen wird er das nicht tun.

Mit Rasepi erhält jedes Dokument seinen eigenen Vertrauenswert: Frische, Verfallsstatus, Klassifizierung, Sprachausrichtung. KI-Tools fragen die Wissensbasis ab und erhalten nicht nur den Inhalt, sondern auch den Kontext. Vertrauenswürdige Quellen tauchen auf. Veraltete Quellen nicht. So sollte eine KI-gestützte Dokumentation funktionieren.

Schau, wie Rasepi mit KI-Tools funktioniert →