Eine KI-Antwort ohne prüfbare Herkunft ist keine Arbeitsgrundlage

Eine interne KI beantwortet eine Richtlinienfrage in wenigen Sekunden. Die Formulierung klingt eindeutig, die Schritte sind plausibel und am Ende stehen drei Quellen. Erst beim Öffnen zeigt sich: Eine Fundstelle behandelt einen anderen Standort, eine zweite ist veraltet und die dritte enthält die behauptete Ausnahme nicht.

Das System hat Text erzeugt, aber keine belastbare Arbeitsgrundlage.

Eine Quellenanzeige ist deshalb mehr als ein Komfortmerkmal. Sie muss eine fachliche Prüfung ermöglichen: Woher kommt die Aussage, gilt die Quelle für diesen Fall, ist sie aktuell und was tut das System, wenn der Wissensbestand keine Antwort trägt?

Plausibilität ist kein Nachweis

Generative KI ist gut darin, sprachlich zusammenhängende Antworten zu formulieren. Gerade dadurch kann eine falsche Aussage überzeugend wirken.

Das NIST-Profil für generative KI verwendet dafür den Begriff „Confabulation“: Ein System präsentiert falsche oder fehlerhafte Inhalte mit Sicherheit. NIST empfiehlt unter anderem, Quellen und Zitate in Ausgaben zu prüfen und bei Retrieval-Augmented Generation zu verifizieren, dass die verwendeten Daten tatsächlich geerdet sind.

Retrieval-Augmented Generation, kurz RAG, ergänzt das Sprachmodell um gefundene Dokumentausschnitte. Das kann Antworten stärker an den eigenen Wissensbestand binden. Es garantiert aber nicht, dass:

• das richtige Dokument gefunden wurde,
• der Ausschnitt vollständig genug ist,
• die Quelle noch gilt,
• das Modell den Inhalt korrekt wiedergibt,
• das Zitat die konkrete Behauptung belegt,
• der Nutzer die Quelle überhaupt öffnen darf.

„Mit Quellen“ und „durch Quellen belegt“ sind verschiedene Qualitätsstufen.

Nicht jede Nutzung braucht dieselbe Belegtiefe

Für eine Ideensammlung, sprachliche Überarbeitung oder vorläufige Gliederung kann eine Antwort ohne Einzelnachweise nützlich sein. Je näher die Ausgabe an einer Entscheidung oder Ausführung liegt, desto höher wird der Anspruch.

Eine prüfbare Herkunft ist besonders wichtig, wenn die Antwort:

• Rechte, Pflichten oder Freigaben beschreibt,
• eine technische Änderung vorbereitet,
• personenbezogene oder vertrauliche Daten betrifft,
• finanzielle, vertragliche oder sicherheitsrelevante Folgen hat,
• einen verbindlichen Prozessschritt auslöst,
• als Begründung gegenüber Dritten verwendet wird.

Der Nutzungsrahmen sollte diese Klassen sichtbar machen. Sonst verwendet derselbe Chatmodus für eine Textidee und eine Berechtigungsentscheidung dieselben Erwartungen.

Die Quelle braucht Kontext und Geltungsstand

Ein bloßer Dateiname hilft selten. Nutzende müssen erkennen können, warum eine Fundstelle relevant ist.

Zu einer guten Quellenanzeige gehören je nach Einsatz:

• Dokumenttitel und verantwortliche Stelle,
• direkter Link zur Fundstelle oder zum relevanten Abschnitt,
• Version, Freigabestand oder Änderungsdatum,
• betroffener Standort, Prozess, Produktstand oder Personenkreis,
• sichtbare Passage, auf die sich die Aussage stützt,
• Hinweis auf konkurrierende oder widersprüchliche Quellen.

Diese Metadaten entstehen nicht automatisch durch ein Sprachmodell. Sie müssen im Wissensbestand gepflegt oder aus verlässlichen Systemfeldern übernommen werden.

Der Beitrag zur Wissensdatenbank im Supportprozess beschreibt, wie Inhalte bei ihrer Nutzung verbessert werden. Für KI-gestützte Suche wird diese Pflege noch wichtiger: Ein veralteter Artikel wird nicht nur gefunden, sondern kann in vielen Antworten unsichtbar weiterverarbeitet werden.

Der Wissensbestand braucht eine Rangordnung

Viele Unternehmen besitzen mehrere Versionen derselben Wahrheit: Richtlinie, Arbeitsanweisung, Wiki-Seite, Projektnotiz und alte PDF-Kopie. Eine KI-Suche kann diesen Konflikt nicht zuverlässig organisatorisch lösen.

Vor dem technischen Tuning sind deshalb Regeln nötig:

• Welche Systeme enthalten freigegebene Arbeitsgrundlagen?
• Welche Dokumenttypen sind verbindlich, welche nur erläuternd?
• Wer verantwortet Geltungsbereich und Aktualität?
• Wie werden ersetzte Fassungen markiert oder aus der aktiven Suche entfernt?
• Welche Inhalte dürfen gemeinsam ausgewertet werden?
• Welche Zugriffsrechte müssen auch im Suchindex gelten?

Ein Modell darf nicht mehr Wissen offenlegen, als die anfragende Person in den Quellsystemen sehen darf. Quellenbasierte Antworten benötigen deshalb ein Berechtigungsmodell vom Dokument bis zur Ausgabe.

Eine gute Antwort darf nicht antworten

Wenn keine belastbare Quelle vorliegt, ist „Dazu liegt im freigegebenen Bestand keine ausreichende Information vor“ häufig die bessere Systemleistung.

Der Abbruch sollte kein technischer Fehler sein, sondern ein vorgesehener Arbeitsweg:

1. Unsicherheit oder widersprüchliche Quellen anzeigen.
2. Keine verbindliche Handlungsanweisung formulieren.
3. Zuständige Rolle oder Quellsystem nennen.
4. Die offene Frage für Wissenspflege oder Fachprüfung erfassen.
5. Nach Ergänzung des Bestands den Fall erneut testen.

Damit wird Nichtwissen produktiv. Es verhindert eine falsche Entscheidung und zeigt zugleich eine Lücke im Organisationswissen.

Konstruiertes Beispiel: Die gültige Richtlinie verliert gegen den ähnlicheren Text

Das folgende Beispiel ist konstruiert.

Eine Mitarbeiterin fragt eine interne KI, ob für eine bestimmte Beschaffung ein zweites Angebot erforderlich ist. Das System findet eine alte Projektanleitung mit sehr ähnlicher Formulierung und eine aktuelle Einkaufsrichtlinie mit allgemeinerem Titel. Die Antwort folgt der alten Anleitung und nennt die aktuelle Richtlinie lediglich als zweite Quelle.

Eine belastbare Ausgestaltung würde den freigegebenen Dokumenttyp und das Gültigkeitsdatum höher gewichten, die konkret verwendete Passage zeigen und bei einem Widerspruch nicht selbst entscheiden. Die zuständige Einkaufsrolle erhält stattdessen eine gezielte Rückfrage.

Der Fehler liegt nicht nur im Modell. Dokumentrang, Metadaten, Retrieval, Antwortregel und Eskalation wirken zusammen.

Die Antwort-Herkunft-Karte

Feld	Prüffrage
Aufgabe	Für welche Entscheidung oder Tätigkeit wird die Antwort verwendet?
Risikoklasse	Welche Folge hätte eine falsche oder unvollständige Aussage?
Quellraum	Welche Systeme und Dokumenttypen dürfen herangezogen werden?
Geltung	Welche Version, Organisationseinheit und Frist gelten?
Behauptung	Welche konkrete Aussage wird durch welche Passage gestützt?
Zugriff	Darf die anfragende Person Quelle und abgeleitete Information sehen?
Unsicherheit	Wie werden fehlende, schwache oder widersprüchliche Belege angezeigt?
Abbruch	Wann antwortet das System nicht verbindlich?
Eskalation	Welche Rolle klärt den offenen Fall?
Rückmeldung	Wie werden fehlerhafte Quellen oder Antworten erfasst und verbessert?

Die Karte ist kein Prompt-Template. Sie beschreibt das Betriebsversprechen der Anwendung.

Qualität muss Retrieval und Antwort getrennt prüfen

Ein guter Gesamteindruck im Pilot reicht nicht. Der vorhandene Beitrag „KI-Qualität braucht einen festen Testbestand“ erklärt den grundsätzlichen Testansatz. Für Quellenantworten sollten mindestens vier Ebenen getrennt bewertet werden:

1. Fundqualität: Wurde die maßgebliche Quelle gefunden und eine überholte Fassung zurückgestuft?
2. Belegqualität: Stützt die angezeigte Passage tatsächlich die jeweilige Aussage?
3. Antwortqualität: Ist die Schlussfolgerung innerhalb des Geltungsbereichs korrekt und vollständig genug?
4. Betriebsqualität: Funktionieren Berechtigungen, Aktualisierung, Rückmeldung und Eskalation?

Hilfreiche Signale sind der Anteil ausreichend belegter Kernaussagen, korrekt abgelehnte unbeantwortbare Fragen, gefundene veraltete Quellen und fachlich bestätigte Korrekturen. Eine hohe Nutzerzufriedenheit allein kann auch bedeuten, dass Antworten nur angenehm klingen.

Managementsystem statt einmaliger Datenimport

ISO/IEC 42001:2023 beschreibt Anforderungen an ein Managementsystem für die verantwortliche Entwicklung oder Nutzung von KI. Der Standard verlangt nicht dieses konkrete Antwortmodell und ist keine automatische Zertifizierungspflicht. Er unterstreicht jedoch, dass KI-Governance, Verantwortlichkeiten, Risikobehandlung und kontinuierliche Verbesserung zusammengehören.

Auch das freiwillige NIST AI Risk Management Framework betrachtet KI über Govern, Map, Measure und Manage im Nutzungskontext. Für den Mittelstand folgt daraus kein Bedarf an einem großen KI-Gremium. Es folgt der Bedarf an einem benannten Owner für Anwendung, Quellenbestand, Qualitätsgrenzen und Änderungen.

Eine KI-Antwort wird nicht dadurch belastbar, dass sie einen Link enthält. Belastbar wird sie, wenn ein Mensch die entscheidende Aussage mit vertretbarem Aufwand auf eine gültige Quelle zurückführen kann – und das System bei fehlender Grundlage kontrolliert schweigt.