KI-Agent für interne Dokumente: Fragen beantworten, Quellen belegen, Rechte wahren

Es ist Donnerstagnachmittag, und eine Mitarbeiterin im Vertrieb möchte einem Kunden bestätigen, bis wann eine Wartungsvereinbarung gekündigt werden kann. Sie öffnet das gemeinsame Laufwerk, findet drei Ordner mit ähnlichen Namen und zwei PDFs, die „final“ und „final_neu“ heißen. Dann schreibt sie dem Geschäftsführer eine Nachricht, der gerade unterwegs ist.

Das Bild ist alltäglich, und es ist in diesem Szenario unser Ausgangspunkt: ein Betrieb mit etwa zwanzig Beschäftigten, dessen Wissen in Handbüchern, Verträgen, Angeboten und Projektakten steckt. Nichts davon ist schlecht gepflegt, es ist nur über die Jahre an verschiedenen Orten gelandet. Dazu kommen Mailanhänge, die nie abgelegt wurden, und Notizen, die nur eine Person versteht.

Die Verlockung ist groß, einfach einen Chatbot über den gesamten Dateibestand zu legen. Wir halten das für den falschen ersten Gedanken. Die Frage lautet nicht, ob ein Sprachmodell Dokumente lesen kann, das kann es. Die Frage lautet, ob die Antwort belegt, aktuell und für diese Person zulässig ist. Daran entscheidet sich, ob ein KI-Agent, der Dokumente durchsucht, im Alltag Vertrauen gewinnt oder nach drei Wochen ignoriert wird.

Hinter der Frage nach der Kündigungsfrist steckt ein Muster, das sich in jedem kleinen Betrieb wiederholt. Wissen wandert zu Personen, die es oft gebraucht haben, und diese Personen werden zur Suchmaschine des Hauses. Das funktioniert, solange sie da sind. Im Urlaub, bei Krankheit oder nach einem Weggang bricht es ab, und niemand hat bemerkt, wie viel von der Orientierung an einem Kopf hing.

Das gefährlichste Fehlerbild ist die glatte, falsche Antwort. Ein Sprachmodell formuliert aus Textfragmenten einen sauberen Satz, auch wenn die Fragmente aus verschiedenen Fassungen stammen oder gar nicht zur Frage passen. Der Leser sieht keinen Bruch, und genau das macht den Fehler teuer. Wer sich auf die Auskunft verlässt, merkt es erst, wenn der Kunde widerspricht.

Dazu kommen Fehler, die aus der Dokumentenlage selbst entstehen. Es gibt Handbücher mit Stand von vor vier Jahren, die niemand gelöscht hat, und Vertragsentwürfe, die neben der unterschriebenen Fassung liegen. Gescannte Verträge ohne Texterkennung sind für einen Agenten unsichtbar oder werden fehlerhaft gelesen. Tabellen in PDFs verlieren beim Auslesen ihre Zeilenstruktur, sodass eine Zahl der falschen Spalte zugeordnet wird.

Der dritte Bereich betrifft Zugriffe. Wenn der Agent mit einem Dienstkonto auf alles zugreift und die Antworten ungefiltert ausgibt, kann ein Auszubildender indirekt das Gehaltsschema erfragen. Das passiert nicht aus böser Absicht, sondern weil niemand daran gedacht hat, dass eine Suche, die alles findet, auch alles verrät. Sie müssen die Rechte deshalb vor der Antwort prüfen, nicht danach.

Bevor irgendetwas indexiert wird, braucht es zwei Listen. Die erste beschreibt den Bestand: Welche Dokumenttypen gibt es, wo liegen sie, in welchem Format, wer pflegt sie, und welche gelten als maßgeblich? Die zweite sammelt echte Fragen aus dem Alltag. Das sind keine Wunschfragen, sondern solche, die in Mails und Gesprächen tatsächlich vorkommen, etwa nach Fristen, Ansprechpartnern, Ausführungsvorgaben oder dem Stand eines Projekts.

Aus beiden Listen ergibt sich ein Bild, das oft nüchterner ausfällt als erwartet. Ein Teil der Fragen betrifft Handbücher und Arbeitsanweisungen, bei denen eine Antwort mit Fundstelle gut funktioniert. Ein anderer Teil betrifft Verträge und Zahlen, wo eine falsche Auskunft Folgen hat. Ein dritter Teil betrifft Wissen, das in keinem Dokument steht. Dafür hilft kein Agent, sondern nur das Aufschreiben.

Hilfreich ist ein einfacher Probelauf von Hand. Nehmen Sie zehn der gesammelten Fragen und beantworten Sie sie so, wie es ein neuer Kollege tun müsste: ohne Rückfrage, nur mit den vorhandenen Dokumenten. Die Fragen, an denen er scheitert, zeigen, ob das Hindernis die Suche ist oder ob die Antwort schlicht nirgends steht. Nur im ersten Fall kann ein Agent helfen.

Wir würden außerdem festhalten, wem welche Dokumente gehören. Personalakten, Angebote mit Kalkulation und Verträge mit Dritten unterliegen unterschiedlichen Zugriffsregeln, die meist schon im Dateisystem oder im Dokumentenmanagement abgebildet sind. Diese bestehenden Rechte sind der verlässlichste Ausgangspunkt, denn sie spiegeln, was das Unternehmen tatsächlich entschieden hat, nicht was jemand für den Agenten neu erfindet.

Ein häufiger Stolperstein ist die Annahme, die Ordnerrechte seien sauber. In kleinen Betrieben sind sie es selten: Ein Ordner wurde einmal für ein Projekt geöffnet und nie wieder geschlossen, ein ehemaliger Praktikant steht noch in einer Gruppe. Der Agent würde solche Altlasten nicht verursachen, aber sichtbar machen und verstärken. Eine kurze Rechteprüfung vor dem Start gehört deshalb zum Projekt, auch wenn sie unbequem ist.

Für die Aufgabe gibt es drei Wege. Der erste ist die klassische Volltextsuche, die Treffer liefert, aber keine Antwort formuliert. Der zweite ist ein Chatbot, der mit allen Dokumenten gefüttert wird und frei antwortet. Der dritte ist ein Agent, der gezielt sucht, die Fundstellen prüft und nur auf deren Grundlage antwortet. Wir würden den dritten Weg wählen, aber in einer engen Form.

Eng heißt hier: Der Agent beantwortet Fragen ausschließlich aus freigegebenen Quellen, nennt zu jeder Aussage die Fundstelle und den Stand des Dokuments und sagt offen, wenn er nichts findet. Er ändert nichts, versendet nichts und trifft keine Entscheidungen. Diese Beschränkung ist eine Stärke, weil sie das Fehlerrisiko begrenzt und die Prüfung einfach macht. Wer eine Antwort anzweifelt, öffnet die genannte Stelle.

Gegen die reine Volltextsuche spricht, dass viele Fragen nicht im Wortlaut der Dokumente gestellt werden. Wer nach „Kündigung“ sucht, findet „Beendigung des Vertragsverhältnisses“ nicht. Gegen den freien Chatbot spricht, dass er keine Garantie für belegbare Antworten gibt und Rechte schwer durchsetzt. Der Agent verbindet beides: Er sucht bedeutungsbasiert, filtert nach Rechten und legt die Belege offen.

Ein Kompromiss bleibt dabei bestehen. Je enger der Agent geführt wird, desto häufiger sagt er „nicht gefunden“, und desto eher empfinden Nutzer ihn als spröde. Je freier er antwortet, desto flüssiger wirkt er und desto schwerer lässt sich prüfen, ob er recht hat. Wir würden bei internen Dokumenten die strengere Seite wählen und die Lockerung erst nach Wochen mit Stichproben erwägen, nicht umgekehrt.

Eine gute Antwort besteht aus drei Teilen: der Aussage in zwei, drei Sätzen, den Fundstellen und einem Hinweis zur Sicherheit. Die Fundstelle nennt Dokumenttitel, Abschnitt oder Seite und Datum des Stands, ideal mit Link zur Originaldatei. Der Hinweis sagt, ob die Quellen eindeutig waren oder ob es Abweichungen gab. Fehlt die Fundstelle, ist die Antwort keine.

Besonders wichtig ist die Haltung bei Lücken. Wenn der Agent nichts Passendes findet, soll er das schreiben und anbieten, die Frage an eine Person weiterzugeben, statt eine naheliegende Antwort zu vermuten. Diese Bereitschaft zum „Dazu habe ich nichts gefunden“ ist ein Qualitätsmerkmal, kein Mangel. Sie müssen sie beim Aufbau ausdrücklich festlegen und in Tests prüfen, denn Sprachmodelle neigen zum Antworten.

Für Zahlen und Rechtliches gelten schärfere Regeln. Beträge, Fristen, Mengen und Preise gibt der Agent nur zitierend wieder, mit der Originalstelle daneben, und rechnet nicht selbst. Bei Vertragsklauseln liefert er den Wortlaut und eine kurze Einordnung, aber keine rechtliche Bewertung. Ob eine Klausel wirksam ist oder was sie im Streitfall bedeutet, gehört zu einer fachkundigen Person. Der Agent kann vorbereiten, nicht beraten.

Ein Beispiel zeigt den Unterschied. Auf die Frage nach der Gewährleistungsfrist in einem bestimmten Projekt würde der Agent den Vertrag und die zugehörige Anlage nennen, den Wortlaut zitieren und anmerken, dass ein späteres Angebot eine abweichende Formulierung enthält. Er würde keine Zahl nennen, die er nicht wörtlich belegen kann, und die Entscheidung, welche Fassung gilt, bewusst offen lassen.

Technisch zerfällt das System in wenige Bausteine. Eine Aufnahmeschicht liest Dokumente aus festgelegten Quellen, etwa einem Dateiserver oder einer Cloud-Ablage, wandelt sie in Text um und zerlegt sie in sinnvolle Abschnitte. Scans durchlaufen eine Texterkennung, deren Ergebnis stichprobenartig geprüft wird. Zu jedem Abschnitt werden Metadaten gespeichert: Titel, Pfad, Datum, Version, Dokumenttyp und zugelassene Gruppen.

Die Suche kombiniert Bedeutungsähnlichkeit mit klassischer Stichwortsuche, weil keine der beiden allein zuverlässig ist. Nummern, Produktbezeichnungen und Vertragsnummern findet die Stichwortsuche besser, umschriebene Fragen die Bedeutungssuche. Vor jeder Suche wird nach den Rechten der fragenden Person gefiltert. Das ist wichtig: Der Filter wirkt auf die Trefferliste, nicht erst auf den Text der Antwort, sodass nicht freigegebene Inhalte das Modell gar nicht erreichen.

Danach formuliert das Sprachmodell die Antwort aus den gefundenen Abschnitten und wird angewiesen, nichts außerhalb davon zu behaupten. Eine Prüfschicht vergleicht anschließend, ob jede Aussage durch einen zitierten Abschnitt gedeckt ist, und verwirft Antworten ohne Deckung. Protokolliert werden Frage, genutzte Quellen und Ergebnis, damit sich Fehler später nachvollziehen lassen. Die Personenbezüge in den Protokollen müssen dabei sparsam und mit Löschfristen behandelt werden.

Die Wahl des Standorts ist eine eigene Entscheidung. Interne Verträge und Personalunterlagen sollten nicht ungeprüft an beliebige Dienste gehen. Je nach Sensibilität kommen ein europäischer Anbieter mit Auftragsverarbeitung, ein Betrieb in der eigenen Umgebung oder eine Beschränkung auf weniger sensible Dokumentklassen infrage. Das ist eine Orientierung, keine Rechtsberatung, und gehört vor dem Start mit der Datenschutzperson geklärt.

Der häufigste Sonderfall ist die zweite Fassung. Im Handbuch steht eine Frist von zwei Wochen, in einer späteren Rundmail von vier. Der Agent erkennt den Unterschied nur, wenn Datum und Status der Dokumente bekannt sind. Deshalb bekommt jedes Dokument einen Status wie „maßgeblich“, „Entwurf“ oder „archiviert“, und nur maßgebliche Fassungen werden standardmäßig durchsucht. Archivierte lassen sich bei Bedarf ausdrücklich abfragen.

Bleibt ein echter Widerspruch bestehen, etwa zwischen Vertrag und Angebot, soll der Agent ihn nicht auflösen, sondern benennen. Er nennt beide Fundstellen mit Datum und weist darauf hin, dass eine Person klären muss, was gilt. Das fühlt sich zunächst weniger hilfreich an als eine klare Antwort, verhindert aber, dass sich eine falsche Lesart im Betrieb verfestigt. Oft deckt der Hinweis zudem eine Lücke in der Dokumentenpflege auf.

Dazu gehören weitere Randfälle. Handschriftliche Notizen auf Scans werden schlecht erkannt und sollten als nicht auswertbar gekennzeichnet werden. Sehr lange Dokumente, etwa Rahmenverträge mit Anlagen, verlangen Abschnitte, die ihren Zusammenhang behalten, sonst fehlt der Bezug zwischen Klausel und Anlage. Und Fragen, die mehrere Dokumente verknüpfen, etwa „Welche Projekte nutzen diese Vorlage?“, sind Auswertungen, keine Suche, und gehören eher in ein strukturiertes Verzeichnis.

Schließlich bleibt die Frage, was der Agent nicht beantworten soll. Dazu zählen Auskünfte über Einzelpersonen, die nur Personalverantwortliche kennen dürfen, rechtliche Würdigungen und Aussagen über Dokumente, die er nicht lesen darf. In diesen Fällen antwortet er mit einem festen, freundlichen Hinweis und nennt die zuständige Stelle, statt zu erklären, warum etwas verborgen bleibt.

Ein letzter Sonderfall ist die Eingabe selbst. Dokumente können Text enthalten, der wie eine Anweisung klingt, etwa in einer weitergeleiteten Mail oder einem Fremdvertrag. Der Agent muss Inhalte aus Dokumenten als Material behandeln und nie als Auftrag. Das gehört in die Tests, indem Sie bewusst Testdokumente mit solchen Sätzen einspielen und prüfen, ob das Verhalten des Agenten unverändert bleibt.

Der Nutzen liegt bei Dokumenten-Agenten in der Zeit zwischen Frage und belastbarer Auskunft und in der Entlastung der wenigen, die alles wissen. Beides lässt sich nicht pauschal beziffern, und wir nennen deshalb keine Zahlen. Realistisch ist, dass einfache Nachschlagefragen schneller beantwortet werden und Rückfragen an Kolleginnen und Kollegen seltener werden. Komplexe oder strittige Fälle bleiben bei Menschen.

Messen lässt sich vor dem Start mit einer Testmenge. Sie sammeln dreißig bis fünfzig echte Fragen, legen mit der zuständigen Person die richtige Antwort samt Fundstelle fest und lassen den Agenten antworten. Bewertet werden drei Dinge getrennt: Wurde die richtige Quelle gefunden, ist die Aussage korrekt, und hat der Agent bei fehlender Antwort sauber verzichtet? Diese Trennung zeigt, ob das Problem in der Suche, im Modell oder in den Dokumenten liegt.

Im laufenden Betrieb bieten sich einfache Rückmeldungen an: ein Daumen für die Antwort, ein Feld für „Quelle stimmt nicht“, und eine monatliche Stichprobe von Protokollen. Auffällig wird es, wenn bestimmte Fragen wiederholt ohne Treffer bleiben, denn dann fehlt vermutlich ein Dokument. Eine Garantie für fehlerfreie Antworten gibt es nicht, und wer sie verspricht, unterschätzt die Fehlerarten, die oben beschrieben sind.

Die wichtigste Erkenntnis ist unspektakulär: Der Agent macht die Dokumentenlage sichtbar, die vorher niemand überblickt hat. Doppelte Fassungen, unklare Zuständigkeiten und fehlende Stände fallen auf, sobald eine Maschine sie nicht mehr stillschweigend ausgleicht. Wer das als Nebenertrag begreift und die Dokumente im Zuge des Projekts aufräumt, hat danach nicht nur einen Agenten, sondern auch eine bessere Ablage.

Beginnen Sie mit einem kleinen, klar umrissenen Bestand, etwa dem Handbuch und den Arbeitsanweisungen, und nehmen Sie Verträge erst später dazu. Dort ist die Schadenswirkung geringer, und Sie lernen, wie Ihre Dokumente sich verhalten. Pflegen Sie von Anfang an einen Verantwortlichen pro Dokumentgruppe, denn Aktualität lässt sich nicht automatisieren, sie braucht einen Menschen, der Fassungen freigibt und Altes archiviert.

Planen Sie die Aktualisierung als festen Bestandteil ein. Neue und geänderte Dokumente sollten automatisch nachindexiert werden, gelöschte oder archivierte ebenfalls, sonst antwortet der Agent aus Beständen, die es nicht mehr gibt. Rechteänderungen, etwa nach einem Personalwechsel, müssen ebenso zeitnah ankommen. Ein Index, der den Stand von gestern spiegelt, kann bei Rechten gefährlicher sein als bei Inhalten.

Ebenso lehrreich ist die Frage der Erwartung. Teams, die den Agenten als Auskunftsperson verstehen, sind schnell enttäuscht, sobald er einmal „nichts gefunden“ meldet. Teams, die ihn als schnellen Weg zur Fundstelle sehen, nutzen ihn gelassener. Eine kurze Einführung, die diese Rolle erklärt und zeigt, wie man eine Quelle öffnet und Rückmeldung gibt, wirkt deshalb mehr als jede Verbesserung am Antwortstil.

Ein KI-Agent, der interne Dokumente durchsucht, lohnt sich dort, wo Wissen vorhanden, aber schwer auffindbar ist. Er ersetzt weder die Dokumentenpflege noch die Fachperson, die Verträge beurteilt. Er verkürzt den Weg zur Fundstelle und zeigt, wo die Ablage Lücken hat. Seine Qualität entscheidet sich an vier Punkten: belegte Quellen, geprüfte Rechte, markierte Aktualität und der Mut zur Enthaltung.

Der nächste Schritt ist klein. Sammeln Sie zwanzig Fragen, die in den letzten Wochen im Team gestellt wurden, und notieren Sie dazu, wo die Antwort stand und wer sie letztlich gegeben hat. Daraus sehen Sie, ob ein Pilot lohnt, welche Dokumente dafür nötig wären und wo vorher aufgeräumt werden müsste. Ergänzen Sie die Liste um drei Fragen, bei denen eine falsche Antwort wirklich weh täte, denn an diesen Fällen entscheidet sich, wie streng der Agent geführt und was bewusst ausgeschlossen wird. Wir schauen uns das auf Wunsch gemeinsam an und sagen ehrlich, wenn eine bessere Ablage der einfachere Weg ist.