RAG für Unternehmen: KI-Antworten auf Basis Ihrer eigenen Dokumente

Was ist RAG im Unternehmenskontext?

RAG (Retrieval-Augmented Generation, retrieval-gestützte Textgenerierung) ist eine Architektur, in der die KI vor der Antwort die Informationen in den eigenen Daten des Unternehmens sucht [4]. Sie antwortet daher auf Basis Ihrer Dokumente und nicht allein aus ihrem allgemeinen Wissen [5]. Eine andere Formulierung besagt, dass RAG ein Sprachmodell an die internen Daten „anschließt“, statt es aus dem Gedächtnis antworten zu lassen [33].

Zwei kombinierte Bausteine

Technisch kombiniert RAG ein LLM (Large Language Model, großes Sprachmodell) mit einer Dokumentendatenbank, um Antworten aus den Daten der Organisation zu erzeugen [28]. Das Modell sucht nicht allein: Ein Suchschritt in den Dokumenten geht der Formulierung der Antwort voraus. Auch die öffentlichen Stellen des Staates rahmen die Nutzung auf dieselbe Weise: RAG kann Aufgaben automatisieren oder unterstützen, die eine Suche in einer Dokumentendatenbank erfordern, etwa bei Verträgen [1].

KI-Wissensdatenbank: Definition

Eine KI-Wissensdatenbank ist das Korpus interner Dokumente, das ein RAG-System abfragt, um seine Antworten zu begründen. Diese Formulierung ist eine Zusammenfassung. Sie deckt sich mit den vorangegangenen Definitionen, die von „Dokumentendatenbank“ [1][28] und von „eigenen Daten des Unternehmens“ [4] sprechen. Der Umfang dieses Korpus wird vom Unternehmen gewählt, und er bestimmt, was die KI zur Beantwortung nutzen kann.

Eine Architektur, die geschulte Teams voraussetzt

Der offizielle Leitfaden, im November 2024 auf entreprises.gouv.fr veröffentlicht, ergänzt einen Punkt, den die technischen Definitionen auslassen. Ein RAG-Projekt erfordert eine Qualifizierung der Teams, zu der insbesondere die Schulung im Prompt Engineering gehört, also darin, wie Anfragen an das System formuliert werden [2].

Mehrere der hier zitierten Definitionen stammen von Dienstleisterseiten [4][5][28][33]. Sie stimmen alle im Grundprinzip überein: zuerst in den Dokumenten suchen, dann antworten.

Worin unterscheidet sich ein RAG von einem allgemeinen KI-Assistenten?

Ein allgemeiner KI-Assistent antwortet auf Basis dessen, was er während des Trainings gelernt hat, während ein RAG seine Antworten auf die Dokumente stützt, die das Unternehmen ausgewählt hat. Ein Dienstleister der Branche fasst es so zusammen: Der Generalist kennt weder die Verträge, noch die Prozesse, noch die Kunden der Organisation [18].

Was der allgemeine Assistent nicht weiß

Ein allgemeines Modell stützt sich auf sein Trainingswissen. Was spezifisch für das Unternehmen ist (ein Vertrag, der letzten Monat unterzeichnet wurde, ein internes Verfahren, die Historie eines Kunden), ist in diesem Gedächtnis nicht enthalten [18]. Ohne Zugriff auf diese Dokumente liefert es bestenfalls eine generische Antwort.

Was RAG verändert

RAG (Retrieval-Augmented Generation, retrieval-gestützte Textgenerierung) lässt die generative KI auf Basis der Dokumente des Unternehmens statt ihres allgemeinen Wissens antworten [5]. Vor dem Formulieren konsultiert das System die Dokumente und stützt die Antwort darauf [35]. Im Kundenservice sucht die KI zuerst in den vom Unternehmen festgelegten Quellen und verwendet diese Inhalte als Kontext. Die Antwort nähert sich so dem an, was in der Wissensdatenbank bereits existiert, statt allein von der „statistischen Erinnerung“ des Modells abzuhängen [34]. Dafür muss kein Modell neu trainiert werden [18].

Eine hilfreiche Nuance

Ein Modell an Dokumente anzuschließen garantiert allein keine gute Antwort. Die Qualität hängt davon ab, wie die Dokumente zerlegt und wiedergefunden werden: Eine schlechte Zerlegung oder eine ungenaue Abfrage verschlechtern das Ergebnis [31]. Mehrere der hier zitierten Quellen stammen von Dienstleistern (Herstellern, Beratungen, Agenturen). Ihre Versprechen zur Zuverlässigkeit sind an Ihren eigenen Dokumenten zu überprüfen.

Wie funktioniert ein RAG Schritt für Schritt?

Ein RAG verkettet eine Such- und eine Generierungsphase: Die Quellen werden in einer Vektordatenbank indexiert, die relevanten Passagen werden gefunden und zusammen mit der Frage an ein LLM übergeben [17][31].

1. Indexierung. Die Dokumente des Unternehmens (Intranet, interne Referenzen, HR-Richtlinien, Qualitätsleitfäden [15]) werden in Passagen zerlegt und in einer Vektordatenbank indexiert [17][31].
2. Abruf. Bei jeder Frage findet das System in dieser Datenbank die relevantesten Passagen [17].
3. Generierung. Diese Passagen werden zusammen mit der Frage an das LLM gesendet, in einem Prompt der Form: „Hier ist eine Nutzerfrage und die relevanten Auszüge aus der Dokumentation. Antworte ausschließlich auf Basis dieser Auszüge und nenne deine Quellen.“ [31] So entsteht die Antwort mit Zitaten und Nachvollziehbarkeitshinweisen [14].

Zwei verschiedene Mechanismen in einem Muster

RAG ist ein Architekturmuster, das zwei verschiedene Mechanismen kombiniert [6]: zum einen ein generatives Sprachmodell, zum anderen eine mit einer Wissensdatenbank verbundene Suchmaschine [15]. Es handelt sich also nicht um ein einzelnes Modell, das man auswählt, sondern um eine Zusammenstellung, deren Bausteine jeweils separat eingestellt werden.

Die Qualität hängt von jedem Schritt ab

Die Qualität des Ergebnisses entscheidet sich in jedem Schritt der Pipeline, nicht allein im Modell. Laut Kanbios, das einen Prozess in vier Schritten beschreibt, verschlechtern eine schlechte Zerlegung oder eine ungenaue Abfrage das Ergebnis [31]. Die Anweisung, nur auf Basis der Auszüge zu antworten, behebt diese Mängel nicht: Sind die übergebenen Passagen schlecht zerlegt oder am Thema vorbei, arbeitet das Modell mit schlechten Auszügen.

Diese Kontrollpunkte finden sich auf jeder Ebene:

• Zerlegung: Eine an der falschen Stelle geschnittene Passage verliert den Kontext, der sie nützlich machte [31].
• Abruf: Die Suche muss die richtigen Auszüge liefern, ohne wichtige zu verpassen oder unnütze mitzubringen [31].
• Generierung: Die Anweisung, nur aus den Auszügen zu antworten und die Quellen zu nennen, macht die Antwort überprüfbar [31][14].

Für eine IT-Leitung (CIO) verschiebt das die Bewertung: Man misst zuerst, was das System abgerufen hat, und erst danach, was das Modell daraus gemacht hat.

Welchen Nutzen kann man vom RAG erwarten, und welche Aspekte sind zu relativieren?

Die am häufigsten genannten Vorteile von RAG sind Zuverlässigkeit, die Verankerung der Antworten in einem definierten Korpus, Nachvollziehbarkeit und Vertraulichkeit. Diese Versprechen stammen vor allem von kommerziellen Akteuren (Dienstleister, Hersteller), und manche sind zu relativieren.

Was behauptet wird

• Zuverlässigkeit: Jede Antwort stützt sich auf eine vorab definierte Basis (Intranet, interne Referenzen, HR-Richtlinien, Qualitätsleitfäden) und nicht auf die „statistische Erinnerung“ des Modells [15].
• Nachvollziehbarkeit: Die Antwort nennt ihre Quelle [12], und das Verfahren bewahrt Zitate und Nachvollziehbarkeitshinweise [14]. Ein Hersteller kündigt Zitate bis zur genauen Passage an (Dokument, Seite, Absatz) [27]. Dieses Präzisionsniveau hängt also vom Angebot ab.
• Vertraulichkeit: Ein Dienstleister behauptet, dass interne Dokumente „ohne Kompromisse bei der Vertraulichkeit“ für die KI nutzbar werden [20].
• Souveränität: Mehrere Anbieter bieten sogenannte „souveräne“ Bereitstellungen an [9][21]. Das Dossier erlaubt nicht zu prüfen, was dieser Begriff bei den einzelnen Angeboten jeweils bedeutet.

Was zu relativieren ist

Die Formulierung einer „drastischen Reduzierung der Halluzinationen“ stammt von einem kommerziellen Akteur, der schreibt, dass RAG „Fehler und Halluzinationen drastisch reduziert“ [16]. Andere Quellen verwenden ein zurückhaltenderes Verb: Die Nachvollziehbarkeit dient dazu, Halluzinationen zu „begrenzen“ [14]. Die verfügbaren Auszüge beziffern diese Reduzierung nicht. Sie ist daher als angekündigter Trend zu lesen, nicht als gemessene Garantie.

Dieselbe Vorsicht gilt für Vertraulichkeit und Souveränität: Es sind Verkaufsargumente, vorgebracht von denen, die sie verkaufen.

Was die Grenzen der Architektur betrifft, so kündigt eine Quelle an, sie zu behandeln [6], doch die vorliegenden Auszüge beschreiben keine davon. Hier wird daher keine benannt, und ebenso wenig wird auf ihr Fehlen geschlossen. Bevor man einen Nutzen übernimmt, sollte man ihn an den eigenen Dokumenten testen und die erzeugten Zitate überprüfen.

Welche Anwendungsfälle gibt es für KI auf internen Dokumenten?

Die dokumentierten Einsatzfälle des RAG haben einen gemeinsamen Nenner: Die gesuchte Antwort steht bereits in den Dokumenten der Organisation, und es gilt, sie zu finden und zu formulieren. Vier Fälle gehen aus den Quellen hervor.

Suche in einer Dokumentendatenbank. Laut France Num kann generative KI über RAG Aufgaben automatisieren oder unterstützen, die eine Suche in einer Dokumentendatenbank erfordern, wobei Verträge ein Beispiel sind [1]. Es handelt sich um Unterstützung bei der Recherche, nicht um den Ersatz des Lesens der Dokumente.

Interner Assistent. Ein interner KI-Assistent wird mit Dokumenten des Unternehmens gespeist, etwa FAQ und Produktdatenblättern. Er wendet das RAG-Prinzip an: Er sucht die relevanten Informationen in dieser Dokumentendatenbank, bevor er seine Antwort formuliert [24].

Kundenservice. Mit RAG sucht die KI zuerst Informationen in den vom Unternehmen festgelegten Quellen und verwendet sie dann als Kontext für die Antwort. Die Antwort nähert sich so dem an, was die Wissensdatenbank bereits enthält, statt allein von der statistischen Erinnerung des Modells abzuhängen [34].

Typische Dokumentenquellen. Der Umfang wird vom Unternehmen festgelegt. Ein Dienstleister nennt als Quellen das Intranet, interne Referenzen, HR-Richtlinien und Qualitätsleitfäden [15]. Jede Antwort stützt sich dann auf eine vorab definierte Basis [15].

Ein Beispiel für eine schnelle Antwort aus einem Handbuch

Ein Dienstleister beschreibt das erwartete Ergebnis so: Die Mitarbeitenden stellen dem Chatbot ihre Frage und erhalten die Antwort in 30 Sekunden, auf Basis eines aktuellen Handbuchs [8]. Diese Zeitangabe ist ein kommerzielles Versprechen, keine unabhängige Messung. Das Beispiel zeigt vor allem die grundlegende Bedingung: Die Antwort ist nur nützlich, wenn das Quelldokument aktuell ist.

Diese Anwendungsfälle erfordern nicht dieselben Korpora. Verträge, Produkt-FAQ und HR-Richtlinien haben weder dieselbe Struktur, noch dieselben Zugriffsrechte, noch denselben Aktualisierungsrhythmus, was die Vorbereitung der Quellen unmittelbar beeinflusst.

Was entscheidet über den Erfolg eines RAG-Projekts?

Der Erfolg eines RAG-Projekts hängt weniger vom Sprachmodell ab als von der Qualität der Dokumente, den Zugriffsrechten und der Evaluation [13]. Diese Feststellung stammt von einem kommerziellen Akteur, doch auch der offizielle Leitfaden und die übrigen Quellen des Dossiers verorten den Schwerpunkt in den Dokumenten und Nutzungen statt in der Wahl des Modells.

Die Quellen vor dem Anschluss der KI vorbereiten

Die Vorbereitung der Quellen gehört zu den Schritten, die in einem RAG-Projekt ausdrücklich behandelt werden müssen [10]. Der Mechanismus erklärt warum: Die abgerufenen Passagen werden zusammen mit der Frage an das Modell übergeben, in einem Prompt, der es auffordert, nur auf Basis dieser Auszüge zu antworten und seine Quellen zu nennen [31]. Der ganze Einsatz liegt also in der Qualität jedes der vier Schritte des Prozesses. Eine schlechte Zerlegung oder eine ungenaue Abfrage verschlechtern das Ergebnis [31].

Zugriffsrechte festlegen

Die Zugriffsrechte gehören zu den drei genannten Erfolgsfaktoren [13]. Die Quellen des Dossiers beschreiben ihre technische Umsetzung nicht im Detail. Es ist Aufgabe der IT-Leitung (CIO), vor dem Rollout festzulegen, wer welche Dokumente abfragen darf.

Evaluieren und Zitate überprüfen

Die Evaluation ist der dritte genannte Faktor [13], und die Überprüfung der Zitate ist ein eigenständiger Schritt [10]. Eine belegte Antwort ist deshalb nicht automatisch richtig: Der Link zur zitierten Passage dient dazu, die Antwort zu kontrollieren, nicht dazu, auf die Kontrolle zu verzichten. Das Dossier beschreibt keine genaue Evaluationsmethode.

Die Teams in Werkzeug und Prompt Engineering schulen

Der im November 2024 von entreprises.gouv.fr veröffentlichte Leitfaden zur retrieval-gestützten Textgenerierung empfiehlt eine Qualifizierung der Teams im Umgang mit KI [2]. Diese Maßnahme umfasst zwei Teile, darunter die Schulung im Umgang mit dem Werkzeug, insbesondere im Prompt Engineering, also darin, wie Anfragen an das RAG-System formuliert werden [2].

Was kostet ein RAG im Unternehmen, und wie fängt man an?

Laut einem Dienstleister kostet ein RAG im Unternehmen 10.000 bis 50.000 € für die Einrichtung und danach 1.000 bis 3.000 € pro Monat für den Betrieb [13]. Diese Zahlen stammen von einem kommerziellen Akteur, der sie auf französische Barometer stützt [13]. Sie geben eine Größenordnung an, keinen Referenzpreis: Das Dossier enthält diese Barometer nicht, und der genaue Umfang, den diese Beträge abdecken, wird dort nicht erläutert.

Dieselbe Quelle besagt, dass der Erfolg weniger vom Modell abhängt als von der Qualität der Dokumente, den Zugriffsrechten und der Evaluation [13]. Das Budget sollte daher auf diese Baustellen ausgerichtet sein und nicht nur auf die Technologie.

Ohne großes Budget starten

Ein erstes einfaches RAG kann mit einer Handvoll Dokumenten starten, dank Werkzeugen wie NotebookLM oder ChatGPT [11]. Dieser Schritt erlaubt es, den Ansatz auf einem eng begrenzten Umfang zu testen, bevor man eine Investition in der Größenordnung der oben genannten Beträge tätigt.

Damit dieser erste Versuch aussagekräftig ist:

• Ein begrenztes, überschaubares Korpus wählen: einige Dokumente, deren Inhalt Sie kennen, damit Sie eine falsche Antwort leicht erkennen.
• Die Quellen vorbereiten und die Zitate überprüfen: zwei methodische Punkte, die die Fachliteratur hervorhebt [10].
• Die künftigen Nutzenden einbeziehen: Der Leitfaden der französischen Generaldirektion für Unternehmen empfiehlt eine Qualifizierung, zu der die Schulung im Werkzeug und im Prompt Engineering gehört, also in der Formulierung der Anfragen [2].

Dieser Test sagt nichts Abschließendes über die Skalierung aus. Die Punkte, die laut der kommerziellen Quelle über den Erfolg entscheiden (Zugriffsrechte, Evaluation) [13], werden durch einen einfachen Versuch mit wenigen Dateien nicht gelöst. Sie sind vor jedem breiteren Rollout zu prüfen.

Wie erstellt man mit Oupi eine von der KI abfragbare Wissensdatenbank?

Oupi ermöglicht es, von der KI abfragbare Wissensdatenbanken aufzubauen. Das entspricht dem oben beschriebenen Prinzip: Die KI stützt sich auf ein von der Organisation definiertes Dokumentenkorpus, statt aus dem Gedächtnis zu antworten.

Das Prinzip: eine Dokumentenbasis, die die KI vor der Antwort konsultiert

Eine Wissensdatenbank ist im RAG-Ansatz die Gesamtheit der Dokumente, die das Unternehmen für relevant hält: FAQ, Produktdatenblätter, Intranet, interne Referenzen, HR-Richtlinien, Qualitätsleitfäden [24][15]. Der Assistent sucht zuerst die relevanten Informationen in dieser Dokumentenbasis und formuliert dann seine Antwort [24]. Die Antwort nähert sich so dem an, was bereits in der Basis steht, statt allein von der statistischen Erinnerung des Modells abzuhängen [34].

Genau dieses Prinzip stellt Oupi bereit: Dokumente zu einer Wissensdatenbank zusammenführen und sie anschließend per KI abfragen. Die Seiten Chat mit Ihren Dokumenten und Unternehmen der Website stellen das Angebot vor. Dieser Abschnitt beschreibt weder dessen Funktionen noch dessen Bedingungen im Detail.

Was unabhängig vom Werkzeug entscheidend bleibt

Die Wahl einer Plattform befreit nicht von der Arbeit, die in den vorangegangenen Abschnitten beschrieben ist. Die Quellen stimmen in einigen Wachsamkeitspunkten überein:

• Der Inhalt des Korpus: Der Erfolg hängt weniger vom Modell ab als von der Dokumentenqualität, den Zugriffsrechten und der Evaluation [13]. Ein Dienstleister formuliert denselben Gedanken: Alles entscheidet sich in den Dokumenten [18].
• Die Vorbereitung der Quellen: Sie müssen vorbereitet, die Zitate überprüft und die Grenzfälle behandelt werden [10].
• Die Qualität der Verarbeitungskette: Eine schlechte Zerlegung oder eine ungenaue Abfrage verschlechtern das Ergebnis [31].
• Die Begleitung der Teams: Der Leitfaden der französischen Verwaltung zu RAG empfiehlt eine Qualifizierung mit Schulung im Werkzeug und im Prompt Engineering, also in der Formulierung der Anfragen [2].

Für einen ersten Umfang ist es am sichersten, mit einem begrenzten, überschaubaren Korpus zu beginnen. Einige Quellen sprechen von einem ersten einfachen RAG, aufgebaut auf einer Handvoll Dokumenten [11]. Anschließend prüft man, ob die Antworten tatsächlich die erwarteten Passagen zitieren, bevor man die Basis erweitert.