KI-Generative und DSGVO: Praxisleitfaden für DSB, CIOs und Juristen

Gilt die DSGVO für generative KI, und kann ein Modell sich ihr entziehen?

Die DSGVO gilt, sobald ein KI-System personenbezogene Daten erhebt oder verwendet. Die CNIL formuliert es so: Wie jede Verarbeitung müssen die Erhebung und Nutzung von Daten über ein KI-System die DSGVO und die Rechte der betroffenen Personen achten [2]. Das gilt für Trainingsdaten ebenso wie für Daten, die Nutzer eingeben. Eine inoffizielle Webquelle drückt dasselbe aus, zur Veranschaulichung [21].

Was unter „generativer KI“ zu verstehen ist

Die CNIL bezeichnet als „generative KI“ Systeme, die Inhalte erzeugen können, zum Beispiel Text [7]. Sie unterscheidet schematisch drei Aufgabenkategorien, darunter die Erzeugung von Inhalten auf Grundlage einer allgemeinen Anweisung [3].

Kann ein Modell der DSGVO entgehen?

Ja, in bestimmten Fällen, doch dies ist nachzuweisen und nicht zu vermuten. Die CNIL unterscheidet zwei Situationen:

• Anonymes Modell: Manche KI-Modelle sind anonym und müssen die DSGVO nicht anwenden [1].
• Modell, das Daten speichert: Andere, etwa Sprachmodelle (LLM), können unter die DSGVO fallen [1]. Dies ist der Fall, wenn sie personenbezogene Daten aus ihrem Training speichern [6].

Der Status eines Modells steht also nicht von vornherein fest. Er erfordert eine Einzelfallprüfung, die die CNIL in einem eigenen Praxismerkblatt erläutert [6]. Außerdem empfiehlt sie, die Trainingsdaten zu anonymisieren oder sicherzustellen, dass das Modell anonym ist [10].

Folgen für den Verantwortlichen

Ein als anonym geltendes Modell befreit nicht von der Pflicht, seine Einstufung zu begründen. Jeder Verantwortliche muss die Konformität seiner Verarbeitungen angemessen dokumentieren, etwa in einer Datenschutz-Folgenabschätzung [9].

Dieser Text erläutert die Empfehlungen der CNIL. Er ersetzt nicht die Beurteilung der Konformität, die dem Unternehmen und seinen Beratern obliegt.

Welche Rechtsgrundlage und welchen Zweck soll man für jeden Anwendungsfall wählen?

Jedes KI-System, das personenbezogene Daten verarbeitet, muss auf einer Rechtsgrundlage beruhen. Laut CNIL „darf es nur eingesetzt werden, wenn es durch eine gesetzlich vorgesehene Rechtfertigung gedeckt ist“, und die DSGVO sieht sechs solcher Grundlagen vor [5]:

• die Einwilligung;
• die Erfüllung einer rechtlichen Verpflichtung;
• die Erfüllung eines Vertrags;
• die Wahrnehmung einer Aufgabe im öffentlichen Interesse;
• der Schutz lebenswichtiger Interessen;
• die Wahrung berechtigter Interessen.

Zuerst der Zweck, dann die Rechtsgrundlage

Der Zweck ist das „Warum“ der Verarbeitung, und er bestimmt die passende Rechtsgrundlage. Die CNIL bestätigt, dass KI mit der DSGVO vereinbar ist, sofern bestimmte Bedingungen eingehalten und bestimmte rote Linien nicht überschritten werden. Der Grundsatz der Zweckbindung gehört zu diesen Bedingungen [11]. Daher sind für jeden Anwendungsfall ein Zweck und eine Rechtsgrundlage festzulegen, nicht eine einzige für „die KI“ im Allgemeinen. Eine Inhaltszusammenfassung, die Unterstützung beim Verfassen von Kundenantworten und die Vorauswahl von Bewerbungen haben weder dieselben Zwecke noch dieselben Risiken.

Beispiel: ein Kundenname oder ein Vertrag im Prompt

Einen Kundennamen, eine Personalakte oder einen Vertrag in einen Prompt zu kopieren bedeutet, diese Daten an einen Anbieter zu übermitteln. Das ist eine Verarbeitung, die einen Zweck und eine Rechtsgrundlage erfordert [30]. Dieses Beispiel stammt von einer Schulungswebsite, also einer inoffiziellen Quelle: Es veranschaulicht die Argumentation, ist aber kein Text der CNIL. Es deckt sich allerdings mit dem Ansatz, die Verarbeitungen in jeder Phase zu identifizieren: Prompts, Dokumente, Training und Antworten [15].

Oupi wird in Frankreich konzipiert, entwickelt und gehostet (mehr erfahren). Das legt die Rechtsgrundlage nicht an Stelle der Organisation fest: Die Beurteilung der Konformität bleibt Sache des Unternehmens und seiner Berater.

Welche Daten darf man an ein generatives KI-Tool senden?

Der Grundsatz der Datenminimierung legt die Regel fest: An ein generatives KI-Tool dürfen nur personenbezogene Daten gesendet werden, die für den verfolgten Zweck unbedingt erforderlich sind. Die DSGVO verlangt, dass erhobene Daten „angemessen, erheblich und auf das für die Zwecke der Verarbeitung notwendige Maß beschränkt“ sind [23]. In der Praxis ist die Nutzung weder verboten noch uneingeschränkt erlaubt: Sie ist möglich, sofern nicht mehr als nötig übermittelt wird und bekannt ist, wohin die Daten gelangen [24]. Diese Formulierung stammt von einem kommerziellen Akteur, gibt aber den Grundsatz der Datenminimierung wieder.

Die vor jeder Nutzung zu kartierenden Datenflüsse

Vor jeder Nutzung sind die in jeder Phase des Zyklus verarbeiteten Daten zu ermitteln [15][18]:

• die Prompts: was die Nutzer eingeben;
• die Dokumente: Dateien, die dem Tool beigefügt oder mit ihm verbunden sind;
• das Training: die etwaige Wiederverwendung von Daten zur Verbesserung des Modells;
• die Antworten: eine falsche Information über eine Person kann ebenfalls ein personenbezogenes Datum sein [15].

Diese Kartierung hilft außerdem, die Zuständigkeiten und die vorzusehenden Garantien festzulegen [18].

Was die CNIL empfiehlt

In ihren Empfehlungen zur Entwicklung von KI-Systemen rät die CNIL, soweit möglich, zu allgemeinen Regeln zur Erkennung und Pseudonymisierung personenbezogener Daten statt zu einer Negativliste [10]. Sie empfiehlt zudem, Trainingsdaten zu anonymisieren oder sicherzustellen, dass das Modell anonym ist [10]. Diese Empfehlungen betreffen die Entwicklung von KI-Systemen. Ihre Anwendung auf die Prompts und Dokumente der Nutzer ist eine vorsorgliche Übertragung, keine von der CNIL formulierte Anforderung.

Die Wahl eines in Frankreich konzipierten, entwickelten und gehosteten Tools wie Oupi befreit nicht von diesem Vorgehen: Die Datenminimierung bleibt vom Unternehmen mit seinen Beratern zu beurteilen.

Was ist beim Anbieter zu prüfen, insbesondere bei Übermittlungen außerhalb der Europäischen Union?

Die CNIL legt die Prüfung des Anbieters dem Nutzer oder Integrator auf. Laut ihren Fragen und Antworten zur generativen KI obliegt es demjenigen, der ein generatives KI-System einsetzt, den Anbieter nach der DSGVO-Konformität dieses Systems zu fragen, da die meisten auf Basis personenbezogener Daten konfiguriert wurden [3]. Dieses Vorgehen folgt dem Rechenschaftsprinzip: Dass der Anbieter seine Konformität behauptet, befreit das Unternehmen nicht von der Prüfung.

Ein Anbieter mit Sitz außerhalb der Europäischen Union erfordert eine abgesicherte Datenübermittlung. Übermittelt ein Mitarbeiter personenbezogene Daten an ein Tool, dessen Anbieter außerhalb der EU ansässig ist, muss diese Übermittlung die strengen Bedingungen der Artikel 44 ff. DSGVO einhalten [20]. Diese Quelle stammt von einer Anwaltskanzlei, nicht von einer Behörde: Sie dient hier als Anhaltspunkt, maßgeblich bleibt der Wortlaut der Verordnung.

Die Punkte, die der Anbieter schriftlich klären sollte, ergeben sich unmittelbar aus diesem Rahmen:

• der Sitz des Anbieters und der seiner etwaigen Unterauftragnehmer;
• der Speicherort der eingegebenen Daten (Prompts, Dokumente);
• das Vorliegen einer Übermittlung außerhalb der EU und gegebenenfalls das Instrument, das sie absichert;
• die Antworten des Anbieters zur DSGVO-Konformität seines Systems [3].

Ort der Konzeption und des Hostings gehören zu den zu prüfenden Elementen. Oupi wird in Frankreich konzipiert, entwickelt und gehostet. Für eine Organisation, die diese Prüfung durchführt, kann das die Analyse der Übermittlungsfrage vereinfachen, da der Hosting-Standort ein zu prüfendes Kriterium ist. Das bedeutet jedoch keine automatische Konformität: Die Beurteilung bleibt Sache des Unternehmens und seiner Berater, bezogen auf die eigenen Nutzungen, Zwecke und erhaltenen vertraglichen Garantien.

Ist eine Datenschutz-Folgenabschätzung (DSFA) erforderlich, und wie dokumentiert man die Verarbeitung?

Jeder Verantwortliche muss die Konformität seiner Verarbeitungen dokumentieren, und die DSFA (Datenschutz-Folgenabschätzung) ist eine mögliche Grundlage dafür. Die CNIL stellt diese Anforderung im Rahmen des Rechenschaftsprinzips: Die Dokumentation muss „angemessen“ sein, „zum Beispiel in einer Datenschutz-Folgenabschätzung“ [9]. Diese Formulierung findet sich in ihrem Merkblatt zur Analyse des Status eines KI-Modells. Die DSFA kann also auch diese Analyse festhalten: Speichert das Modell personenbezogene Daten aus seinem Training, fällt es unter die DSGVO [6][9]?

Wann ist eine DSFA erforderlich?

Eine kommerzielle Quelle behauptet, die CNIL wende eine praktische Regel an: Eine Verarbeitung, die mindestens zwei Kriterien erfüllt, gelte als DSFA-pflichtig [31]. Diese Regel kumulativer Kriterien ist hier nicht durch eine Primärquelle belegt. Die Kriterienlisten und die Schwelle der Pflicht sind in den Texten der CNIL und des Europäischen Datenschutzausschusses (EDSA) zu prüfen, die nicht in unserem Dossier enthalten sind. Wir entscheiden daher die Frage der Pflicht für einen konkreten Anwendungsfall nicht.

Die Verarbeitung im Verzeichnis dokumentieren

Ob eine DSFA erforderlich ist oder nicht, die Verarbeitung muss im Verzeichnis der Verarbeitungstätigkeiten erfasst werden. Laut kommerziellen Quellen sind dort Zweck und Rechtsgrundlage zu dokumentieren [28]; zudem stellt der Einsatz generativer KI-Systeme eine Verarbeitung personenbezogener Daten dar, sobald solche Daten verarbeitet werden [33].

Für einen konkreten Anwendungsfall lassen sich festhalten:

• der Zweck und die gewählte Rechtsgrundlage;
• die verarbeiteten Daten, etwa die in Prompts eingegebenen;
• die Analyse des Modellstatus, sofern sie durchgeführt wurde [9].

Die Beurteilung der Konformität obliegt dem Unternehmen und seinen Beratern.

Wie lassen sich DSGVO, KI-Verordnung und neue Anwendungen wie agentische KI miteinander verbinden?

Die DSGVO allein reicht nicht aus, um KI zu regeln, da sie ein allgemeines Datenschutzgesetz ist; die KI-Verordnung (AI Act) ergänzt sie. Laut der französischen Agentur für den Zusammenhalt der Gebiete (Agence nationale de la cohésion des territoires) wirft künstliche Intelligenz Fragen auf, die die DSGVO allein nicht ausreichend abdeckt [4].

Zwei Texte mit unterschiedlichem Gegenstand

Für einen Datenschutzbeauftragten, einen IT-Leiter oder einen Juristen ist daher auf zwei Ebenen zu argumentieren:

• Die DSGVO gilt, sobald personenbezogene Daten verarbeitet werden. Die CNIL erinnert daran: Die Erhebung und Nutzung von Daten über ein KI-System müssen die DSGVO und die Rechte der betroffenen Personen achten [2].
• Die KI-Verordnung behandelt Herausforderungen, die spezifisch für KI sind und die die DSGVO nicht ausreichend abdeckt [4].

Die Pflichten des einen Textes ersetzen nicht die des anderen. Das Quellendossier erlaubt es nicht, einen Anwendungszeitplan der KI-Verordnung anhand eines amtlichen Textes zu bestätigen. Wir nennen daher keinen Termin: Bitte prüfen Sie die Fristen unmittelbar im Wortlaut der Verordnung.

Agentische KI, ein Thema für die Zukunft

Agentische KI wirft neue Fragen für den Datenschutz auf. Die CNIL und das CIANum (Conseil de l'IA et du Numérique, Rat für KI und Digitales) haben gemeinsam die Herausforderungen untersucht, die sie aufwirft [8]. Diese Veröffentlichung ist zu verfolgen, wenn Sie erwägen, Agenten Aufgaben mit personenbezogenen Daten anzuvertrauen. Sie ersetzt zum jetzigen Zeitpunkt jedoch nicht die Analyse jeder Verarbeitung: Zweck, Rechtsgrundlage und Dokumentation sind weiterhin festzulegen.

Was das für das Hosting in Frankreich bedeutet

Oupi wird in Frankreich konzipiert, entwickelt und gehostet. Das präzisiert den Rahmen, in dem die Daten verarbeitet werden, begründet aber keine automatische Konformität: Diese ist für jeden Anwendungsfall einzeln nachzuweisen.

Dieser Artikel erläutert öffentliche Texte und Empfehlungen. Er stellt keine Rechtsberatung dar. Die Beurteilung der Konformität obliegt dem Unternehmen als Verantwortlichem für seine Verarbeitungen und seinen Beratern.