Human in the Loop KI: Die Kontrolle über eine handelnde KI behalten

Was bedeutet „Human in the Loop“ für eine KI, die handelt?

Human in the Loop (HITL, „der Mensch in der Schleife“) bezeichnet einen Ansatz der KI, bei dem ein Mensch an entscheidenden Punkten in die Funktionsweise eines automatisierten Systems eingreift [4]. Bei einem KI-Agenten bedeutet das, einen oder mehrere Punkte menschlicher Validierung in seinen Ablauf einzubauen, bevor eine Aktion ausgeführt oder veröffentlicht wird [16].

Das Prinzip für einen Agenten: Er schlägt vor, der Mensch validiert

Der Agent bereitet die Arbeit vor, schlägt eine Entscheidung vor und wartet dann auf eine Validierung [16]. Die Regel lässt sich so zusammenfassen: „Der Agent schlägt vor, der Mensch validiert“, vor allem bei Aktionen mit großer Tragweite [28]. Der menschliche Eingriff kann vorgelagert erfolgen, um Parameter zu validieren, oder nachgelagert, um Ergebnisse zu kontrollieren. Diese Architektur steht vollständig autonomen Systemen gegenüber [25].

Eine zweite Bedeutung, im Zusammenhang mit dem Lernen

Der Begriff hat auch eine andere Verwendung, die sich auf das Training von Modellen konzentriert:

• Menschen wirken aktiv am Training von KI-Systemen mit [5];
• zwischen Menschen und KI entsteht eine kontinuierliche, iterative Rückkopplungsschleife [6];
• menschliche Expertise wird an entscheidenden Stellen des Lebenszyklus des Modells eingebunden [14].

Dieser Artikel behandelt die erste Bedeutung, also die Kontrolle der Aktionen eines Agenten, nicht die Verbesserung der Modelle.

Das Ziel: automatisieren, ohne Urteilsvermögen zu verlieren

HITL zielt auf die Effizienz der Automatisierung ab, ohne Präzision, Nuancierung und Argumentation zu opfern [10]. Die Automatisierung bleibt also das Ziel. Der Mensch wird dort platziert, wo sein Urteil das Ergebnis verändert, und nicht bei jedem einzelnen Schritt.

Worin unterscheiden sich Human in the Loop, Human on the Loop und Human out of the Loop?

Die drei Begriffe bezeichnen drei Aufsichtsstufen, je nachdem, zu welchem Zeitpunkt der Mensch eingreift: vor jeder Aktion, oberhalb einer Schwelle oder nie in Echtzeit.

Was jede Stufe verändert

Bei HITL ist der Mensch Teil des Entscheidungsprozesses. Diese Architektur steht vollständig autonomen Systemen gegenüber [25]. Der Begriff wird manchmal weiter gefasst: ein Mensch, der an „entscheidenden Punkten“ des Betriebs eines automatisierten Systems eingreift [4]. Die Definitionen stellen also nicht alle dieselben Anforderungen.

Bei HOTL führt der Agent seinen vollständigen Zyklus unabhängig aus, während ein Mensch ihn beaufsichtigt [30]. Der Mensch ist nicht mehr ein zwingend vorgesehener Durchgang: Er greift ein, wenn eine Schwelle überschritten wird.

Bei HOOTL kann niemand den Agenten korrigieren, während er handelt [27].

Eine Einteilung aus der Praxis, keine Norm

Diese Typologie stammt aus Webquellen, insbesondere aus einem Artikel zur Ingenieurspraxis agentischer Systeme [27] und einem Vergleich von Kontrollstufen [30]. Keine Quelle im Dossier ordnet sie einer Norm oder einem rechtlichen Text zu. Sie dient als Leitfaden zur Einordnung, nicht als offizielle Klassifikation. Die Schwellenwerte, vordefinierten Grenzen und Kontrollpunkte muss jede Organisation selbst festlegen.

Welche Aktionen eines KI-Agenten muss ein Mensch validieren?

Aktionen mit großer Tragweite sollte ein Mensch validieren, den Rest kann der Agent allein bearbeiten. Die Grundregel lautet: „Der Agent schlägt vor, der Mensch validiert“, vor allem bei Aktionen mit großer Tragweite [28]. Der Einsatz ist konkret, denn ein moderner Agent kann Dutzende autonomer Aktionen hintereinander ausführen: API-Aufrufe tätigen, Dateien ändern, E-Mails versenden, mit Datenbanken interagieren [23]. Ziel ist es, die Autonomie dort zu maximieren, wo sie sicher ist, und die menschliche Kontrolle dort aufrechtzuerhalten, wo sie nötig ist [23].

Vier Fälle systematischer Validierung

Ein Entscheidungsraster von Hadrien.ai, einer Praxisquelle und kein amtlicher Text, nennt vier Fälle, in denen ein Mensch jeden Schritt validieren sollte [24]:

• Einkäufe;
• externe Kommunikation;
• unumkehrbare Änderungen;
• Sicherheit.

Dasselbe Raster benennt sechs weitere Fälle, in denen der Agent allein arbeiten kann [24].

Ein Validierungsniveau, das der bestehenden Delegation entspricht

Das Validierungsniveau folgt der Delegation, die im Unternehmen bereits gilt. Eine Ausgabe, die vor Ankunft des Agenten die Zustimmung einer Führungskraft benötigte, benötigt sie weiterhin: Der Agent verändert die Geschwindigkeit der Ausführung, nicht die Verteilung der Befugnisse [33]. Es braucht also keine neue Berechtigungsmatrix. Es genügt, die bestehende Matrix für Mitarbeiter auch auf den Agenten anzuwenden.

Beispiel aus der Softwareentwicklung

Im Code beschleunigt die KI-gestützte Prüfung den ersten Durchgang, während der Mensch die Verantwortung für Authentifizierung und Zahlung behält [22]. Die KI bewältigt das Volumen, der Mensch entscheidet dort, wo ein Fehler teuer wird.

Zwischen den eindeutigen Fällen bleibt ein Bereich, in dem jeweils einzeln entschieden wird. Dort entscheidet sich, was man der Maschine überlässt und was man selbst behält [20].

Ist menschliche Kontrolle von KI in Europa eine gesetzliche Pflicht?

Ja, aber nur für KI-Systeme mit hohem Risiko. Human in the Loop entspricht der menschlichen Aufsicht im Sinne von Artikel 14 der europäischen KI-Verordnung (KI-VO), die für diese Systeme verpflichtend ist [8][18]. Für andere Anwendungen belegt keine Quelle im Dossier eine gleichwertige gesetzliche Pflicht.

Was unter das Gesetz fällt und was nicht

Der Kommentator vertritt die Ansicht, dass sich die regulatorische Pflicht, die speziell für Hochrisiko-Systeme gilt, zu einer ethischen Regel für alle Anwendungen gewandelt hat, auch für solche mit minimalem Risiko [18]. Diese Lesart kann eine interne Governance-Politik leiten. Sie begründet jedoch keine rechtliche Pflicht für Systeme, die kein hohes Risiko darstellen.

Punkte der Vorsicht

• Das Dossier gibt den Wortlaut der Verordnung nicht wieder. Es erlaubt daher nicht, den Inhalt von Artikel 14 im Einzelnen darzustellen oder zu sagen, welche Systeme als „hochriskant“ gelten.
• Die Quellen 8 und 18 sind zwei Veröffentlichungen desselben Textes, nicht zwei unabhängige Stellungnahmen.
• Das NIST AI RMF wird in einem Praxisleitfaden als Referenzrahmen dargestellt [24]. Das Dossier klärt nicht, welche rechtliche Tragweite es hat.

Vor dem Einsatz eines Agenten sollte man daher mit der Rechtsabteilung prüfen, ob der Anwendungsfall unter das hohe Risiko fällt. Falls ja, ist menschliche Kontrolle eine gesetzliche Anforderung. Falls nicht, bleibt sie eine Governance-Entscheidung.

Welche Grenzen hat die menschliche Validierung?

Die Anwesenheit eines Menschen in der Schleife garantiert keine wirksame Kontrolle: Entscheidend ist, wie viele Entscheidungen zur Validierung anstehen und wie die Organisation sie gestaltet hat.

Ein Modell mit begrenztem Gültigkeitsbereich. Das Prinzip besteht darin, die Maschine vorschlagen zu lassen und dann einen Menschen validieren zu lassen. Laut dem Blog von Renaud Joly funktioniert es, wenn die Entscheidungen wenige sind und klar erkennbar sind [36]. Darüber hinaus wird die Validierung zum Engpass, und derselbe Autor sieht darin die Bremse der KI [36].

Ein verdecktes Organisationsproblem. Laut IT Social wissen Unternehmen, die Agenten einsetzen, dass das Problem organisatorischer Natur ist, und greifen mangels einer Formel auf den Menschen in der Schleife zurück [35]. Das Prinzip beruhigt, weil es den Eindruck erweckt, dass ein an jeder sensiblen Stelle platzierter Validierer ausreicht, um die Autonomie eines Agenten zu begrenzen [35]. Der Titel des Artikels spricht vom „Werkzeug der Armen“ [35].

Eine trügerische Sicherheit. NXstep, ein kommerzieller Akteur, stellt fest, dass der Satz „Ein Mensch validiert, also ist das Risiko abgedeckt“ in den meisten Sicherheitsausschüssen die Debatte über die Autonomie von Agenten beendet [37]. Der Beitrag behauptet, Modelle hätten gelernt, diese Schutzmaßnahme zu umgehen [37]. Diese These stammt von einem Dienstleister, nicht aus einer unabhängigen Studie. In einem Reddit-Thread urteilt zudem ein nicht überprüfter Erfahrungsbericht, die Idee gleiche eher einer Formel als einer Realität [11].

Ein Ansatz: Aufsicht als Prüfung. Laut nouvelles-technologies.net kann Aufsicht zu einem Mechanismus der Prüfung in Echtzeit werden, und nicht nur zu einer reaktiven Schutzmaßnahme [34]. Derselbe Text stellt einem messbaren Sicherheitsniveau die bloßen Marketingversprechen gegenüber [34].

Für einen CIO lautet die nützliche Frage also nicht „Validiert ein Mensch?“, sondern „Wie viele Entscheidungen legen wir ihm vor, welche sind es, und wie messen wir die Qualität seiner Kontrolle?“.

Wie setzt Oupi die menschliche Validierung in der Praxis um?

Oupi wendet das Prinzip „Der Agent schlägt vor, der Mensch validiert“ an: Die Plattform verlangt vor sensiblen Aktionen eine Validierung und kann dem Nutzer während einer Mission Fragen stellen.

Dieses Prinzip besteht darin, menschliche Validierungspunkte in den Ablauf eines KI-Agenten einzubauen, bevor eine Aktion ausgeführt oder veröffentlicht wird. Der Agent bereitet die Arbeit vor, schlägt eine Entscheidung vor und wartet dann auf eine Validierung [16]. Diese Regel gilt vor allem für Aktionen mit großer Tragweite [28]. Die beiden Verhaltensweisen von Oupi lassen sich darauf zurückführen:

• Validierung vor sensiblen Aktionen: Der Agent führt nichts allein aus, was den Nutzer bindet. Er legt die Aktion vor, und der Mensch entscheidet, ob sie fortgesetzt wird.
• Fragen während der Mission: Fehlt eine Information oder liegt eine Wahl beim Nutzer, kann Oupi ihn während der Mission befragen, statt auf einer Annahme weiterzuarbeiten.

Beide Mechanismen platzieren den Menschen zu bestimmten Zeitpunkten im Ablauf. Keine dieser Interventionen erfolgt systematisch bei jedem Schritt: Die Validierung betrifft die sensiblen Aktionen, was der oben beschriebenen Logik der gezielten Ansprache entspricht.

Diese Darstellung beschränkt sich auf das angekündigte Verhalten. Sie sagt nichts über die Qualität der Vorschläge des Agenten aus und auch nicht darüber, wie eine Organisation festlegen sollte, was sie als „sensibel“ betrachtet. Diese Festlegung bleibt eine Governance-Entscheidung, die entsprechend den Delegationen und Risiken jedes Unternehmens zu treffen ist.