Human in the loop IA : garder la main sur une IA qui agit Wait, the system asks to translate to Espanol. The text is French; translate to Spanish. Human in the loop IA: mantener el control sobre una IA que actúa

Qué significa « human in the loop » para una IA que actúa?

El human in the loop (HITL, «el humano en el bucle») designa un enfoque de la IA en el que un humano interviene en momentos clave del funcionamiento de un sistema automatizado [4]. Aplicado a un agente de IA, consiste en insertar uno o varios puntos de validación humana en su desarrollo, antes de que una acción se ejecute o publique [16].

El principio para un agente: propone, el humano valida

El agente prepara el trabajo y propone una decisión, y luego espera una validación [16]. La regla se resume así: «el agente propone, el humano valida», sobre todo para las acciones de alto impacto [28]. La intervención humana puede situarse aguas arriba, para validar los parámetros, o aguas abajo, para controlar los resultados. Esta arquitectura se opone a los sistemas totalmente autónomos [25].

Un segundo sentido, ligado al aprendizaje

El término también cubre un uso distinto, centrado en el entrenamiento de los modelos:

• humanos participan activamente en el entrenamiento de los sistemas de IA [5];
• se instala un bucle de retroalimentación continuo e iterativo entre humanos e IA [6];
• la experiencia humana se integra en momentos clave del ciclo de vida del modelo [14].

Este artículo trata el primer sentido, el control de las acciones de un agente, no la mejora de los modelos.

El objetivo: automatizar sin perder juicio

El HITL busca la eficacia de la automatización sin sacrificar la precisión, el matiz y el razonamiento [10]. La automatización sigue siendo el objetivo. El humano se sitúa allí donde su juicio cambia el resultado, y no en cada paso.

¿Qué diferencia hay entre human in the loop, on the loop y out of the loop?

Los tres términos designan tres niveles de supervisión, según el momento en que interviene el humano: antes de cada acción, más allá de un umbral, o nunca en tiempo real.

Lo que cambia en cada nivel

En HITL, el humano forma parte del proceso de decisión. Esta arquitectura se opone a los sistemas totalmente autónomos [25]. El término a veces se toma en un sentido más amplio: un humano que interviene «en momentos clave» del funcionamiento de un sistema automatizado [4]. Las definiciones no tienen, pues, todas la misma exigencia.

En HOTL, el agente ejecuta su ciclo completo de forma independiente mientras un humano lo supervisa [30]. El humano ya no es un paso obligado: interviene cuando se cruza un umbral.

En HOOTL, nadie puede corregir al agente mientras actúa [27].

Una clasificación de profesionales, no una norma

Esta tipología procede de fuentes web, en particular un artículo de ingeniería de sistemas agénticos [27] y una comparativa de niveles de control [30]. Ninguna fuente del expediente la vincula a una norma o a un texto reglamentario. Sirve como guía de lectura, no como clasificación oficial. Los umbrales, los límites predefinidos y los puntos de control siguen siendo algo que debe definir cada organización.

¿Qué acciones de un agente de IA deben ser validadas por un humano?

Deben validarlas las acciones de alto impacto, y dejar que el agente trate solo el resto. La regla básica se resume en una fórmula: «el agente propone, el humano valida», sobre todo para las acciones de alto impacto [28]. El reto es concreto, porque un agente moderno puede encadenar decenas de acciones autónomas: llamar a API, modificar archivos, enviar correos electrónicos, interactuar con bases de datos [23]. El objetivo es maximizar la autonomía donde es seguro y mantener el control humano donde es necesario [23].

Cuatro casos de validación sistemática

Una cuadrícula de decisión publicada por Hadrien.ai, fuente de profesional y no texto oficial, identifica cuatro casos en los que el humano debe validar cada paso [24]:

• las compras;
• las comunicaciones externas;
• las modificaciones irreversibles;
• la seguridad.

La misma cuadrícula identifica otros seis casos en los que el agente puede trabajar solo [24].

Un nivel de validación alineado con la delegación existente

El nivel de validación sigue la delegación ya vigente en la empresa. Un gasto que requería la aprobación de un responsable antes de la llegada del agente sigue requiriéndola: el agente cambia la velocidad de ejecución, no el reparto de poderes [33]. No hay, pues, que inventar una nueva matriz de autorizaciones. Basta con aplicar al agente la que ya existe para los colaboradores.

Ejemplo en desarrollo de software

En el código, la revisión por IA acelera la primera pasada, mientras el humano conserva la responsabilidad sobre la autenticación y el pago [22]. La IA absorbe el volumen; el humano decide donde un error cuesta caro.

Entre los casos evidentes queda una zona en la que la decisión se toma caso por caso. Ahí se juega la elección entre lo que se confía a la máquina y lo que se conserva [20].

¿Es el control humano de la IA una obligación legal en Europa?

Sí, pero solo para los sistemas de IA de alto riesgo. El human in the loop corresponde al control humano en el sentido del artículo 14 del Reglamento europeo de IA (RIA), que es una obligación para estos sistemas [8][18]. Para los demás usos, ninguna fuente del expediente establece una obligación legal equivalente.

Lo que es ley y lo que no lo es

El comentarista estima que esta obligación reglamentaria, propia de los sistemas de alto riesgo, se ha «transformado» en regla ética para todos los usos, incluso de riesgo mínimo [18]. Esta lectura puede orientar una política interna de gobernanza. No crea una obligación jurídica para los sistemas que no son de alto riesgo.

Puntos de vigilancia

• El expediente no reproduce el texto del Reglamento. Por tanto, no permite detallar el contenido del artículo 14 ni decir qué sistemas son «de alto riesgo».
• Las fuentes 8 y 18 son dos publicaciones de un mismo texto, no dos opiniones independientes.
• El NIST AI RMF se presenta como marco de referencia en una guía práctica [24]. El expediente no precisa su alcance jurídico.

Antes de desplegar un agente, conviene, pues, verificar con la dirección jurídica si el caso de uso entra en el alto riesgo. Si es así, el control humano es una exigencia legal. Si no, sigue siendo una decisión de gobernanza.

¿Cuáles son los límites de la validación humana?

La presencia de un humano en el bucle no garantiza un control efectivo: todo depende del número de decisiones que haya que validar y de la manera en que la organización las haya diseñado.

Un modelo con un ámbito de validez. El principio consiste en dejar que la máquina proponga y luego pedir a un humano que valide. Según el blog de Renaud Joly, funciona cuando las decisiones son pocas y claramente identificables [36]. Más allá, la validación se convierte en un cuello de botella, y el mismo autor ve en ello el freno de la IA [36].

Un problema de organización oculto. Para IT Social, las empresas que despliegan agentes saben que el problema es de organización y recurren, a falta de una fórmula, al humano en el bucle [35]. El principio tranquiliza, porque da a entender que un validador colocado en cada cruce sensible basta para sostener la autonomía de un agente [35]. El título del artículo habla de «herramienta del pobre» [35].

Un seguro engañoso. NXstep, un actor comercial, señala que la frase «Un humano valida, así que el riesgo está cubierto» pone fin al debate sobre la autonomía de los agentes en la mayoría de los comités de seguridad [37]. El texto sostiene que los modelos han aprendido a eludir esta salvaguarda [37]. Esta tesis es la de un proveedor, no la de un estudio independiente. En un hilo de Reddit, un testimonio no verificado considera por su parte que la idea se parece más a una fórmula que a una realidad [11].

Una pista: la supervisión como auditoría. Según nouvelles-technologies.net, la supervisión puede convertirse en un mecanismo de auditoría en tiempo real, y no solo en una barrera reactiva [34]. El mismo texto opone un nivel de garantía medible a las simples garantías de marketing [34].

Para un director de sistemas, la pregunta útil no es, pues, «¿valida un humano?», sino «¿cuántas decisiones le sometemos, cuáles son y cómo medimos la calidad de su control?».

¿Cómo pone Oupi en práctica la validación humana?

Oupi aplica el principio «el agente propone, el humano valida»: la plataforma pide una validación antes de las acciones sensibles y puede hacer preguntas al usuario durante la misión.

Este principio consiste en insertar puntos de validación humana en el desarrollo de un agente de IA, antes de que una acción se ejecute o publique. El agente prepara el trabajo y propone una decisión, y luego espera una validación [16]. Esta regla vale sobre todo para las acciones de alto impacto [28]. Los dos comportamientos de Oupi se inscriben en ella:

• Validación antes de las acciones sensibles: el agente no ejecuta por sí solo lo que compromete al usuario. Somete la acción, y el humano decide si continúa o no.
• Preguntas durante la misión: cuando falta información o una elección corresponde al usuario, Oupi puede consultarle durante la misión en lugar de seguir con una hipótesis.

Ambos mecanismos sitúan al humano en momentos precisos del desarrollo. Ninguna de estas intervenciones es sistemática en cada paso: la validación se centra en las acciones sensibles, lo que responde a la lógica de focalización descrita más arriba.

Esta presentación se limita al comportamiento anunciado. No dice nada sobre la calidad de las propuestas del agente, ni sobre la forma en que una organización debe definir lo que considera «sensible». Esa definición sigue siendo una decisión de gobernanza, que debe fijarse según las delegaciones y los riesgos propios de cada empresa.