Por qué no basta con una persona dentro del proceso

La supervisión humana no consiste en asignar un rol. Solo adquiere sustancia cuando las personas con la competencia pertinente pueden acceder al contexto que rige la decisión, formar una posición razonada que no esté predeterminada por los resultados del sistema ni por presión jerárquica, comunicarla mediante canales protegidos y trazables, ejercer facultades de intervención acordes con su rol con el respaldo organizacional necesario para hacerlas efectivas y seguir respondiendo dentro de una estructura clara de rendición de cuentas.

​

La sección anterior estableció que los seres humanos no son fiables por defecto. Ese hecho vuelve insostenible un atajo frecuente de gobernanza: colocar a una persona en algún punto de un flujo de trabajo y tratar su presencia como prueba de que la decisión sigue bajo control humano.

​

Una persona puede figurar dentro del proceso y hacer poco más que confirmar una recomendación ya encuadrada por el sistema, la interfaz, el plazo o la estructura de autoridad que rodea la decisión. Puede carecer de la información necesaria para cuestionarla, de la competencia para interpretar sus limitaciones, del tiempo para investigar, del mandato para resistirse o de una vía protegida para escalar la decisión. En esas condiciones, la revisión es ceremonial. La responsabilidad sigue siendo visible; la autoridad, no.

​

La falacia de la presencia

​

La expresión human in the loop describe una posición dentro de un proceso. No establece la calidad del juicio que se ejerce allí. Un punto de control puede ser técnicamente humano y, aun así, no ofrecer una supervisión significativa si quien revisa no puede comprender el sistema, evaluar la situación más allá del encuadre del sistema o modificar lo que sucederá después.

​

Esta distinción ya es visible en los estándares de gobernanza. Para los sistemas de alto riesgo, el artículo 14 del Reglamento de Inteligencia Artificial de la Unión Europea no se limita a exigir la presencia de una persona. Exige medidas de supervisión proporcionales al riesgo, la autonomía y el contexto, y especifica que las personas designadas deben estar facultadas para comprender las capacidades y limitaciones, mantenerse alertas al sesgo de automatización, interpretar los resultados, descartarlos o anularlos e interrumpir el sistema. [1] De forma semejante, el NIST pide roles claros, personas capacitadas y facultadas para actuar, responsabilidades diferenciadas entre personas e IA, rendición de cuentas de la alta dirección y una cultura de pensamiento crítico. [2]

​

Los artículos 14 y 26 distribuyen distintas partes del problema de supervisión. El artículo 14 establece la capacidad de supervisión a nivel del sistema; el artículo 26 impone al responsable del despliegue el deber de asignar esa supervisión a personas físicas con la competencia, la formación, la autoridad y el apoyo necesarios. El considerando 91 vincula la competencia, en particular, con un nivel adecuado de alfabetización en IA. El artículo 26, apartado 3, mantiene las demás obligaciones impuestas de forma independiente al responsable del despliegue por el Derecho de la Unión o el Derecho nacional, y le permite organizar libremente sus recursos y actividades. La forma organizacional conserva flexibilidad; la capacidad sustantiva de supervisión, no. [1]

​

Estas fuentes se aplican en distintas jurisdicciones y tienen diferente fuerza jurídica. No deben confundirse en una definición jurídica universal. Su orientación compartida tiene, no obstante, consecuencias importantes: la supervisión es una condición funcional, no una variable de dotación de personal.

​

Por qué falla la supervisión nominal

 

Las decisiones apoyadas por IA crean un riesgo particular porque una recomendación fluida o preestructurada puede reducir la necesidad percibida de construir una perspectiva independiente. Quien revisa puede examinar la respuesta sin reconstruir el problema. La presencia de una explicación puede aumentar la confianza sin producir una evaluación más profunda.

 

En un experimento con 199 participantes, Buçinca, Malaya y Gajos encontraron que las explicaciones simples no reducían de forma fiable la dependencia excesiva de sugerencias incorrectas de la IA. Los diseños que exigían un esfuerzo cognitivo activo redujeron esa dependencia con mayor eficacia, pero los que mejor funcionaron recibieron las valoraciones menos favorables. [3] La tensión importa: los mecanismos que exigen pensar de forma más activa pueden sentirse menos cómodos que las interfaces que facilitan el acuerdo.

 

La experiencia especializada no elimina el problema. En un estudio con 18 profesionales clínicos, las recomendaciones automatizadas de etiquetas podían apoyar el trabajo, pero las sugerencias completamente rellenadas de antemano llevaron a los participantes a mostrar menos agencia: aceptaron menciones indebidas y tomaron menos iniciativa para agregar las anotaciones que faltaban. [4] Esto no demuestra que la automatización sea perjudicial por naturaleza. Demuestra que la forma en que se presenta la asistencia puede cambiar la calidad de la participación humana.

 

La implicación práctica es precisa. No debería evaluarse a quien revisa solo por si una acción final pasó por manos humanas. La organización debe examinar si la persona formó una posición razonada que no estuviera predeterminada por la recomendación ni por la estructura de autoridad circundante, advirtió lo que la recomendación omitía y conservó la capacidad de cambiar el curso de acción.

 

El contexto debe gobernarse activamente

 

Mi trabajo inicial con la IA hizo visible un límite operativo: la calidad del resultado dependía en gran medida de la calidad y la integridad del contexto que yo aportaba. A medida que mejoró la memoria, disminuyó la necesidad de repetir cada hecho. Sin embargo, el contexto acumulado no garantizaba que el sistema mantuviera las prioridades correctas en el orden correcto conforme evolucionaba el trabajo.

 

Un flujo de trabajo podía conservar la información previa y, aun así, desviarse. Un objetivo anterior, una línea de trabajo atractiva por sí misma o la inercia de seguir generando podían comenzar a dominar la tarea incluso después de que hubiera cambiado la prioridad rectora. La corrección no consistía simplemente en aportar más información. Consistía en restablecer la jerarquía: volver a enunciar la decisión, reordenar las restricciones, identificar lo que ya no importaba y cerrar la línea que ya no contribuía al resultado.

 

Esto no afirma que un sistema de IA tenga motivaciones propias ni que la memoria carezca de valor. Es una observación basada en la práctica sobre la deriva contextual. La información puede estar presente sin estar bien gobernada. Lo mismo ocurre en los equipos humanos: una historia compartida no elimina la necesidad de volver a alinear a las personas cuando cambian el alcance, lo que está en juego o las prioridades.

 

Distinción basada en la práctica. El contexto no es simplemente la cantidad de información disponible. Es la jerarquía vigente de lo que está en juego, las restricciones, las responsabilidades y las consecuencias que deberían regir la decisión.

 

La competencia antes del control

 

La supervisión significativa comienza con la competencia, pero aquí competencia no es una afirmación genérica de inteligencia, antigüedad o rango jerárquico. Es la capacidad específica del rol para comprender el contexto de la decisión, interpretar lo que el sistema puede y no puede establecer y evaluar la recomendación en lugar de limitarse a procesarla.

 

La diferencia es observable. Quien evalúa de verdad pregunta por qué tiene sentido la recomendación, qué no estaba viendo antes el equipo, qué ha cambiado, qué supuestos sostienen la conclusión y qué evidencia la refutaría. Pregunta cómo se medirá el éxito, en qué plazo, a qué escala y con qué consecuencias para otras partes interesadas relacionadas. Quien solo aprueba nominalmente tiende más a centrarse en la tarea inmediata, la rapidez de ejecución o si el resultado parece utilizable ahora.

 

Umbral de evaluación. La pregunta no es si una persona leyó la recomendación. Es si podía reconstruir la decisión, identificar lo que la recomendación deja sin resolver y formar una posición propia defendible.

 

La competencia es, por tanto, inseparable de una confianza calibrada. La persona debe saber cuándo opera el sistema dentro de un alcance validado, cuándo se necesita evidencia adicional y cuándo un cambio de contexto impide trasladar la confianza previa a la nueva situación. La explicación puede ayudar en este trabajo; no puede sustituirlo.

 

La autoridad debe poder ejercerse

 

La competencia sin el derecho a actuar produce un espectador informado. Para ejercer Human Authority, quien revisa necesita más que permiso para observar. El modelo operativo debe hacer que las siguientes acciones estén disponibles y sean legítimas en proporción a lo que está en juego:

 

Facultad de intervención: Cuestionar
Qué hace posible: Cuestionar el objetivo, los supuestos, el encuadre, la pertinencia o el curso propuesto.

 

Facultad de intervención: Solicitar evidencia
Qué hace posible: Obtener el fundamento, las limitaciones, la incertidumbre, la procedencia, las pruebas o la corroboración necesarios para evaluar el resultado.

 

Facultad de intervención: Descartar
Qué hace posible: Rechazar el uso de una recomendación sin ser penalizado por no someterse al criterio del sistema.

 

Facultad de intervención: Modificar
Qué hace posible: Adaptar la recomendación cuando el contexto, las necesidades de las partes interesadas o las restricciones que rigen la decisión exijan un curso diferente.

 

Facultad de intervención: Detener
Qué hace posible: Pausar el sistema o su uso cuando las condiciones se aparten del alcance aprobado o de la tolerancia al riesgo.

 

Facultad de intervención: Escalar
Qué hace posible: Transferir la decisión cuando la autoridad, la evidencia o el conocimiento especializado sean insuficientes en el nivel actual.

 

Facultad de intervención: Documentar
Qué hace posible: Registrar el razonamiento, la intervención, la incertidumbre residual y la vía de rendición de cuentas.

 

No toda persona que revisa necesita ejercer todas las facultades en cada decisión. El punto es que esas facultades deben ser reales, comprenderse, poder ejercerse técnicamente y estar protegidas por la organización. Un control de detención que no puede utilizarse sin represalias no es un control significativo. Una vía de escalamiento que solo existe en el papel no es un mecanismo de gobernanza.

 

La organización sigue dentro del proceso

 

La supervisión puede fallar incluso cuando la persona dispone de conocimiento suficiente. En la práctica, la ambigüedad del mandato es un inhibidor recurrente. Las personas de alto desempeño pueden reconocer un problema y, sin embargo, guardar silencio cuando un superior controla el acceso, el reconocimiento o la comunicación de los resultados. La regla informal es conocida: no amenaces a quien domina la sala. Bajo presión de tiempo, ese cálculo político puede pesar más que el deber formal de cuestionar.

 

Por eso Human Authority no puede reducirse al valor personal. El NIST señala que una gestión eficaz de los riesgos de IA requiere mecanismos organizacionales de rendición de cuentas, roles, cultura y estructuras de incentivos, y que un marco, por sí solo, no puede crearlos. Su apéndice sobre interacción entre personas e IA identifica expresamente la necesidad de estudiar si las personas están facultadas e incentivadas para cuestionar los resultados del sistema. [2]

 

El Reglamento no define de forma exhaustiva el «apoyo necesario». [1] En este artículo, el término identifica las condiciones organizacionales que hacen posible ejercer la supervisión y evitan que sea meramente ceremonial. Según el contexto y el riesgo material, pueden incluir tiempo y atención suficientes, acceso a información pertinente sobre el sistema y sobre lo que rige la decisión, una carga de trabajo manejable, asistencia técnica o especializada, canales protegidos de comunicación y escalamiento, infraestructura de documentación y respaldo institucional para intervenir legítimamente. Esta es una especificación operativa dentro de Human Authority, no una definición legal exhaustiva.

 

La orientación operativa de la Oficina del Comisionado de Información del Reino Unido añade condiciones prácticas: quienes revisan necesitan cualificaciones adecuadas, capacitación, un volumen manejable de casos, independencia y capacidad para influir en las decisiones de la alta dirección; las anulaciones de resultados del sistema y sus motivos deberían registrarse. [5] Esta orientación se encuentra en revisión tras cambios en la legislación del Reino Unido, por lo que aquí se utiliza como referencia operativa, no como una regla jurídica universal.

 

La IA no elimina automáticamente la política organizacional ni produce integridad. Puede abrir una oportunidad para hacer más explícito el razonamiento, más consistentes los criterios y más trazables las intervenciones. Esos mismos sistemas también pueden codificar el poder existente, restringir lo que cuenta como evidencia o hacer que una decisión predeterminada parezca objetiva. La dirección depende del diseño, los incentivos, las facultades de decisión y la capacidad de las personas para impugnar el proceso.

 

La proposición institucional defendible es, por tanto, condicional: los criterios transparentes, los registros conservados, las facultades de cuestionamiento independiente y el escalamiento auditable pueden reducir el espacio en el que una influencia no examinada determina los resultados. La tecnología puede apoyar ese cambio. No puede sustituir las decisiones de gobernanza necesarias para producirlo.

 

Rendición de cuentas sin buscar chivos expiatorios

 

Surge un último peligro cuando se designa formalmente a una persona como salvaguarda humana, pero esta tiene un control limitado sobre el sistema, el despliegue o los incentivos que lo rodean. Madeleine Clare Elish llama a esto moral crumple zone, una zona de absorción de responsabilidad moral: el operador humano más cercano absorbe la responsabilidad cuando, en realidad, la agencia y el control estaban distribuidos en un sistema sociotécnico complejo. [6]

 

Human Authority exige responder por las propias decisiones y actuaciones, pero esa obligación debe corresponder al rol, al conocimiento y al control. No debería convertirse en un mecanismo para trasladar fallas de etapas anteriores a la persona más cercana a la acción final. La responsabilidad en el trabajo asistido por IA debe seguir siendo distribuida y explícita.

 

Rol: Operador
Deber irreductible: Actuar con cuidado, diligencia y excelencia; mantenerse dentro del alcance; cuestionar, documentar y escalar cuando cambien las condiciones.
Límite de la rendición de cuentas: Hacerse responsable de la calidad de la operación y de las intervenciones disponibles para el rol, no de decisiones de diseño ocultas ni de decisiones del patrocinador que el operador no podía controlar.

 

Rol: Patrocinador ejecutivo
Deber irreductible: Definir el uso previsto, la tolerancia al riesgo, las facultades de decisión, los recursos, las medidas de éxito y el escalamiento; tratar la implementación como provisional y monitorear que siga siendo adecuada.
Límite de la rendición de cuentas: Hacerse responsable de la decisión organizacional de autorizar, continuar, modificar o detener el despliegue, y de las consecuencias de una gobernanza inadecuada.

 

Rol: Proveedor o diseñador
Deber irreductible: Comunicar capacidades, limitaciones, uso previsto, riesgos conocidos y evidencia de desempeño; apoyar la respuesta a incidentes y la mejora continua.
Límite de la rendición de cuentas: Responder por las obligaciones de diseño, divulgación de información, pruebas y desempeño que estén bajo el control del proveedor; el contexto del despliegue no elimina la responsabilidad del proveedor, y la contratación no elimina la responsabilidad de quien despliega el sistema.

 

Esta distribución es consistente con la orientación más amplia de los Principios de IA de la OCDE, que vincula la rendición de cuentas con el rol y el contexto, pide trazabilidad a lo largo del ciclo de vida del sistema y respalda mecanismos de intervención que permitan prevalecer sobre el funcionamiento de los sistemas, repararlos o retirarlos de servicio cuando sea necesario. [7] El NIST también destaca que todos los actores pertinentes deben gestionar los riesgos relacionados con lo que diseñan, despliegan o utilizan. [2]

 

El umbral de Human Authority

 

Human Authority adquiere sustancia cuando las personas con la competencia pertinente y el contexto que rige la decisión pueden formar una posición razonada no predeterminada por una recomendación de IA ni por presión jerárquica, comunicarla mediante canales protegidos y trazables y ejercer facultades de intervención acordes con su jurisdicción, con el respaldo organizacional necesario para hacerlas efectivas. Toda persona a la que se asigne un rol con consecuencias relevantes debe poder cuestionar, documentar y escalar sin represalias; las facultades para descartar, modificar, autorizar o detener dependen de la competencia, la jurisdicción y el riesgo material. Los órganos de gobierno deben examinar la evidencia operativa de importancia sustantiva, ofrecer una respuesta razonada, documentar los criterios que rigen la decisión y la decisión final, y asignar la rendición de cuentas de acuerdo con el conocimiento y el control.

 

Principio rector. El acto humano irreductible es gobernar la legitimidad de la acción: determinar y revisar su propósito y sus criterios, ponderar lo que se gana y se sacrifica al elegir entre opciones, y juzgar las excepciones, autorizar o interrumpir la ejecución y seguir respondiendo por sus consecuencias dentro de una estructura transparente de rendición de cuentas.

 

Este umbral no exige revisar manualmente cada acción automatizada. La ejecución debe primero superar un cuestionamiento estructurado, pruebas en condiciones reales, la identificación de excepciones y una asignación clara de facultades de decisión para considerarse suficientemente madura, delimitada, medible y gobernable como para escalar mediante la automatización. El umbral adquiere relevancia material cuando las decisiones distribuyen riesgos significativos, derechos, recursos o responsabilidades, o determinan la dirección estratégica; cuando cambia el contexto; o cuando se espera que una persona asuma las consecuencias en nombre del sistema.

 

Tampoco se afirma que la intervención humana vaya a mejorar todos los resultados. Los seres humanos pueden introducir sesgo, inconsistencia, miedo, protección del estatus y error. El propósito de Human Authority no es presumir superioridad humana. Es asegurar que el uso con consecuencias relevantes siga siendo gobernable: que una persona competente pueda cuestionarlo, que pueda modificarse cuando cambien las condiciones y que se responda por él mediante una estructura explícita de responsabilidad.

 

Límite normativo. El Derecho aplicable es un piso mínimo, no el límite completo de la acción legítima. Donde la regulación se rezaga, puede subsistir un deber de prevenir el daño previsible. El bien común permite el beneficio colectivo sin violar derechos fundamentales, imponer daños desproporcionados a grupos con menos poder ni trasladar consecuencias materiales a personas excluidas de la decisión.

 

La siguiente tarea es definir la categoría misma. Si la presencia humana no garantiza autoridad ni un título la confiere, ¿qué capacidades permiten a una persona mantener el discernimiento y la agencia, seguir siendo legible y rendir cuentas cuando aumenta lo que está en juego? La siguiente sección expone las dimensiones de Human Authority y los límites éticos que la distinguen de la dominación, la certeza o el control como fin en sí mismo.

 

Continuar a la sección 3: Definir Human Authority →

 

Alcance y límites

 

Esta sección no afirma que toda decisión asistida por IA requiera revisión humana manual.

 

No afirma que una persona que revisa sea por naturaleza más precisa, ética o fiable que un sistema de IA.

 

No trata los requisitos para sistemas de alto riesgo del Reglamento de Inteligencia Artificial de la Unión Europea ni la orientación británica sobre protección de datos como una definición jurídica universal de supervisión significativa.

 

No presenta los ejemplos operativos de «apoyo necesario» de esta sección como una definición legal exhaustiva; son una especificación de Human Authority cuya aplicación depende del contexto y del riesgo material.

 

No afirma que las explicaciones, por sí solas, generen comprensión, ni que la experiencia especializada, por sí sola, evite el sesgo de automatización.

 

No afirma que la IA vaya a eliminar la política organizacional, crear una meritocracia o producir integridad sin una gobernanza adecuada.

 

No atribuye toda la responsabilidad al operador ni toda la responsabilidad al proveedor; la rendición de cuentas corresponde al rol, al conocimiento, al control y al marco jurídico y contractual aplicable.

 

No presenta la metodología Self-Conquest como científicamente validada ni como sustituto de la supervisión técnica, jurídica, de riesgos, de cumplimiento o propia de cada ámbito.

 

No define el bien común como la simple preferencia de la mayoría; el beneficio colectivo no legitima las violaciones de derechos fundamentales ni los daños desproporcionados impuestos a grupos con menos poder.

 

Fuentes

 

Estas fuentes respaldan proposiciones jurídicas, de gobernanza y empíricas específicas de este ensayo. Se aplican dentro de su propio alcance y jurisdicción. No se ofrecen como una definición jurídica universal de supervisión significativa ni como validación científica de la metodología completa de Human Authority o Self-Conquest.

 

1. [1] European Union (2024; versión consolidada vigente al 27 de julio de 2026). Regulation (EU) 2024/1689 (Artificial Intelligence Act), especialmente el artículo 3, apartado 56; los artículos 4, 14 y 26; el considerando 91; y el artículo 113, en su versión modificada. La redacción sustantiva de los artículos 14 y 26 no ha cambiado; el calendario de aplicación se modificó mediante el Reglamento (UE) 2026/1744. Consultar fuente

2. [2] National Institute of Standards and Technology (2023). Artificial Intelligence Risk Management Framework (AI RMF 1.0). Consultar fuente

3. [3] Buçinca, Malaya, and Gajos (2021). To Trust or to Think: Cognitive Forcing Functions Can Reduce Overreliance on AI in AI-Assisted Decision-Making. Consultar fuente

4. [4] Levy, Agrawal, Satyanarayan, and Sontag (2021). Assessing the Impact of Automated Suggestions on Decision Making: Domain Experts Mediate Model Errors but Take Less Initiative. Consultar fuente

5. [5] UK Information Commissioner's Office (orientación vigente). Human Review - AI Audit Toolkit. Consultar fuente. La ICO señala que esta orientación está en revisión tras la Data (Use and Access) Act.

6. [6] Madeleine Clare Elish (2019). Moral Crumple Zones: Cautionary Tales in Human-Robot Interaction. Consultar fuente

7. [7] Organisation for Economic Co-operation and Development (actualizados en 2024). OECD AI Principles. Consultar fuente

Sobre la autora

 

Karina Carlos fundó Self-Conquest, una metodología en desarrollo para Human Authority en la era de la IA. Su trabajo en comunicación ejecutiva y discernimiento bajo presión examina cómo la competencia se vuelve accesible, legible y utilizable en situaciones con consecuencias relevantes.

 

Autoría versión y cita

 

Escrito por Karina Carlos, fundadora de Self-Conquest.
Publicado por Self-Conquest como cuerpo metodológico.
Basado en el artículo canónico de Human Authority, aprobado por la autora y contrastado con las fuentes.

 

Fuente canónica: karinacarlos.com
Entrada a la metodología: self-conquest.com
Registro de la fuente: Human Authority in the Age of AI, sección 2, Source-Verified Claim Lock V0.3, 30 de agosto de 2026.
Edición web de la fuente: 0.1

​​

Cita sugerida de la fuente canónica: Carlos, Karina. "Why a Human in the Loop Is Not Enough." Human Authority in the Age of AI, sección 2. Self-Conquest, 2026. Fuente canónica en inglés

​​

Continuar el trabajo

​​

Este ensayo forma parte de la serie canónica Human Authority in the Age of AI en karinacarlos.com.

​​

Volver a la página de Human Authority →
Leer la sección 1: El cambio de categoría →
Leer la sección 3: Definir Human Authority →
Leer la sección 4: El problema de acceso →
Sobre Karina Carlos →
Leer la síntesis ejecutiva en español →

​​​​​

Los ensayos y el panorama de Human Authority están disponibles en español. Las citas de la fuente canónica conservan el original en inglés.

Para conocer el recorrido metodológico y sus aplicaciones, continúa a través de Self-Conquest.

​​

Ir a la entrada de la metodología Self-Conquest →