Responsable de la IA: ¿puedes intervenir a tiempo?

Cuatro preguntas para quienes necesitan que la supervisión humana funcione antes de que las consecuencias sean difíciles de revertir

Karina Carlos

Antes de poner en marcha un proceso asistido por IA, pide a la persona que deberá supervisarlo que recorra una decisión que podría necesitar cuestionar. ¿Qué información revisaría? ¿Qué podría modificar? ¿Cómo impediría que la acción siguiera adelante mientras quedara una duda relevante por resolver?

Después, pídele que demuestre el recorrido con los permisos, la carga de trabajo y los canales de respuesta que realmente tendrá. El ejercicio puede revelar algo que el diagrama de aprobaciones oculta: la persona reconoce el problema, pero no consigue la evidencia necesaria ni llega a alguien facultado para actuar antes de que el proceso continúe.

A quienes dirigen estos procesos les corresponde atender esa brecha antes del despliegue. Exigir cuentas resulta difícil de justificar cuando la organización no puede explicar qué podía hacer razonablemente la persona responsable en el momento decisivo.

Responsabilidad con control limitado

Madeleine Clare Elish introdujo el concepto de moral crumple zone para describir cómo la responsabilidad puede recaer sobre una persona con control limitado de un sistema automatizado. Harsh Doshi lo aplica a los agentes de IA y al diseño organizacional en un Insight de California Management Review, publicado en julio de 2026.

Doshi propone responsables con autoridad para modificar el mandato del agente, mecanismos de interrupción y aprendizaje organizacional tras los incidentes. Sus propuestas ya vinculan responsabilidad e intervención. La pregunta que planteo es cómo comprobar que ese vínculo funciona cuando hay una decisión concreta en juego.

La autoridad en sus condiciones reales de ejercicio

En Human Authority examino la relación entre el juicio, la legitimidad para actuar y las condiciones que permiten hacerlo. Importan tanto la competencia como la asignación formal, y también cómo se ejercen en contexto. El texto público Why a Human in the Loop Is Not Enough ya recoge el trabajo de Elish al abordar la atribución de responsabilidad.

The Access Problem distingue dificultades que requieren respuestas diferentes: desplegar el juicio bajo presión, comunicar un razonamiento de forma comprensible y contar con autorización institucional. Pedir más confianza no resuelve la falta de un permiso. Tampoco basta con habilitar un botón de pausa para que quien lo utiliza pueda evaluar cuándo está justificado hacerlo.

Por eso, examinaría el proceso a partir de un desacuerdo concreto. Elegiría un caso plausible que pusiera en cuestión la recomendación del sistema y seguiría la inquietud hasta su resolución, incluido el tiempo de espera. La tarea sería identificar dónde el juicio todavía puede cambiar lo que ocurre.

La decisión que precede al correo de rechazo

En mi relato de ficción Who Can Stop the Rejection Emails?, Clara, responsable de producto, examina qué puede hacer realmente quien revisa una selección. Eva puede aprobar una lista de candidatos, pero esa aprobación también pone en cola los correos de rechazo para quienes quedaron fuera. Revisar las candidaturas omitidas exige otro permiso; detener el envío requiere un administrador. Clara desconoce cuánto tardaría la respuesta si elevara el problema.

Ese dato pendiente importa. Un paso de aprobación dice poco sobre la posibilidad de cuestionar una exclusión. En un proceso real, pediría al equipo que localizara el último momento en que una objeción justificada podría preservar la oportunidad de considerar esa candidatura. Después, examinaría las posibilidades reales de intervención con cuatro preguntas.

Cuatro preguntas para examinar el proceso

1. ¿Puede quien revisa obtener la evidencia necesaria para cuestionar la decisión?

Empieza por aquello que la persona debe juzgar. ¿La pantalla permite evaluar el criterio relevante o presenta únicamente el resultado que el sistema ha seleccionado para aprobación? ¿Se pueden reconocer exclusiones importantes, información ausente e incertidumbres sin resolver?

Pide una demostración con un caso ambiguo. Registra qué evidencia estaba disponible, cuál hubo que solicitar y si llegó mientras la decisión seguía abierta. El acceso debe corresponder al rol y proteger la información personal. Verlo todo no es una condición necesaria ni apropiada.

2. ¿Qué intervención le corresponde legítimamente a este rol?

Define la acción permitida y las condiciones que la justifican. Algunos roles pueden suspender la ejecución. A otros les corresponde documentar la inquietud y llevarla ante quien tiene atribuciones para decidir.

Comprueba que la vía funciona con los permisos habituales y que la dirección respalda una intervención justificada. Si una persona necesita conseguir acceso de administrador prestado, saltarse controles o pedir un favor personal, hay un problema de diseño que atender. La vía debe seguir funcionando cuando ese colega dispuesto a ayudar no esté disponible.

3. ¿Puede la pausa o el escalamiento surtir efecto antes de la consecuencia?

Identifica la acción a partir de la cual corregir se vuelve considerablemente más difícil: un mensaje enviado, una oportunidad cerrada, un recurso comprometido. Mide el tiempo entre plantear la inquietud y lograr que el sistema cambie de curso. Incluye la recepción, la revisión y la ejecución de lo decidido.

Que una solicitud figure como recibida no indica que la acción se haya detenido. Comprueba qué queda en espera, quién puede autorizar la continuación y cómo se registra. La evidencia útil es un cambio observable en el proceso antes del límite relevante.

4. ¿Qué ocurre si esa vía no responde a tiempo?

Ensaya la ausencia de quien decide, una notificación fallida o un traspaso de responsabilidad en disputa. ¿Quién se hace cargo del caso pendiente? ¿Qué alternativa está autorizada? Si la ejecución continúa por defecto, ¿alguien ha aceptado expresamente los riesgos de esa configuración?

La respuesta depende de las consecuencias de actuar y de esperar. Puede requerir una suspensión acotada, reducir el alcance de la acción automatizada o activar otro procedimiento autorizado. Hay que acordarlo y probarlo antes. Quien supervisa no debería improvisar atribuciones de emergencia para compensar una vía que nunca se hizo fiable.

Lo que la dirección debería poder demostrar

Estas preguntas son una propuesta para revisar el diseño, no un instrumento de evaluación validado. Su utilidad está en la evidencia que piden producir: una decisión identificable, un motivo para cuestionarla, una intervención legítima y un registro de lo que ocurrió antes de que la consecuencia fuera más difícil de revertir.

Un ensayo satisfactorio permitiría establecer algo acotado sobre ese proceso y esas condiciones. Habría que volver a examinarlo si cambiaran el modelo, los permisos, el equipo o lo que está en juego. Un ensayo fallido señalaría trabajo pendiente para quienes pueden modificar el diseño.

Antes de exigirle a alguien que responda por una decisión asistida por IA, pide a la organización que muestre cómo el juicio de esa persona puede cambiar su curso. La responsabilidad debe examinarse junto con la evidencia, las atribuciones y el tiempo disponibles para actuar. Ahí la conversación sobre supervisión humana adquiere contenido concreto.