Imaginemos una empresa que recibe miles de postulaciones para cien puestos. Un programa las ordena y un equipo de selección entrevista a las personas mejor situadas. La directora conserva la decisión final, como asegura el contrato con el proveedor. También puede pedir que se rescate cualquier candidatura descartada. El inconveniente es que no sabe cuáles debería rescatar: su pantalla muestra a los seleccionados y el plazo para contratar termina el viernes. La herramienta no ha firmado un solo rechazo. Ha elegido, sin embargo, a quién podrá conocer la persona encargada de decidir.
La escena es hipotética. Su mecanismo no depende de un robot que desobedece ni de una inteligencia capaz de sustituir a la humanidad. Basta con un sistema que ordene información y una organización que no pueda revisar todo lo que queda debajo de la línea. El poder aparece en esa combinación. Llamar «asistente» al programa describe una intención contractual; para saber cuánto decide hay que seguir sus resultados hasta las oportunidades que abre o cierra.
La pregunta regulatoria suele formularse de otra manera: ¿habrá un humano en el circuito? Es una buena pregunta de inventario y una mala prueba de control. Una persona puede estar presente, tener una contraseña, recibir capacitación y firmar cada resolución. Todavía puede carecer de los medios para alterar una conclusión del sistema incluso ante una objeción fundada.
La decisión empieza antes de la decisión
En la empresa del ejemplo, seleccionar no consiste únicamente en escoger a un candidato entre los entrevistados. También consiste en decidir qué cuenta como experiencia, cómo se leen las interrupciones laborales y cuántos expedientes se presentan al equipo. Quien configura esas operaciones influye sobre el resultado aunque nunca conozca a los postulantes. La directora recibe una selección de posibilidades que ya incorpora criterios, algunos explícitos y otros aprendidos a partir de contrataciones anteriores.
Supongamos que el modelo predice con gran precisión qué personas se parecen a empleados que permanecieron mucho tiempo en la compañía. Esa regularidad puede interesar al empleador. No demuestra por sí misma quién desempeñaría mejor el trabajo ofrecido, ni qué diferencias sería admisible considerar. Permanencia, rendimiento y acceso justo son cuestiones relacionadas, pero distintas. Elegir una como medida de éxito desplaza las otras, salvo que el procedimiento encuentre una manera de incorporarlas.
Tampoco hace falta que la clasificación sea completamente automática para que tenga efectos excluyentes. Un equipo puede revisar con cuidado los primeros doscientos expedientes y descartar materialmente los restantes por falta de tiempo. La revisión humana será real dentro del grupo visible. El filtro previo seguirá decidiendo quién entra a ese grupo. Contar entrevistas o firmas no permite detectar esa frontera; habría que examinar también las candidaturas que nunca llegaron a una mesa.
La distinción entre autoridad formal y autoridad efectiva permite entenderlo sin atribuir personalidad jurídica a un algoritmo. La primera corresponde al derecho o facultad de decidir. La segunda describe cuánto control se ejerce sobre el contenido de la decisión. En el planteamiento de Rodrigo Castillo sobre delegación algorítmica, esa separación obliga a observar la función que un resultado adquiere dentro de una práctica. El organigrama puede permanecer intacto mientras cambia el lugar donde se seleccionan los antecedentes decisivos.
El desacuerdo tiene precio
Imaginemos ahora que una reclutadora detecta un caso mal situado. Para aceptarlo necesita abrir otra aplicación, conseguir el expediente completo, justificar la excepción y esperar autorización. Para seguir la recomendación basta un clic. Su evaluación de desempeño considera el número de procesos cerrados. La empresa le ha concedido libertad para discrepar y le ha enviado, al mismo tiempo, una factura por ejercerla.
Esa diferencia no prueba que la reclutadora crea ciegamente en las máquinas. Puede conocer las limitaciones del programa, reconocer el valor del candidato y aun así carecer de una salida practicable. La capacitación sobre sesgos de automatización sería insuficiente para corregir un problema de permisos o carga de trabajo. Enseñar a desconfiar no abre un archivo restringido ni concede las horas necesarias para investigarlo.
Castillo denomina asimetría de ratificación a esa distribución de las cargas de aceptar y cuestionar. El concepto ayuda a identificar una decisión organizativa que suele quedar escondida bajo discusiones psicológicas sobre confianza. Si aceptar protege al empleado de una crítica individual y apartarse lo expone, la diferencia aumenta. La empresa no necesita ordenar que todos obedezcan al sistema: puede organizar el trabajo de forma que disentir resulte excepcionalmente difícil.
Exigir razones para una excepción tiene, por supuesto, una utilidad. Un supervisor también puede favorecer a conocidos, repetir estereotipos o sustituir evidencia por intuición. El remedio no consiste en eliminar toda justificación del desacuerdo. Consiste en comprobar si sus exigencias permiten tramitar una objeción fundada y si seguir el resultado recibe un examen equivalente cuando hay señales de error. Una norma que facilita decisiones arbitrarias no mejora porque las tome una persona.
El ahorro de tiempo ofrece una elección importante. Puede financiar más revisión de los casos difíciles o convertirse íntegramente en una nueva cuota de expedientes. En el segundo supuesto, el modelo mejora mientras el procedimiento pierde capacidad humana. La productividad observada no distingue esas trayectorias: ambas pueden producir más decisiones por hora. Para averiguar cuál protege mejor a los afectados hay que mirar qué errores se reconocen y cuáles permanecen cómodamente fuera de los indicadores.
Un porcentaje de desacuerdo no basta
Una organización podría intentar resolver el problema fijando una tasa mínima de decisiones humanas contrarias al sistema. Sería sencillo contarla y sencillo cumplirla mal. El revisor podría cambiar casos correctos para alcanzar el objetivo, sin aprender a detectar los equivocados. Si la herramienta mejora, una caída del desacuerdo podría ser deseable. La misma caída podría revelar, en otro contexto, que los revisores dejaron de mirar.
La información útil distingue lo que el empleado reconoce de la frecuencia con que actúa. ¿Detecta un antecedente que vuelve inadecuada la recomendación? ¿Lo distingue de una diferencia irrelevante? ¿Tiene medios para hacer que esa distinción produzca un efecto? Rebajar el umbral para intervenir puede aumentar tanto las correcciones acertadas como las equivocadas. Una empresa que mide solo intervenciones confunde actividad con capacidad.
En la selección hipotética, una revisión adecuada podría recuperar candidatos con experiencia pertinente que el formato del currículum ocultó al modelo. También podría confirmar una exclusión cuando la alegación no cambia los requisitos del puesto. La calidad no reside en favorecer siempre al reclamante o al programa. Reside en investigar el punto discutido con criterios admisibles y resolver conforme a lo que ese examen permite concluir.
La comparación necesita incluir una muestra de casos que el propio modelo considera normales. Si todos los controles parten de sus alertas, el sistema contribuye a escoger dónde será vigilado. Sus puntos ciegos pueden quedar fuera de la muestra. Revisar decisiones ordinarias permite buscar errores que no avisan de su presencia; revisar casos reclamados permite atender circunstancias que solo conoce la persona afectada. Ambas vías producen información diferente y deben competir por recursos con una finalidad explícita.
El dato correcto puede sostener una mala inferencia
Supongamos que una candidata interrumpió su empleo durante dos años. El dato es verdadero. Ella explica que realizó un trabajo profesional independiente durante ese periodo y aporta antecedentes. La empresa responde mostrando la fecha registrada: no encuentra un error que corregir. El programa funciona y la base de datos coincide con el currículum. La discusión, sin embargo, afecta a lo que se dedujo de esa fecha: ausencia de empleo dependiente no equivale necesariamente a ausencia de experiencia.
Este caso requiere relacionar información con un criterio de selección. Una explicación técnica podría mostrar cuánto pesó la interrupción en la puntuación. Sería útil para localizar el problema, pero no resolvería si ese peso era pertinente para el puesto. La persona que conoce el modelo y la que conoce el trabajo pueden aportar conocimientos distintos. La organización necesita reunirlos en una decisión que responda a la objeción.
El acceso universal al código tampoco resolvería por sí solo esa tarea. Puede ser esencial para determinados investigadores, pero una candidata no necesita comprender millones de parámetros para presentar experiencia omitida. Necesita saber qué cuestión debe discutir, dónde aportar antecedentes y qué puede suceder si tiene razón. Una revelación técnica extensa puede coexistir con una puerta institucional cerrada.
Por eso la explicación debe ajustarse al destinatario y a la pretensión. Corregir una fecha exige localizar el dato; discutir una inferencia exige identificar la relación atribuida; cuestionar una regla exige justificar su uso. Confundir esas operaciones produce respuestas voluminosas y poco útiles. La transparencia importa cuando permite conocer y actuar sobre algo que de otro modo permanecería fuera del alcance de quien tiene una razón para cuestionarlo.
Europa mira el efecto de la puntuación
El asunto tiene un antecedente jurídico concreto. En diciembre de 2023, el Tribunal de Justicia de la Unión Europea examinó el caso SCHUFA. Consideró que una puntuación crediticia puede constituir una decisión individual automatizada cuando los bancos le atribuyen un papel determinante al conceder crédito. La aplicación de las excepciones y demás condiciones correspondía al tribunal nacional. La conclusión no prohíbe toda puntuación; impide resolver su alcance mirando solo quién emite formalmente la respuesta final. Comunicado del TJUE.
La lección institucional va más allá de aquel producto financiero, aunque su consecuencia jurídica no se extienda automáticamente a todos los sectores. Una información puede ser presentada como apoyo y funcionar como condición decisiva. Para conocer su influencia hay que investigar qué hacen sus receptores con ella. Un contrato que reserva discreción sirve de poco como descripción del procedimiento si nadie dispone de una alternativa practicable.
El artículo 14 del Reglamento europeo de IA desarrolla una supervisión proporcionada al riesgo, la autonomía y el contexto. Incluye comprender limitaciones, interpretar resultados y poder apartarse o interrumpir el sistema de forma segura. El diseño del instrumento debe permitir esa intervención; nombrar a un supervisor no completa la tarea. Texto del artículo 14 en el servicio oficial de la Comisión.
El calendario importa. A 25 de septiembre de 2026, las obligaciones de alto riesgo tienen fechas de aplicación diferenciadas: 2 de diciembre de 2027 para los usos del anexo III y 2 de agosto de 2028 para sistemas integrados en productos del anexo I. El AI Omnibus entró en vigor el 27 de julio de 2026. Presentar aquellas obligaciones como universalmente exigibles desde agosto de este año borraría esa transición. Calendario de la Comisión Europea.
Un botón rojo no reorganiza una empresa
Interrumpir una operación puede evitar un daño inmediato. Recuperar después los expedientes afectados es otra capacidad. Una empresa podría apagar el filtro de selección y seguir sin saber quién quedó fuera, qué información se utilizó o qué entrevistas deben repetirse. El botón resuelve una parte del problema; los registros y las facultades de revisión resuelven otras. Comprar el primero sin organizar las segundas produce una forma muy visible de seguridad y una corrección muy incierta.
También existe un costo de detener. Si el sistema ordena una carga de trabajo que antes provocaba largas esperas, suspenderlo puede perjudicar a quienes necesitan una respuesta. La alternativa debe evaluarse tal como existe, con sus errores y limitaciones. Un procedimiento humano imaginario, perfectamente diligente y con tiempo ilimitado, no constituye un sustituto disponible. El control exige decidir cómo continuar el servicio mientras se investiga la falla.
Una salida gradual puede ser más útil: suspender una función concreta, reducir el ámbito de uso, remitir ciertos casos a especialistas o volver temporalmente a un procedimiento comprobado. Ninguna opción sirve para todos los sistemas. Lo relevante es saber qué operación puede separarse, qué efecto tendría sobre los demás expedientes y quién está autorizado para escogerla. Esa preparación debe preceder al día en que detener resulte urgente.
El control distribuido también necesita plazos. La reclutadora puede detectar el problema el lunes, el equipo técnico responder el miércoles y la unidad jurídica recibirlo después de cerradas las contrataciones. Todos habrán cumplido sus tareas con profesionalidad; la candidata habrá perdido la oportunidad. Una garantía que actúa fuera del tiempo útil puede documentar el daño sin prevenirlo. El recorrido completo de la objeción forma parte de la evaluación, no solo la calidad de cada respuesta intermedia.
La compra decide cuánto control quedará
Antes de que aparezca una puntuación en la pantalla, alguien decide qué producto contratar y con qué condiciones. Esa fase determina si la organización podrá conocer cambios, recuperar información y obtener colaboración del proveedor. Si compra únicamente resultados, descubrirá las limitaciones de ese intercambio cuando necesite investigar uno. El precio visible puede omitir el costo futuro de mantener una decisión revisable.
Un encargo bien definido distingue entre ordenar documentos, recomendar una selección y excluir candidatos. Una herramienta comprada para la primera función puede acabar desempeñando la tercera cuando aumenta la carga de trabajo. El cambio puede suceder sin una nueva versión del programa. Por ello conviene registrar el uso efectivo, además de las modificaciones técnicas. La pregunta es qué consecuencias produce ahora la clasificación y si los medios de control acompañaron esa expansión.
Las condiciones de salida importan por la misma razón. Una empresa que puede cambiar de proveedor en teoría, pero perdería todos sus registros al hacerlo, dispone de una libertad costosa. Conservar formatos utilizables, responsabilidades de colaboración y una continuidad operativa razonable reduce esa dependencia. Estas son decisiones de contratación y organización cuya necesidad concreta depende del servicio; no un catálogo de obligaciones legales universales.
La organización compradora necesita alguien capaz de interrogar lo que recibe. No tiene que reconstruir cada modelo desde cero. Sí necesita reconocer cuándo una evaluación corresponde a otra población, otra tarea o una configuración distinta. La especialización del proveedor justifica acudir a él, pero no elimina la obligación de entender el alcance de lo contratado. Cuanto más decisiva sea su intervención, menos razonable resulta mantener esa capacidad solo como una consulta opcional.
El revisor también necesita ser revisado
Dar poder de excepción a especialistas puede corregir decisiones y crear una nueva concentración de influencia. Si solo ellos entienden el procedimiento y nadie puede examinar sus criterios, la dependencia cambia de dirección sin desaparecer. El objetivo no es sustituir una autoridad inexpugnable por otra que tenga rostro. Es conservar un recorrido mediante el cual las razones y los efectos de una decisión puedan ser examinados por una instancia competente.
Para ello, el registro de una revisión debe permitir reconocer qué se cuestionó, qué evidencia se consideró y qué cambió. No hace falta llenar cada expediente de una explicación enciclopédica. Un caso sencillo puede resolverse de manera breve. Una excepción que revela un problema común requiere más: comprobar si afectó a otros candidatos y decidir quién investigará esa posibilidad. La extensión sigue a la pregunta, en lugar de convertirse en un requisito que consume el tiempo destinado a responderla.
Los incentivos del equipo de control también cuentan. Si solo se premia que no haya incidentes registrados, puede resultar conveniente no buscarlos. Si se premia únicamente la cantidad de hallazgos, puede exagerarse cualquier anomalía. Una evaluación útil combina resultados, acceso a información y capacidad de corrección, atendiendo al contexto. La ausencia de reclamaciones puede significar buen funcionamiento o un canal que nadie consigue utilizar.
La voz de la persona afectada aporta una prueba especialmente valiosa, aunque no infalible. Puede revelar experiencia que no estaba en los datos o una consecuencia que el comprador no consideró. Admitir esa información no obliga a aceptar toda pretensión. Obliga a decidir quién puede examinarla y qué efecto tendría si fuera correcta. Una reclamación deja de ser un buzón cuando existe una respuesta capaz de modificar el curso del asunto.
La capacidad que se pierde por no usarla
Supongamos que el equipo conserva todos los permisos, pero lleva dos años trabajando solo con los expedientes que recomienda el programa. Sus integrantes pueden volverse excelentes entrevistadores dentro de ese conjunto y perder familiaridad con perfiles que el filtro omite. Cuando cambia el mercado laboral, quizá tampoco dispongan de referencias recientes para reconocer una formación nueva. El conocimiento que permite revisar no se conserva únicamente archivando un manual. Necesita ocasiones para contrastar decisiones con casos que desafían la selección habitual.
Ese deterioro no es inevitable. La automatización puede liberar tiempo para especializarse, comparar resultados y estudiar excepciones. La diferencia depende de cómo se emplee el tiempo ahorrado. Una rotación de tareas, una revisión de muestras o el seguimiento de candidatos recuperados pueden mantener conocimientos útiles, siempre que respondan a problemas identificados. Hacer que todos repitan mecánicamente el trabajo del programa mantendría ocupadas a las personas, sin garantizar que aprendieran aquello que necesitan para gobernarlo.
Hay además un problema de memoria de la organización. Si quien configuró el filtro deja la empresa y las decisiones quedan solo en su correo, el sucesor puede recibir una herramienta funcional cuyo propósito entiende mal. Documentar por qué se eligió un criterio ayuda a discutirlo cuando cambian las condiciones. Esa explicación debe distinguir una restricción del puesto de una comodidad del software. La primera puede seguir siendo necesaria; la segunda puede haber desaparecido con una actualización y continuar excluyendo personas por pura inercia.
La compra de capacidad artificial puede exigir, por tanto, una inversión complementaria en conocimiento humano. No para competir con la máquina en cada cálculo, sino para formular el encargo, reconocer los límites de la evidencia y sostener una respuesta cuando alguien los alcanza. Si esa inversión se considera un gasto ajeno al proyecto, la rentabilidad parecerá mayor porque una parte del trabajo necesario se ha dejado sin financiar. El problema reaparecerá, más caro y con una persona perjudicada, cuando la primera excepción importante llegue a la puerta.
La firma debe llegar con medios
Mantener capacidad de respuesta cuesta dinero, consume tiempo y puede reducir parte del ahorro prometido. Eso no convierte el control en una derrota de la automatización. Permite saber cuánto cuesta utilizarla para una actividad en la que importan las personas excluidas, además de los expedientes procesados. Comparar una oferta que incluye esas capacidades con otra que descarga su ausencia sobre terceros exige hacer visible la diferencia.
El diseño adecuado puede conservar muchas decisiones automáticas. Cuando una operación es acotada, comprobable y reversible, duplicarla sistemáticamente puede aportar poco. En cambio, un filtro aparentemente menor puede merecer atención intensa si determina quién accede a una oportunidad escasa. La cantidad de intervención humana no ordena por sí sola esas situaciones. La función, las consecuencias y los medios para corregir ofrecen una comparación más útil.
La empresa de la escena inicial no necesita que su directora lea miles de currículums cada noche. Necesita saber qué candidatos nunca ve, cómo pueden aparecer errores fuera del grupo seleccionado y quién puede corregirlos mientras la oportunidad sigue abierta. Si no dispone de esos medios, la firma final certifica que una persona estuvo allí. Todavía no demuestra que conservara el mando.